Data Engineer
IDBC Kft Budapest, Central Hungary, Hungary
IT Services and IT Consulting · 201-500 employees
Applying here? Try the free cover letter tool — paste this posting and your résumé, no account needed.
About the role
You will design and implement a modern cloud-based data platform within a Databricks Lakehouse environment to support reporting and business decision-making. Your role involves developing data pipelines, integrating external APIs, and ensuring high data quality through robust monitoring and validation processes.
What they look for
Requirements
The role requires a minimum of 5 years of experience in Data Engineering or Analytics Engineering with strong proficiency in Azure, Databricks, SQL, Python, and dbt. Candidates must have extensive knowledge of dimensional modeling, data warehousing architectures, and experience with API integrations.
Benefits
Full description
Helyszín: Budapest (hibrid munkavégzés)
Szerződési forma: Kizárólag alvállalkozói konstrukció/contracting
Szenioritás: Senior (minimum 5 év tapasztalat)
Kezdés: Azonnal
Projekt időtartama: Várhatóan január végéig
Ügyfelünk egy amerikai kereskedelmi ingatlanbiztosítási szolgáltató, amely jelenleg jelentős digitalizációs transzformáción megy keresztül. A vállalat számos manuális folyamatot használ, például e-mail alapú ügyintézést, PDF-adatrögzítést és korlátozott funkcionalitású Power App megoldásokat.
A projekt célja egy modern, felhőalapú platform kialakítása, amely automatizálja a biztosítási folyamatokat az ajánlatkérések kezelésétől kezdve a kockázatértékelésen, szerződéskötésen és biztosítói jóváhagyásokon át egészen a pénzügyi elszámolásig.
Senior Data Engineerként kulcsszereped lesz az adatformációs platform megtervezésében és megvalósításában, amely a riportálást, üzleti elemzéseket és vezetői döntéstámogatást szolgálja.
Feladatok
- Databricks Lakehouse környezetben a Gold réteg megtervezése és fejlesztése.
- Dimenzionális adatmodellek és szemantikus rétegek kialakítása Power BI riportok támogatására.
- Adatbetöltési és adatfeldolgozási folyamatok fejlesztése SQL, Python, Databricks és dbt használatával.
- Tranzakciós backend rendszerek és külső kockázatelemző API-k integrálása.
- Külső API-k teljes válaszainak eltárolása auditálhatósági és nyomonkövethetőségi célokból.
- Történeti adatkezelési megoldások kialakítása snapshotok, immutable rekordok és SCD (Slowly Changing Dimension) minták alkalmazásával.
- Állapotváltozásokat követő, append-only eseménytörténeti modellek kialakítása KPI-ok és üzleti folyamatok elemzéséhez.
- Belső üzleti mutatók és partneri adatszolgáltatások elkülönítésére szolgáló riportálási rétegek tervezése.
- Adatminőségi ellenőrzések, sémavalidáció, monitorozás és pipeline-megfigyelhetőség bevezetése.
- Együttműködés architekt, fejlesztői, projektmenedzsment és üzleti elemzői csapatokkal.
Requirements
- Minimum 5 év releváns tapasztalat Data Engineer, Analytics Engineer vagy hasonló szerepkörben.
- Magabiztos gyakorlati tapasztalat az alábbi technológiákkal:
- Microsoft Azure
- Azure Databricks
- SQL (haladó szint)
- Python
- dbt
- ETL/ELT folyamatok fejlesztése
- Tapasztalat az alábbi területeken:
- Dimenzionális adatmodellezés
- KPI-rendszerek és szemantikus rétegek kialakítása
- Adattárház- és Lakehouse-architektúrák
- SCD Type 1/Type 2 megoldások
- Historikus snapshot alapú adatmodellezés
- Event history (eseménytörténeti) modellezés
- API-integrációk
- Data Quality és adatirányítási megoldások
- Önálló munkavégzés és architekturális döntések támogatása.
Előnyt jelent
- Biztosítási vagy pénzügyi szektorban szerzett tapasztalat.
- Az alábbi fogalmak ismerete:
- Loss Ratio
- Earned Premium
- IBNR (Incurred But Not Reported)
- Power BI riporting környezetek támogatásában szerzett tapasztalat.
Technológiai környezet
- Microsoft Azure
- Azure Databricks
- SQL
- Python
- dbt
- Power BI
- Lakehouse architektúra (Raw → Cleaned → Gold)
Benefits
- Részvétel egy jelentős üzleti és technológiai transzformációs projektben.
- Egy tapasztalt projektcsapat támogatása, amely architektúrai, projektmenedzsment, design és technológiai kompetenciákkal rendelkezik.
- Magas szakmai színvonalú, támogató munkakörnyezet.
- Rugalmas hibrid munkavégzés.
- Nincs ügyfélkapcsolati vagy ügyfélprezentációs kötelezettség.
Similar roles
-
Associate Data Engineer
AAA Costa Mesa, California, United States · $86K–$115K/yr
-
Senior Data Engineer
Clera Munich, Bavaria, Germany
-
Senior Data Engineer(BQ)
NTT DATA Romania SA Bucharest, Romania
-
Data Engineer
Takeda Bengaluru, Karnataka, India
-
Data Engineer Intern
PwC Prague, Prague, Czechia
-
Senior Data Engineer (India)
Karat Bangalore, Karnataka, India