IDBC Kft

Data Engineer

IDBC Kft Budapest, Central Hungary, Hungary

IT Services and IT Consulting · 201-500 employees

3 d ago
data-engineer Senior (5-10 yrs) Contractor Hungary
Create a free account to apply — email only, no card. You can also save this posting or score it against your profile with AI.

About the role

You will design and implement a modern cloud-based data platform within a Databricks Lakehouse environment to support reporting and business decision-making. Your role involves developing data pipelines, integrating external APIs, and ensuring high data quality through robust monitoring and validation processes.

What they look for

Microsoft Azure Azure Databricks SQL Python dbt ETL/ELT Dimensional Data Modeling Data Warehousing Lakehouse Architecture API Integration Data Quality Data Governance Power BI SCD Event History Modeling

Requirements

The role requires a minimum of 5 years of experience in Data Engineering or Analytics Engineering with strong proficiency in Azure, Databricks, SQL, Python, and dbt. Candidates must have extensive knowledge of dimensional modeling, data warehousing architectures, and experience with API integrations.

Benefits

Participation in a significant business and technology transformation project Support from an experienced project team High professional standard working environment Flexible hybrid work

Full description

Helyszín: Budapest (hibrid munkavégzés)

Szerződési forma: Kizárólag alvállalkozói konstrukció/contracting

Szenioritás: Senior (minimum 5 év tapasztalat)

Kezdés: Azonnal

Projekt időtartama: Várhatóan január végéig

Ügyfelünk egy amerikai kereskedelmi ingatlanbiztosítási szolgáltató, amely jelenleg jelentős digitalizációs transzformáción megy keresztül. A vállalat számos manuális folyamatot használ, például e-mail alapú ügyintézést, PDF-adatrögzítést és korlátozott funkcionalitású Power App megoldásokat.

A projekt célja egy modern, felhőalapú platform kialakítása, amely automatizálja a biztosítási folyamatokat az ajánlatkérések kezelésétől kezdve a kockázatértékelésen, szerződéskötésen és biztosítói jóváhagyásokon át egészen a pénzügyi elszámolásig.

Senior Data Engineerként kulcsszereped lesz az adatformációs platform megtervezésében és megvalósításában, amely a riportálást, üzleti elemzéseket és vezetői döntéstámogatást szolgálja.

Feladatok

  • Databricks Lakehouse környezetben a Gold réteg megtervezése és fejlesztése.
  • Dimenzionális adatmodellek és szemantikus rétegek kialakítása Power BI riportok támogatására.
  • Adatbetöltési és adatfeldolgozási folyamatok fejlesztése SQL, Python, Databricks és dbt használatával.
  • Tranzakciós backend rendszerek és külső kockázatelemző API-k integrálása.
  • Külső API-k teljes válaszainak eltárolása auditálhatósági és nyomonkövethetőségi célokból.
  • Történeti adatkezelési megoldások kialakítása snapshotok, immutable rekordok és SCD (Slowly Changing Dimension) minták alkalmazásával.
  • Állapotváltozásokat követő, append-only eseménytörténeti modellek kialakítása KPI-ok és üzleti folyamatok elemzéséhez.
  • Belső üzleti mutatók és partneri adatszolgáltatások elkülönítésére szolgáló riportálási rétegek tervezése.
  • Adatminőségi ellenőrzések, sémavalidáció, monitorozás és pipeline-megfigyelhetőség bevezetése.
  • Együttműködés architekt, fejlesztői, projektmenedzsment és üzleti elemzői csapatokkal.

Requirements

  • Minimum 5 év releváns tapasztalat Data Engineer, Analytics Engineer vagy hasonló szerepkörben.
  • Magabiztos gyakorlati tapasztalat az alábbi technológiákkal:
  • Microsoft Azure
  • Azure Databricks
  • SQL (haladó szint)
  • Python
  • dbt
  • ETL/ELT folyamatok fejlesztése
  • Tapasztalat az alábbi területeken:
  • Dimenzionális adatmodellezés
  • KPI-rendszerek és szemantikus rétegek kialakítása
  • Adattárház- és Lakehouse-architektúrák
  • SCD Type 1/Type 2 megoldások
  • Historikus snapshot alapú adatmodellezés
  • Event history (eseménytörténeti) modellezés
  • API-integrációk
  • Data Quality és adatirányítási megoldások
  • Önálló munkavégzés és architekturális döntések támogatása.

Előnyt jelent

  • Biztosítási vagy pénzügyi szektorban szerzett tapasztalat.
  • Az alábbi fogalmak ismerete:
  • Loss Ratio
  • Earned Premium
  • IBNR (Incurred But Not Reported)
  • Power BI riporting környezetek támogatásában szerzett tapasztalat.

Technológiai környezet

  • Microsoft Azure
  • Azure Databricks
  • SQL
  • Python
  • dbt
  • Power BI
  • Lakehouse architektúra (Raw → Cleaned → Gold)

Benefits

  • Részvétel egy jelentős üzleti és technológiai transzformációs projektben.
  • Egy tapasztalt projektcsapat támogatása, amely architektúrai, projektmenedzsment, design és technológiai kompetenciákkal rendelkezik.
  • Magas szakmai színvonalú, támogató munkakörnyezet.
  • Rugalmas hibrid munkavégzés.
  • Nincs ügyfélkapcsolati vagy ügyfélprezentációs kötelezettség.

Similar roles