Data Engineer - Data Warehouse & Analytics
IDBC Kft Budapest, Central Hungary, Hungary
IT Services and IT Consulting · 201-500 employees
About the role
Design and develop dimensional data models and scalable ELT processes to support analytics and machine learning needs. Optimize data warehouse performance and implement automated data quality checks while collaborating with data scientists and business analysts.
What they look for
Requirements
Requires at least 5 years of experience in data engineering or analytics engineering within a data warehouse-centric environment. Candidates must possess advanced SQL skills, proficiency in dimensional modeling, and experience with modern data transformation frameworks like dbt.
Full description
Olyan szakembert keresünk, aki magas szinten ért az SQL-hez, erős adattárház- és adatmodellezési tapasztalattal rendelkezik, és képes egy meglévő adatplatform fejlesztésére úgy, hogy közben az üzleti működés zavartalan maradjon.
Főbb feladatok
- Kimutatási, elemzési és gépi tanulási (ML) igényeket kiszolgáló dimenzionális adatmodellek tervezése és fejlesztése (pl. csillagséma, slowly changing dimensions).
- Stabil és skálázható ELT folyamatok kialakítása, optimalizálása és üzemeltetése az adattárház és az elemző rendszerek kiszolgálására.
- A meglévő, örökölt ETL folyamatok átalakítása modern, rétegzett, tesztelt és dokumentált adattranszformációs modellekké.
- Az adattárház teljesítményének és költséghatékonyságának optimalizálása (pl. disztribúciós és rendezési kulcsok, workload management, materializációs stratégia).
- Adatminőségi szabályok és automatizált ellenőrzések kialakítása (tesztek, adatelérhetőségi és frissességi vizsgálatok, adatkontraktusok).
- Az adatmodellek, mutatószámok és elnevezési konvenciók dokumentálása, hogy az üzleti elemzők önállóan is használhassák az adatokat.
- Szoros együttműködés Data Scientist-ekkel és üzleti elemzőkkel az üzleti igények skálázható adatmodellekké alakítása érdekében.
- Az elemzői adattér technikai kockázatainak azonosítása, valamint a rendszer megbízhatóságának és architektúrájának folyamatos fejlesztése.
Requirements
- Legalább 5 év tapasztalat Data Engineer vagy Analytics Engineer pozícióban, adattárház-központú környezetben.
- Magas szintű SQL tudás: • window függvények használata,
- összetett CTE-alapú lekérdezések,
- lekérdezésoptimalizálás és végrehajtási tervek elemzése,
- MPP adattárházak (pl. Redshift, Snowflake, BigQuery) teljesítményhangolása.
- Erős dimenzionális adatmodellezési ismeretek és kiváló adatérzék.
- Gyakorlati tapasztalat dbt vagy hasonló adattranszformációs keretrendszer használatában.
- Tapasztalat meglévő adattárházak karbantartásában vagy modernizációs/migrációs projektekben.
- Python ismeret automatizálási és adatfolyam-kezelési feladatokhoz.
- Kiváló kommunikációs készség technikai és üzleti szereplőkkel egyaránt.
- Magabiztos angol nyelvtudás szóban és írásban.
Similar roles
-
Data Engineer
DEPT® Budapest, Central Hungary, Hungary
-
Staff Data Engineer
Xometry Lexington, Kentucky, United States
-
Data Engineer - Analytics Engineer Semi Senior
DRIMO Provincia de Santiago, Santiago Metropolitan Region, Chile
-
Senior Data Engineer
Matrix Global Kansas City, Missouri, United States
-
GCP Data Engineer
Weekday AI Delhi, Delhi, India
-
Governance IT Data Engineer ( M/F/D )
EVERIENCE The Hague, South Holland, Netherlands