JobCubby JobCubby
Sign up
Coopers Group AG

Senior Data Engineer (Azure Databricks / Airflow)

Coopers Group AG Switzerland

Human Resources Services · 51-200 employees

16 h ago
Remote data-engineer Senior (5-10 yrs) Contractor Switzerland
Log in to apply, save this posting, or score it against your profile with AI.

About the role

Develop and operate modern data products and pipelines while facilitating the migration of the data platform to Azure Databricks. Collaborate with architects and engineers to ensure data quality, performance, and reliable platform operations.

What they look for

Azure Databricks Apache Airflow Python SQL PostgreSQL Data Engineering Docker Kubernetes OpenShift Data Mesh Lakehouse Architecture Data Pipelines Cloud Migration Pandas Polars Poetry

Requirements

Requires several years of experience as a Data Engineer with strong proficiency in Python, SQL, and Apache Airflow. Candidates should have experience with cloud-based data engineering, containerization tools, and modern data architectures.

Full description

................

Für unseren Kunden aus der Finanzbranche in Basel, suchen wir eine:n erfahrene:n, motivierte:n und aufgeschlossene:n Senior Data Engineer (Azure Databricks / Airflow).

In dieser Rolle entwickelst und betreibst du moderne Data Products und Data Pipelines und gestaltest gleichzeitig die Weiterentwicklung der Data Platform von der On-Premise-Umgebung hin zu Azure Databricks.

Deine Aufgaben:

  • Entwicklung und Weiterentwicklung von Data Products – von der Datenaufnahme über Transformation und Aufbereitung bis zur Bereitstellung für Konsumenten
  • Konzeption, Implementierung und Betrieb von Datenpipelines und Transformationen mit Python, SQL und Apache Airflow
  • Sicherstellung von Datenqualität, Performance und zuverlässigem Betrieb der Data Pipelines
  • Mitarbeit an der Weiterentwicklung der Data Platform und Data Architecture sowie an Architekturentscheidungen
  • Aktive Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
  • Unterstützung der Anwender bei datenbezogenen Fragestellungen, der Nutzung der Plattform und Python-Programmierung
  • Monitoring und Troubleshooting von Datenpipelines, Datenqualität und Plattformkomponenten
  • Mitarbeit bei der Migration und Transformation der bestehenden On-Premise-Data-Platform nach Azure Databricks
  • Unterstützung bei operativen Aufgaben im Cloud- und Plattformumfeld

Dein Profil:

  • Mehrjährige Erfahrung als Data Engineer mit fundierten Kenntnissen in Python und SQL
  • Sehr gute praktische Erfahrung mit Apache Airflow, insbesondere bei der Erstellung und Verwaltung von DAGs
  • Sehr gute SQL- und PostgreSQL-Kenntnisse
  • Erfahrung mit Python Data-Engineering-Tools wie pandas, Polars und Poetry
  • Erfahrung mit Docker, Kubernetes, OpenShift und S3-kompatiblem Storage (z. B. MinIO)
  • Erfahrung mit Azure Databricks bzw. mit Data Engineering im Databricks-Umfeld
  • Vertrautheit mit JupyterHub und explorativen Datenumgebungen
  • Kenntnisse im Bereich Data Cataloging, idealerweise mit Acryl DataHub
  • Gutes Verständnis von Data Mesh, insbesondere Data Contracts, sowie von Lakehouse-Architekturen
  • Interesse an Cloud-Migrationen und der Weiterentwicklung moderner Data Platforms
  • Ausgeprägte Kommunikations- und Teamfähigkeit sowie Freude daran, technische und nicht-technische Anwender zu unterstützen
  • Selbstständige, proaktive Arbeitsweise und Ownership für die eigenen Deliverables
  • Fliessende Deutsch und Englischkenntnisse in Wort und Schrift

Similar roles