JobCubby JobCubby
Sign up
PROSTAFF Schweiz GmbH

Data Engineer – Python / Airflow / Azure Databricks (m/w/d)

PROSTAFF Schweiz GmbH Basel, Basel-City, Switzerland

Staffing and Recruiting · 201-500 employees

5 h ago
python Senior (5-10 yrs) Full-time Switzerland
Log in to apply, save this posting, or score it against your profile with AI.

About the role

The Data Engineer will develop and maintain data ingestion and transformation pipelines while supporting the migration to an Azure Databricks and Lakehouse architecture. They will also ensure data quality and performance while collaborating with architects and product owners on data platform decisions.

What they look for

Python Apache Airflow Azure Databricks SQL PostgreSQL Pandas Polars Poetry Docker Kubernetes OpenShift Azure DevOps CI/CD Data Mesh Data Contracts Lakehouse Architecture

Requirements

Candidates must have several years of experience as a Data Engineer with strong proficiency in Python, SQL, and Apache Airflow. Experience with Azure Databricks, containerization tools like Docker or Kubernetes, and modern data architecture concepts is also required.

Full description

Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.

  • Entwicklung und Weiterentwicklung von Data Products
  • Aufbau und Pflege von Ingestion- und Transformationspipelines
  • Sicherstellung von Datenqualität und Performance
  • Entwicklung und Verwaltung von Apache-Airflow-DAGs
  • Mitarbeit bei Architekturentscheidungen rund um die Data Platform
  • Unterstützung der Migration in Richtung Azure Databricks
  • Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
  • Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen
  • Mehrjährige Erfahrung als Data Engineer
  • Sehr gute Kenntnisse in Python, insbesondere pandas, polars und Poetry
  • Fundierte Erfahrung mit Apache Airflow
  • Sehr gute SQL- und PostgreSQL-Kenntnisse
  • Erfahrung mit Azure Databricks
  • Kenntnisse in Docker, Kubernetes oder OpenShift
  • Erfahrung mit Azure DevOps / CI/CD
  • Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen
  • Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3
  • Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit

Similar roles