JobCubby JobCubby
Sign up
TECDATA ENGINEERING

Data Engineer (Python & PySpark)

TECDATA ENGINEERING Spain · €36K/yr

IT Services and IT Consulting · 201-500 employees

May 19
Remote python Mid (2-5 yrs) Full-time Spain
Log in to apply, save this posting, or score it against your profile with AI.

About the role

The role involves designing and developing robust, scalable data pipelines and ETL/ELT processes to handle large volumes of information. You will also be responsible for optimizing batch processes, managing data models, and collaborating with technical teams in an Agile environment.

What they look for

Python PySpark SQL ETL ELT Batch Processing PostgreSQL MySQL SQL Server Data Pipelines Big Data Data Modeling Automation Agile Scrum Cloud

Requirements

Candidates must have solid experience with Python, PySpark, and batch processing, along with advanced SQL skills. Proficiency in relational databases and experience in building scalable data pipelines are essential requirements for this position.

Full description

Buscamos un/a Data Engineer con experiencia sólida en procesamiento de datos y construcción de pipelines escalables para incorporarse a un proyecto tecnológico orientado a entornos Big Data y procesamiento Batch.

La persona seleccionada participará en el diseño, desarrollo y optimización de procesos ETL/ELT sobre grandes volúmenes de información, trabajando en arquitecturas modernas basadas en Python y PySpark.

📍 Modalidad: 100% Remoto 💰 Salario: 36K 📄 Proyecto estable 🕒 Jornada completa

Responsabilidades

  • Diseño y desarrollo de pipelines de datos robustos y escalables
  • Procesamiento y transformación de grandes volúmenes de información mediante PySpark
  • Desarrollo de procesos ETL/ELT eficientes
  • Optimización de rendimiento sobre procesos Batch
  • Manipulación y explotación de datos mediante SQL avanzado
  • Diseño y mantenimiento de modelos de datos relacionales
  • Desarrollo de scripts de automatización en Python
  • Integración de fuentes de datos y procesos de carga masiva
  • Optimización de consultas complejas y rendimiento de bases de datos
  • Participación en procesos de calidad y validación de datos
  • Colaboración con equipos técnicos y analíticos en entornos Agile

Requisitos técnicos

Imprescindibles

✔ Experiencia sólida con Python ✔ Experiencia avanzada con PySpark ✔ Experiencia en procesamiento Batch ✔ Dominio de SQL y optimización de consultas ✔ Experiencia desarrollando pipelines ETL/ELT ✔ Manejo de grandes volúmenes de datos ✔ Experiencia con bases de datos relacionales

Bases de datos

✔ PostgreSQL ✔ MySQL ✔ SQL Server

Muy valorable

✔ Experiencia en arquitecturas Big Data ✔ Optimización de DataFrames y Spark SQL ✔ Automatización de procesos de datos ✔ Experiencia en entornos cloud ✔ Conocimientos de buenas prácticas en ingeniería de datos ✔ Experiencia trabajando en entornos Agile/Scrum

Stack tecnológico

  • Python
  • PySpark
  • Spark SQL
  • DataFrames API
  • SQL
  • PostgreSQL
  • MySQL
  • SQL Server
  • ETL / ELT
  • Batch Processing

Perfil buscado

  • Perfil analítico y orientado a calidad de datos
  • Capacidad de trabajar de forma autónoma
  • Mentalidad resolutiva y orientación a rendimiento
  • Experiencia en entornos de procesamiento masivo
  • Buenas prácticas de desarrollo y optimización
  • Capacidad de adaptación y trabajo en equipo

Proyecto ideal para perfiles especializados en ingeniería de datos, procesamiento distribuido y optimización de pipelines Big Data en entornos modernos y escalables.

Similar roles