JobCubby JobCubby
Sign up
G

Desenvolvedor(a) Big Data | Spark / Scala

Grupo Data São Paulo, São Paulo, Brazil

IT Services and IT Consulting · 201-500 employees

Yesterday
Remote scala Senior (5-10 yrs) Full-time Brazil
Create a free account to apply — email only, no card. You can also save this posting or score it against your profile with AI.

Applying here? Try the free cover letter tool — paste this posting and your résumé, no account needed.

About the role

Develop and maintain data pipelines using Apache Spark and Scala while implementing ingestion, transformation, and validation processes. Collaborate with international teams in an Agile environment to resolve production incidents and optimize data process performance.

What they look for

Apache Spark Scala Big Data SQL PL/SQL Data Pipelines Datalake Control-M Airflow Databricks Azure AWS CI/CD Power BI Market Risk Agile

Requirements

Requires extensive experience in Big Data development with Apache Spark, Scala, SQL, and PL/SQL. Candidates must have experience in the banking sector, specifically with Market Risk, and possess conversational proficiency in both English and Spanish.

Full description

Estamos buscando um(a) Desenvolvedor(a) Big Data para atuar em um projeto internacional do mercado financeiro, com foco em Datalake, pipelines de dados e Risco de Mercado.

É obrigatória a disponibilidade para trabalhar no fuso horário da Espanha.

Principais responsabilidades

  • Desenvolver e manter pipelines de dados utilizando Apache Spark e Scala;
  • Implementar processos de ingestão, transformação, validação e publicação de dados;
  • Trabalhar com SQL e PL/SQL no processamento e tratamento de dados;
  • Planejar e orquestrar processos utilizando Control-M;
  • Otimizar o desempenho, a confiabilidade e a escalabilidade dos processos Spark;
  • Realizar testes unitários e integrados e apoiar testes de aceitação (UAT);
  • Investigar e resolver incidentes em produção;
  • Colaborar com equipes internacionais em ambiente Agile.

Requisitos obrigatórios

  • Experiência em desenvolvimento Big Data, com atuação em Apache Spark e Scala;
  • Conhecimento de SQL e PL/SQL;
  • Experiência com pipelines de dados e Datalake;
  • Conhecimento de Control-M e Airflow;
  • Experiência com testes e suporte a ambientes produtivos;
  • Conhecimento de Databricks, Azure, AWS Compute e/ou YARN;
  • Experiência com CI/CD e ferramentas como GitHub, Jenkins e Sonar;
  • Conhecimento de Power BI;
  • Conhecimento de ServiceNow e experiência em monitoramento de produção;
  • Conhecimentos de qualidade e rastreabilidade de dados;
  • Experiência no setor bancário, especialmente em Risco de Mercado, métricas regulatórias, P&L, exposição, limites, ratings ou reporting;
  • Inglês em nível de conversação;
  • Espanhol em nível de conversação;
  • Disponibilidade para atuar no fuso horário da Espanha.

Similar roles