Data Engineer | Azure & Databricks [Remoto - Brasil]

A DBServices é uma empresa que possui raízes profundas tanto em Portugal quanto no Brasil, refletindo uma ligação sólida entre os dois países. Em constante crescimento, a DBServices destaca-se por atender grandes empresas em Portugal, nos Estados Unidos e no Brasil, consolidando sua presença internacional e ampliando seu impacto no mercado global. Estamos buscando um(a) Data Engineer para atuar em um projeto global de dados na área de Procurement, apoiando a evolução de um Data Lake corporativo. O objetivo é ampliar a cobertura das fontes e dos dados disponíveis, reduzir tratamentos manuais e garantir integrações confiáveis, com dados harmonizados entre operações de diferentes países e continentes. Você será responsável pelas entregas back-end até produção, com autonomia técnica e seguindo padrões e regras de negócio definidos em conjunto com as áreas envolvidas.

Levantar requisitos de dados junto à área de negócio e aos times responsáveis pelas fontes, traduzindo regras funcionais em especificações técnicas Desenvolver e manter integrações via APIs, conectores e mecanismos de extração, respeitando permissões, limitações das fontes e padrões corporativos Investigar lacunas em extrações e queries existentes, incorporando novas colunas e entidades da origem até as camadas de consumo Construir e evoluir pipelines ETL/ELT e workflows automatizados, com dependências, agendamentos, cargas incrementais e reprocessamento seguro Desenvolver notebooks e scripts em SQL, Python e PySpark em ambiente Azure e Databricks Implementar arquitetura medallion (Bronze, Silver e Gold), criando e otimizando tabelas e views Gold com regras de negócio documentadas Manter um modelo canônico global, harmonizando nomenclaturas, tipos, datas, fusos horários, moedas, unidades de medida e cadastros, preservando o vínculo com os dados de origem Implementar controles de qualidade, reconciliação com as fontes, tratamento de duplicidades, integridade referencial e gestão de alterações de schema Versionar código no Azure DevOps e apoiar code review, testes e esteiras CI/CD entre ambientes Monitorar execuções, falhas e desempenho dos pipelines, com logs, alertas e rotinas de recuperação, otimizando processamento e custos Documentar integrações, mapeamentos origem-destino, dicionário de dados, linhagem e procedimentos operacionais

SQL avançado: joins, CTEs, subqueries, funções de janela, agregações e otimização de consultas Python e PySpark para processamento distribuído, automações e notebooks, com código modular, testável e documentado Azure Data Factory, Azure Synapse Analytics e Databricks Azure DevOps e Git para versionamento, code review e automação de testes e deploys Integração com APIs REST: autenticação, paginação, tratamento de erros, limites de requisição e cargas incrementais Modelagem relacional e analítica (granularidade, chaves e relacionamentos), ETL/ELT e arquitetura Data Lake/Lakehouse em camadas Harmonização de dados entre sistemas e regiões, mapeamento origem-destino, modelo canônico e dicionário de dados Qualidade e governança de dados, rastreabilidade e boas práticas de acesso seguro e gestão de credenciais Inglês fluente para interação técnica e documentação