Principais características técnicas
- Domínio de Python, SQL e PySpark
É esperado que o profissional tenha boa experiência com: Python para automação e desenvolvimento de pipelines; SQL avançado, incluindo joins, CTEs, funções de janela e otimização de consultas; PySpark/DataFrames para processamento distribuído; Tratamento de dados estruturados, semiestruturados e grandes volumes; Criação de funções reutilizáveis e código organizado. O conhecimento de PySpark e SQL é central para as atividades de ingestão, transformação e modelagem avaliadas pela própria trilha oficial de engenharia de dados da Databricks. (databricks.comOpens in a new window; external.)
- Experiência prática com Databricks
O candidato deve conhecer, na prática: Uso de notebooks; Configuração e escolha adequada de clusters e compute; Execução de jobs e pipelines; Parametrização de ambientes; Leitura de logs e diagnóstico de falhas; Uso de Databricks SQL; Integração com serviços de nuvem, como AWS, Azure ou Google Cloud. Mais importante do que apenas “ter usado Databricks” é conseguir explicar por que determinada arquitetura, configuração de cluster ou estratégia de execução foi escolhida.
Um profissional pleno deve compreender e aplicar: Tabelas Delta; Transações ACID; Schema enforcement e schema evolution; Operações MERGE, UPDATE e DELETE; Time travel; Particionamento; Compactação e manutenção de tabelas; Estratégias de carga incremental; Boas práticas para evitar pequenos arquivos. O Delta Lake é o formato recomendado para arquiteturas lakehouse na plataforma Databricks, especialmente por oferecer confiabilidade, consistência e suporte a operações de atualização e streaming. (docs.databricks.comOpens in a new window; external.)
- Construção de pipelines de ingestão e transformação
Deve saber desenvolver pipelines para: APIs; Bancos relacionais; Arquivos CSV, JSON e Parquet; Filas e eventos; Data lakes em cloud; Processamento batch e, idealmente, streaming. Também é desejável conhecimento de Auto Loader, Structured Streaming e pipelines declarativos, especialmente para ingestão incremental e processamento contínuo. (docs.databricks.comOpens in a new window; external.)
- Conhecimento de arquitetura Medallion
É importante que compreenda a separação entre: Bronze: dados brutos; Silver: dados tratados, padronizados e enriquecidos; Gold: dados preparados para consumo analítico, relatórios ou modelos de machine learning. O profissional não precisa apenas conhecer os nomes das camadas; deve saber justificar regras de transformação, controle de qualidade e localização de cada tipo de dado.
- Orquestração e operacionalização
Deve ter experiência com: Databricks Workflows ou Lakeflow Jobs; Agendamento e dependência entre tarefas; Retentativas; Alertas; Controle de parâmetros; Execuções manuais e automáticas; Monitoramento de duração e falhas; Reprocessamento seguro. A certificação oficial atual de Data Engineer Associate inclui ingestão, transformação, Lakeflow Jobs, CI/CD, troubleshooting, otimização, governança e segurança. (databricks.comOpens in a new window; external.)
Um profissional pleno deve conseguir investigar e melhorar: Tempo de execução dos jobs; Uso e custo de clusters; Shuffles excessivos; Skew de dados; Particionamento inadequado; Pequenos arquivos; Consultas SQL lentas; Uso excessivo de collect; Escolha entre processamento batch e streaming. Ele deve demonstrar raciocínio analítico: identificar o gargalo, propor uma hipótese, medir o resultado e validar a melhoria.
São diferenciais importantes: Conhecimento de Unity Catalog; Catálogos, schemas e tabelas; Controle de acesso por grupos; Permissões em dados e objetos; Auditoria; Linhagem; Mascaramento ou proteção de dados sensíveis; Separação entre ambientes de desenvolvimento, homologação e produção. O Unity Catalog é utilizado para governança, controle de acesso e gerenciamento de dados, inclusive em cargas de streaming. (docs.databricks.comOpens in a new window; external.)
- Práticas de engenharia de software e DevOps
Espera-se familiaridade com: Git; Pull requests e revisão de código; Testes unitários e de integração; CI/CD; Separação de configurações por ambiente; Infraestrutura como código, quando aplicável; Databricks Asset Bundles ou mecanismos equivalentes de implantação; Versionamento de notebooks, scripts e jobs. O profissional pleno deve conseguir entregar código que possa ser mantido por outros engenheiros, e não apenas notebooks executados manualmente. Características comportamentais Além da parte técnica, eu procuraria alguém que demonstre: Autonomia: resolve problemas sem depender constantemente de orientação; Organização: documenta pipelines, decisões e premissas; Pensamento crítico: questiona qualidade, origem e confiabilidade dos dados; Comunicação: consegue conversar com desenvolvedores, cientistas de dados, analistas e áreas de negócio; Senso de responsabilidade: entende impacto de falhas e dados incorretos; Colaboração: participa de code reviews e compartilha conhecimento; Pragmatismo: entrega soluções sustentáveis sem tentar superdimensionar a arquitetura; Visão de negócio: entende que o pipeline existe para suportar decisões, produtos ou modelos de IA. O que diferencia o nível pleno do júnior? Júnior Pleno Executa tarefas bem definidas Participa da definição da solução Desenvolve transformações simples Constrói pipelines completos Precisa de orientação frequente Trabalha com autonomia Identifica erros básicos Investiga causa raiz Usa clusters e jobs já configurados Ajuda a definir configurações e custos Conhece ferramentas isoladamente Entende o fluxo ponta a ponta Tem pouca visão de governança Aplica segurança, qualidade e linhagem Foca na execução Considera manutenção, performance e operação Como avaliar em uma entrevista Eu faria perguntas práticas, por exemplo: Como você desenharia um pipeline Bronze, Silver e Gold no Databricks? Quando usaria batch, Structured Streaming ou Auto Loader? Como trataria registros duplicados e reprocessamento? Como faria uma carga incremental utilizando Delta Lake? Como investigaria um job que ficou cinco vezes mais lento? Qual a diferença entre particionamento, clustering e otimização de consultas? Como controlaria acesso a dados sensíveis utilizando Unity Catalog? Como promoveria um pipeline de desenvolvimento para produção? Que métricas acompanharia para avaliar qualidade e performance? Conte um incidente de produção envolvendo dados e como você resolveu. Perfil ideal resumido O candidato ideal é um profissional que: Domina SQL, Python e PySpark; Já construiu pipelines reais em Databricks; Conhece Delta Lake, ingestão incremental e arquitetura lakehouse; Sabe trabalhar com batch e possui noções de streaming; Entende orquestração, monitoramento e CI/CD; Tem familiaridade com Unity Catalog e governança; Consegue diagnosticar problemas de qualidade e performance; Trabalha com autonomia, organização e boa comunicação; Demonstra preocupação com custo, segurança, confiabilidade e manutenção. A certificação Databricks Certified Data Engineer Associate pode ser um indicativo positivo, mas não deve substituir a avaliação de experiência prática. O ideal é combinar certificação ou cursos com um desafio técnico que envolva ingestão, transformação, Delta Lake, orquestração e tratamento de erros.Responsabilidades e atribuições Principais responsabilidadesConstruir e manter pipelines de ingestão e transformação para dados de APIs, bancos relacionais, arquivos e data lakes.Desenvolver soluções em Python, SQL e PySpark, com código organizado, reutilizável e testável.Modelar dados em Delta Lake, aplicando cargas incrementais, operações MERGE e boas práticas de manutenção.Implementar arquiteturas Medallion (Bronze, Silver e Gold) e regras de qualidade de dados.Orquestrar jobs e pipelines, configurar dependências, parâmetros, retentativas e alertas.Monitorar execuções, investigar falhas e diagnosticar problemas de qualidade e performance.Otimizar consultas, processamento, uso de clusters e custos, medindo os resultados das melhorias.Aplicar práticas de governança e segurança, incluindo controle de acesso e proteção de dados sensíveis.Colaborar em revisões de código, testes, versionamento e implantação entre ambientes.
