Engenheiro de Dados Senior

🔎 #Conheça um pouco sobre a área: Estamos à procura de uma pessoa Engenheira de Dados Sênior para integrar o time de Dados da oferta Cortex Growth. O time é responsável pelos dados que abastecem nossas soluções de inteligência para vendas B2B, desde a coleta e o tratamento até a disponibilização para os produtos da plataforma, com todo o processamento em Databricks. Aqui a IA faz parte do dia a dia: usamos modelos de linguagem e agentes para coletar, estruturar e validar dados com mais escala e qualidade, e o Claude Code é a nossa ferramenta oficial de desenvolvimento. Se você domina SQL, gosta de grandes volumes de dados e já usa IA de forma prática no seu trabalho, queremos conhecer você!

🎯#Desafios que você vai encontrar:Desenvolver, manter e otimizar pipelines de dados em larga escala no Databricks, principalmente com SQL e também com PySpark. Utilizar IA generativa, LLMs e agentes para automatizar a coleta, extração, estruturação e validação de dados, inclusive a partir de fontes não estruturadas. Integrar novas fontes de dados internas e externas, garantindo rastreabilidade e eficiência de custo. Desenvolver e manter APIs que disponibilizam dados para os produtos da plataforma. Garantir a qualidade e a integridade dos dados com testes automatizados, validações e monitoramento, tratando os problemas na causa raiz. Aplicar boas práticas de privacidade e conformidade com a LGPD no tratamento de dados. Otimizar performance e custo de processamento em Databricks e AWS. Participar das decisões de arquitetura e da definição de boas práticas de engenharia de dados do time. Usar o Claude Code no ciclo de desenvolvimento e contribuir para que o time aproveite melhor as ferramentas de IA, com qualidade e senso crítico. Compartilhar conhecimento com o time por meio de code review e pareamento. Colaborar com Produto, Data Science, Plataforma e áreas de negócio para traduzir necessidades em soluções e comunicar resultados com clareza. Documentar pipelines, regras de negócio e arquitetura de dados.

✔️ #Conhecimentos importantes para a posição: Formação em Ciência da Computação, Engenharia de Dados, Sistemas de Informação ou áreas relacionadas, ou experiência equivalente. Experiência como Data Engineer ou em funções similares. SQL avançado e sólidos conhecimentos em modelagem de dados. Experiência prática com Databricks. Uso prático de IA no trabalho com dados, como LLMs ou agentes para coleta, extração, classificação ou validação de informações. Uso no dia a dia de ferramentas de IA para desenvolvimento, como Claude Code, Cursor, GitHub Copilot ou similares. Conhecimentos em Python e PySpark. Conhecimento em serviços AWS como S3, Lambda e EKS. Familiaridade com Git e testes automatizados. Capacidade de trabalhar com autonomia e de comunicar resultados com clareza. Experiência em ambiente ágil e colaborativo. ⭐ #Diferencial para a posição: Experiência com Claude Code. Conhecimento em Delta Live Tables (DLT) e/ou pipelines de dados em streaming. Experiência com Unity Catalog. Otimização de performance e custo de pipelines no Databricks. Construção de APIs de dados. CI/CD e boas práticas de code review. Web scraping e coleta de dados públicos em escala. Construção de agentes de IA ou integração com APIs de LLMs. Conhecimento de LGPD aplicada a dados. Inglês para leitura técnica.