Engenheiro(a) de Dados Sênior | Databricks em AWS

Buscamos um(a) Engenheiro(a) de Dados Sênior para atuar em uma instituição financeira, liderando tecnicamente a implantação da plataforma Databricks em ambiente AWS. O foco principal é implantar a plataforma Databricks do zero em AWS: conduzir a instalação, a configuração, a integração com o ecossistema de dados do cliente e a estruturação da governança. Buscamos alguém que já tenha liderado ou executado uma implantação de Databricks em AWS, e não apenas trabalhado em um ambiente já pronto. Em paralelo, a pessoa também vai desenvolver e sustentar pipelines de dados, garantindo que a plataforma seja usada de forma consistente e segura desde o início. Principais responsabilidades Conduzir a implantação do Databricks em AWS, da preparação do ambiente à entrada em operação. Configurar workspaces, clusters, jobs e políticas de uso da plataforma. Integrar o Databricks ao ambiente de dados do cliente e aos serviços AWS envolvidos (armazenamento, catálogo, segurança e acesso). Estruturar a governança da plataforma: controle de acesso, permissões, organização de catálogos e boas práticas de uso. Desenvolver, evoluir e sustentar pipelines de dados de ingestão e transformação. Monitorar, investigar e corrigir falhas nos fluxos de dados em produção. Documentar a arquitetura, as configurações e os padrões adotados. Interagir com times técnicos e de negócio, inclusive em inglês.

Conduzir a implantação do Databricks em AWS, da preparação do ambiente à entrada em operação. Configurar workspaces, clusters, jobs e políticas de uso da plataforma. Integrar o Databricks ao ambiente de dados do cliente e aos serviços AWS envolvidos (armazenamento, catálogo, segurança e acesso). Estruturar a governança da plataforma: controle de acesso, permissões, organização de catálogos e boas práticas de uso. Desenvolver, evoluir e sustentar pipelines de dados de ingestão e transformação. Monitorar, investigar e corrigir falhas nos fluxos de dados em produção. Documentar a arquitetura, as configurações e os padrões adotados. Interagir com times técnicos e de negócio, inclusive em inglês.

Experiência prática comprovada em implantação e configuração do Databricks em AWS. Experiência sênior em engenharia de dados. Inglês para comunicação profissional. Desejáveis Python, PySpark e SQL. AWS Glue e Apache Airflow. Delta Lake. Desenvolvimento e sustentação de pipelines de dados.

Unity Catalog e governança de dados no Databricks. Infraestrutura como código (Terraform) e CI/CD aplicados a dados. Conhecimento de S3, IAM e redes em AWS. Certificações Databricks ou AWS. Vivência no setor financeiro. Competências comportamentais Autonomia para conduzir a implantação de ponta a ponta, tomando decisões técnicas fundamentadas. Visão de plataforma, entendendo como as escolhas de configuração afetam segurança, custo e uso. Comunicação clara com times técnicos e de negócio, em português e inglês. Organização e cuidado com documentação e padrões. Postura consultiva, propondo melhorias sem depender de demandas pré-definidas. Informações da vaga Senioridade: Sênior

Remoto Idioma: Inglês obrigatório Departamento: Data & Analytics