Resumo Tech Jobs
Sobre a oportunidade
Buscamos uma Pessoa Engenheira de Dados Sênior para atuar dedicada em um banco digital de grande porte, em um squad de plataforma de dados responsável pela entrega governada de dados multi-cloud do banco, nascida das exigências do Open Finance. Você será a referência do squad na camada de dados da plataforma: Apache Iceberg sobre S3 Tables, Glue Catalog, contrato de dados com o pipeline Dataflow que materializa datasets semanais de dezenas de milhões de linhas, e geração e curadoria de dados de teste em volume representativo. A posição exige domínio de formatos colunares, particionamento, custo de leitura e consistência temporal, atuando em conjunto com desenvolvedores Go, QA e os times de dados, arquitetura e SRE do banco.
Responsabilidades
Desenhar e manter a integração da plataforma com S3 Tables, Apache Iceberg e Glue Catalog, garantindo leitura eficiente de grandes volumes. Definir e validar o contrato de dados com o pipeline Dataflow do banco (esquemas, partições, snapshots, safe cut e evolução de schema). Otimizar layout de dados, particionamento e partition pruning para desempenho e controle de custo do Data Lake. Gerar e curar dados de teste em volume representativo (dezenas de milhões de registros) para testes de carga e homologação. Apoiar o desenho de dados sobre Spanner, MongoDB (Event Store e plano de controle) e BigQuery, conforme a arquitetura definida pelo banco. Implementar e validar policies de campo, mascaramento de PII e requisitos de compliance na entrega de dados. Apoiar a replicação do plano de controle (Data Products e Data Policies) entre AWS e GCP. Construir validações de qualidade e consistência de dados, com observabilidade de custo por consulta, DataSource e consumidor. Escrever testes automatizados, participar de code review e seguir as esteiras e padrões do banco. Participar de refinamento, planning, daily conjunta, review e retrospectiva com o product owner e os times do banco. Produzir ADRs, runbooks e documentação viva e conduzir sessões técnicas de transferência de conhecimento. Utilizar ferramentas de IA aplicadas ao desenvolvimento (GitHub Copilot, Claude Code ou similares) com senso crítico sobre o resultado gerado.