Pessoa SRE / Engenheira de Dados Sênior — Plataforma de Dados AWS e GCP

Resumo da vaga: Buscamos um(a) profissional sênior para atuar de forma dedicada em um banco digital de grande porte, em um squad de plataforma de dados responsável pela entrega governada de dados multi-cloud do banco, iniciativa originada das exigências do Open Finance. O projeto envolve o desenvolvimento de pipelines para processamento de grandes volumes de dados no Google Cloud Platform (GCP) e disponibilização na AWS para uma arquitetura de Data Hub, utilizando AWS Glue, Amazon S3 Tables e Apache Iceberg. Serão considerados profissionais de SRE com conhecimento em engenharia de dados ou engenheiros de dados com experiência em CI/CD e automação. A atuação será em conjunto com desenvolvedores Go, QA e os times de dados, arquitetura e SRE do banco.

Desenvolver, implantar e acompanhar pipelines para processamento e disponibilização de grandes volumes de dados. Contribuir para a integração entre o processamento no GCP e a disponibilização dos dados na AWS. Atuar com AWS Glue, Amazon S3 Tables e Apache Iceberg na implementação e evolução da plataforma. Estruturar e evoluir esteiras de CI/CD, automatizando testes e implantação de componentes. Contribuir para a confiabilidade, observabilidade, desempenho e operação dos pipelines e serviços de dados. Investigar falhas, identificar causas e implementar soluções em conjunto com os times envolvidos. Identificar dependências de infraestrutura, permissões e acessos, articulando a resolução de impedimentos. Participar das discussões de arquitetura e decisões técnicas, buscando referências e propondo soluções. Colaborar com desenvolvedores Go, QA e demais times do banco na implementação e validação das entregas. Atuar desde a discussão conceitual até a implementação, os testes e o acompanhamento em produção.

Experiência sênior em SRE, Engenharia de Plataforma ou Engenharia de Dados. Conhecimento de engenharia de dados e pipelines, para profissionais de SRE, ou experiência em CI/CD e automação, para profissionais de Engenharia de Dados. Conhecimento sólido e experiência prática em AWS. Experiência com pipelines e processamento de grandes volumes de dados. Conhecimento de esteiras de CI/CD e automação de desenvolvimento e implantação. Domínio de Python para desenvolvimento e automação. Conhecimento de Apache Iceberg e sua utilização no ecossistema AWS. Conhecimento de GCP e capacidade de atuar em uma arquitetura que integra diferentes provedores de nuvem. Experiência em grandes empresas, com processos de governança e ambientes com restrições de acesso. Visão de ponta a ponta da solução, considerando processamento, armazenamento, integrações, implantação e operação. Desejáveis: Experiência prática com AWS Glue e Amazon S3 Tables. Conhecimento de Cloud Composer, Apache Airflow e Dataflow. Conhecimento ou experiência com Delta Lake. Conhecimento da linguagem Go. Vivência em projetos de integração de dados entre GCP e AWS. Experiência em bancos, fintechs ou projetos relacionados a Open Finance. Perfil comportamental Buscamos uma pessoa com maturidade profissional, autonomia e flexibilidade para atuar em ambientes corporativos complexos. É importante saber lidar com acessos restritos e dependências entre áreas, buscando os responsáveis, acompanhando solicitações e propondo alternativas dentro das regras do banco. Esperamos alguém que contribua para discussões técnicas e conceituais com argumentos e referências e que também tenha atuação prática para desenvolver, implantar, testar e acompanhar os resultados. Boa comunicação, colaboração e iniciativa para resolver problemas são essenciais.