Buscamos um Engenheiro de Dados Sênior que, além de construir e operar pipelines, assuma responsabilidade arquitetural sobre a plataforma de dados orientada a eventos: desenho de tópicos e contratos de eventos, padrões de ingestão em streaming, processamento com PySpark e decisões de performance, resiliência e custo no ambiente AWS. É uma posição de execução técnica pesada: a pessoa escreve código, faz tuning de Kafka e Spark, revisa o desenho de terceiros e responde pela confiabilidade dos dados que alimentam painéis executivos, relatórios a clientes e obrigações regulatórias. O ambiente é regulado, no mercado financeiro e de investimentos, onde rastreabilidade, reprodutibilidade e correção auditável dos números são requisitos de primeira ordem. A interlocução acontece com áreas como Wealth Management, Comercial, Risco, Compliance e Operações, além da atuação como referência técnica em Kafka e streaming para engenheiros pleno e júnior. Principais responsabilidades Projetar e evoluir a arquitetura orientada a eventos na AWS, com Kafka (Amazon MSK ou Confluent) como backbone de integração entre sistemas transacionais e a plataforma analítica. Desenvolver producers e consumers Kafka com PySpark (Spark Structured Streaming), com controle explícito de offsets, checkpointing, idempotência, tratamento de late data e semântica de entrega adequada a cada caso. Definir e defender o desenho de tópicos, chaves, particionamento, retenção, compactação e contratos de eventos, com justificativa de trade-offs entre ordenação, throughput e custo. Governar esquemas no Schema Registry (Avro, Protobuf ou JSON Schema), definindo regras de compatibilidade e evolução sem quebrar consumidores. Implementar Change Data Capture (CDC) de bancos transacionais via Kafka Connect ou Debezium e integrar com fontes como APIs de custodiantes, distribuidores e provedores de mercado. Construir a camada de persistência dos eventos no Data Lake em S3, com formatos de tabela abertos (Iceberg ou Delta), organização de camadas e integração com Glue, EMR e Redshift. Conduzir tuning de performance e custo em Kafka e Spark, cobrindo lag de consumer groups, rebalanceamento, dimensionamento de brokers, micro-batch, skew e spill. Instrumentar observabilidade e controles automatizados de qualidade dos fluxos de eventos, cobrindo lag, freshness, volumetria, quebras de contrato e reconciliação entre origem e destino. Garantir linhagem e rastreabilidade ponta a ponta, da origem do evento ao número no painel, aplicando controles de acesso, criptografia, segregação por sensibilidade e conformidade com LGPD e normas do setor. Automatizar provisionamento e deploy da plataforma com infraestrutura como código e CI/CD, documentar decisões arquiteturais (ADRs) e atuar em code review, pareamento e definição de padrões com o time.
