Sobre a oportunidade
A Randstad, em parceria com uma multinacional líder global no setor de inteligência de dados e infraestrutura, está buscando um Senior Data Platform Engineer para atuar na construção e evolução do Common Data Backbone (CDB) — uma plataforma estratégica para integração, governança e descoberta de…
Responsabilidades
Projetar, implantar e manter clusters Kafka altamente disponíveis e seguros na AWS (MSK ou self-managed). Realizar planejamento de capacidade, ajuste de performance e dimensionamento proativo. Automatizar infraestrutura e configurações utilizando Terraform e princípios de GitOps. Gerenciar e otimizar workspaces, clusters, jobs e pipelines de streaming do Databricks na AWS. Implementar observabilidade com métricas, painéis em Grafana e alarmes no CloudWatch. Desenvolver runbooks para resposta a incidentes, recuperação de desastres e rolling upgrades. Garantir conformidade com requisitos de segurança e auditoria (ISO27001). Colaborar com times de desenvolvimento fornecendo boas práticas de Kafka para microsserviços em .NET e jobs de streaming no Databricks. Conduzir testes de resiliência e manter estratégias documentadas de RPO/RTO. Promover melhoria contínua em otimização de custos, confiabilidade e maturidade operacional. O Que Buscamos Experiência: 5+ anos em engenharia de plataforma de dados, nuvem, SRE, DevOps ou infraestrutura, incluindo ao menos 3 anos de prática operando Kafka em produção. Kafka: Domínio dos conceitos internos do ecossistema (partições, replicação, ISR, controller quorum, KRaft). AWS: Conhecimento avançado em VPC, EC2, MSK, IAM, Secrets Manager e redes. Streaming & Integração: Familiaridade com Databricks Structured Streaming e Kafka Connect. Segurança & IaC: Experiência comprovada com TLS/mTLS, SASL/SCRAM, ACLs, design seguro de clusters e Infraestrutura como Código (Terraform preferencialmente). CI/CD & Observabilidade: Experiência com pipelines de CI/CD para tópicos/clusters e monitoramento via Grafana, CloudWatch e agregação de logs. Automação: Fortes habilidades de scripting (Bash, Python) para automação e criação de ferramentas internas. Idioma: Inglês avançado/fluente para comunicação oral e escrita (Upper-Intermediate ou superior).