Arquiteto de Dados

O que buscamos? Atribuições principais: Acompanhar soluções de arquitetura relacionadas ao armazenamento e integração de dados; Desenhar soluções de arquitetura relacionadas ao armazenamento e integração de dados; Apoiar os PMOs na obtenção de dados, organização e acompanhamento de projetos; Elaborar planos de execução, comunicação e acompanhamento de projeto; Elaborar indicadores e garantir as entregas de pacotes de serviço e atividades a serem desempenhadas para a execução do projeto; Traduzir grandes volumes de informação em decisões de negócio efetivas; Definir e supervisionar a estratégia de migração de dados de sistemas legados para novas soluções.

Acompanhar soluções de arquitetura relacionadas ao armazenamento e integração de dados; Desenhar soluções de arquitetura relacionadas ao armazenamento e integração de dados; Apoiar os PMOs na obtenção de dados, organização e acompanhamento de projetos; Elaborar planos de execução, comunicação e acompanhamento de projeto; Elaborar indicadores e garantir as entregas de pacotes de serviço e atividades a serem desempenhadas para a execução do projeto; Traduzir grandes volumes de informação em decisões de negócio efetivas; Definir e supervisionar a estratégia de migração de dados de sistemas legados para novas soluções. Definir e evoluir a arquitetura de referência de dados (batch e tempo real). Construir e manter pipelines de streaming críticos, de baixa latência e alta disponibilidade. Tomar e documentar decisões técnicas, conduzindo design reviews. Otimizar custo e performance da plataforma Databricks. Garantir governança, segurança e qualidade dos dados. Apoiar e desenvolver tecnicamente o time de engenharia de dados.

Especialista: Databricks, Arquitetura e Streaming Missão da posição Desenhar, decidir e evoluir a arquitetura de dados da empresa, principalmente as plataformas Lakehouse (Databricks) e de streaming em tempo real (Kafka). A pessoa atua como referência técnica e responde pelas escolhas de arquitetura.

Databricks e Lakehouse Experiência sólida em Databricks em produção: Workspaces, Clusters, Jobs/Workflows, Databricks SQL e Repos. Domínio de Delta Lake: ACID, time travel, OPTIMIZE/Z-ORDER, Liquid Clustering, VACUUM, Change Data Feed e schema evolution. Unity Catalog: governança, lineage, controle de acesso e organização em catálogos, schemas e volumes. Delta Live Tables / Lakeflow Declarative Pipelines e Auto Loader. Arquitetura Medallion (Bronze/Silver/Gold) e modelagem para Lakehouse. Tuning de Spark e controle de custos: particionamento, AQE, Photon, dimensionamento de clusters, serverless e análise de DBUs. Kafka e streaming Experiência avançada com Apache Kafka (Confluent, MSK ou Event Hubs com Kafka API): tópicos, partições, replicação, consumer groups, offsets e retenção/compaction. Domínio de Spark Structured Streaming: watermarks, janelas, stateful processing, checkpoints, triggers e garantias exactly-once. Schema Registry (Avro/Protobuf/JSON Schema) e estratégias de compatibilidade. Kafka Connect e CDC (Debezium ou equivalentes). Saber lidar com dados fora de ordem, duplicidade, late data, backpressure e reprocessamento (replay). Ter dimensionado throughput e latência e monitorado consumer lag. Arquitetura e tomada de decisão Ter desenhado arquiteturas de dados ponta a ponta (batch + streaming, Lambda/Kappa, Lakehouse, Data Mesh). Capacidade de avaliar trade-offs (custo, latência, complexidade, governança) e registrar decisões, por exemplo em ADRs. Definir padrões, boas práticas e guardrails para o time. Comunicar decisões técnicas para áreas de negócio e para a liderança. Fundamentos Python (PySpark) e SQL avançado. Scala é um diferencial. Cloud: Azure, AWS ou GCP, incluindo storage, rede, IAM e segurança. CI/CD para dados: Databricks Asset Bundles, Git, Azure DevOps/GitHub Actions. Infraestrutura como código (Terraform). Qualidade e observabilidade de dados: expectations, testes, data contracts e alertas.

Certificações: Databricks Certified Data Engineer Professional, Confluent Certified Developer/Administrator for Apache Kafka. Flink ou Kafka Streams / ksqlDB. Experiência com MLOps e Feature Store no Databricks (MLflow). Contexto em setores regulados (financeiro, seguros) e LGPD. Experiência como Tech Lead ou mentor de engenheiros. Migração de plataformas legadas (Hadoop, DW on-premises) para Lakehouse. Principais responsabilidades Definir e evoluir a arquitetura de referência de dados (batch e tempo real). Construir e manter pipelines de streaming críticos, de baixa latência e alta disponibilidade. Tomar e documentar decisões técnicas, conduzindo design reviews. Otimizar custo e performance da plataforma Databricks. Garantir governança, segurança e qualidade dos dados. Apoiar e desenvolver tecnicamente o time de engenharia de dados. Localidade da posição: 100% remota Quem é a Insi? Somos uma consultoria especializada em evolução digital. Mas, acima de tudo, somos uma empresa de gente. Gente que ouve antes de propor. Que vai ao essencial antes de apresentar solução. Que mede sucesso pelo que mudou de verdade, não pelo que foi implementado. Com mais de três décadas de história e presença global, acreditamos que a verdadeira transformação começa dentro: dentro das pessoas, das equipes, das organizações — e é essa convicção que orienta cada escolha que fazemos, cada projeto que entregamos, cada pessoa que desenvolvemos. Por que construir sua carreira na Insi? Porque aqui você pensa, decide e cria junto. Oferecemos autonomia, metas claras e um ambiente onde os Insiders têm espaço para interagir com diferentes tecnologias, participar de projetos desafiadores, trazer novas ideias e trabalhar de qualquer lugar do Brasil e (por que não?) do mundo. Somos uma das melhores empresas para se trabalhar no Brasil segundo o Great Place to Work e estamos entre os 10 melhores empregadores do Brasil segundo a revista TIME. Quais são nossos valores? Somos pessoas servindo pessoas Pensamos e agimos como donos Temos gana por performance Crescemos e aprendemos juntos Buscamos excelência e a simplicidade Atuamos com criatividade e inovação Todas as pessoas são bem-vindas independentemente de sua condição, deficiência, etnia, crença religiosa, orientação sexual, aparência, idade ou afins. Queremos que você cresça conosco em um ambiente acolhedor e repleto de oportunidades. Se identificou? Então, #VemSerInsi!