Engenheiro de Dados

Projetar, desenvolver e manter pipelines de ETL/ELT escaláveis, confiáveis e de alta performance, cobrindo ingestão, transformação e carga. Criar e evoluir pacotes Python internos (wheels) que padronizem transformações e acelerem a entrega de novos pipelines. Modelar e construir as camadas do Data Lakehouse (arquivos Parquet no MinIO, consistência, particionamento, compactação e evolução de schema/contratos de dados). Disponibilizar dados em bancos de dados relacionais e não relacionais, garantindo performance, integridade e governança. Orquestrar fluxos de dados no Apache Airflow, incluindo agendamento, dependências, retentativas e tratamento de falhas. Publicar e operar pipelines e serviços em containers Docker sobre Kubernetes, contribuindo para as esteiras de CI/CD e o deploy automatizado. Expor dados para consumo analítico via Dremio, otimizando consultas e a experiência dos usuários de BI. Apoiar a camada de visualização/frontend e a construção de dashboards (stack a ser definida) junto ao time, garantindo que o dado chegue tratado e pronto para o negócio. Implementar rotinas de controle de qualidade, monitoramento e observabilidade dos dados e pipelines, atuando em incidentes e reprocessamentos. Garantir governança, segurança, versionamento e rastreabilidade (linhagem) dos dados, seguindo boas práticas e requisitos de LGPD. Colaborar com Arquitetos, Analistas de Dados/BI, Cientistas de Dados e áreas de negócio para traduzir necessidades em soluções de engenharia de dados. Documentar fluxos, arquiteturas, regras de negócio e modelos de dados, promovendo melhoria contínua e boas práticas. Participar de cerimônias ágeis (Scrum/Kanban) e de revisões técnicas com o time. Informações sobre o Contrato de Trabalho

Diploma, devidamente registrado, de curso de nível superior de graduação na área de Tecnologia da Informação (Ciência da Computação, Engenharia de Software, Sistemas de Informação, Engenharia da Computação ou correlatos) ou de graduação em qualquer área acrescido de certificado de pós-graduação em área de Tecnologia da Informação de, no mínimo, 360 (trezentos e sessenta) horas, fornecido por instituição reconhecida pelo Ministério da Educação (MEC). Experiência mínima comprovada de 03 (três) anos atuando como Engenheiro(a) de Dados (ou no mínimo 02 anos em nível pleno, com entrega ponta a ponta de pipelines em produção). Experiência comprovada na construção e sustentação de pipelines ETL/ELT em produção, do design à operação. Vivência com volumes relevantes de dados (batch e/ou incremental) e com reprocessamento seguro. Desejável portfólio (GitHub, projetos pessoais ou contribuições open source) que demonstre a habilidade de resolver problemas reais de dados Sólida proficiência em Python para engenharia de dados (boas práticas, OOP, organização de código, tratamento de erros, testes). Experiência na criação e empacotamento de bibliotecas Python próprias (wheels), promovendo reuso, padronização e versionamento de código entre pipelines. Domínio de SQL avançado (consultas, joins, CTEs, window functions, tuning) e modelagem de dados (normalizada e dimensional). Experiência com ETL/ELT, incluindo ingestão de múltiplas fontes e carga em bancos de dados relacionais (PostgreSQL, SQL Server, MySQL, Oracle ou similares) e não relacionais (MongoDB e afins). Experiência com armazenamento em arquivos Parquet e conceitos de Data Lake / Data Lakehouse (camadas Bronze/Silver/Gold ou Medallion). Experiência com orquestração de pipelines no Apache Airflow (criação de DAGs, agendamento, dependências, retentativas e tratamento de falhas). Experiência prática com Docker (build de imagens, Dockerfiles, ambientes reproduzíveis) e operação em Kubernetes (deploy, jobs, configmaps/secrets, monitoramento de workloads). Familiaridade com MinIO (armazenamento de objetos compatível com S3) como camada de Data Lake. Conhecimento no uso de Dremio (ou motor de consulta equivalente como Trino/Athena) como camada semântica/consulta sobre o Data Lake. Experiência com Git/versionamento e práticas de CI/CD aplicadas a projetos de dados. Sólido entendimento de qualidade de dados, observabilidade e monitoramento de pipelines (validação, alertas, métricas, reprocessamento). Conhecimentos em intetração de ferramentas de IA para alta produtividade. (Harness). Conhecimentos Desejáveis/Diferenciais Não esperamos que você já domine tudo isso, mas buscamos alguém com grande interesse em se aprofundar: Apache Iceberg (ou Delta Lake/Hudi) como formato de tabela aberta sobre o Data Lake. dbt para modelagem e transformação de dados na camada analítica. Orquestração e automação avançadas: Helm, Argo CD, GitHub Actions/GitLab CI para deploy em múltiplos clusters Kubernetes. Nessie (catálogo com branching/tagging) e gestão de múltiplos ambientes (dev/test/prod). Streaming e ingestão em tempo real: Apache Kafka (modo KRaft), Debezium/CDC. Processamento distribuído em larga escala: Apache Spark / PySpark. Ferramentas de qualidade e catálogo de dados: Great Expectations, Soda, OpenMetadata, DataHub, OpenLineage. Observabilidade: Prometheus, Grafana e OpenTelemetry aplicados a workloads de dados. Stack de frontend/BI para visualização (Streamlit, Dash, React, Power BI, Apache Superset ou similares) e experiência na construção de dashboards e APIs de consumo. Infraestrutura como código: Terraform / Ansible. Conhecimentos de MLOps / IA aplicada (feature stores, pipelines para IA, LLMs) como apoio às frentes de dados e analytics avançado. Experiência em ambientes on-premise/híbridos e em plataformas de dados corporativas. Inglês técnico para leitura de documentação. Softskills Proatividade: Você não espera por tarefas, você as cria. Tem autonomia para pesquisar, propor caminhos e resolver problemas. Comunicação Clara: Sabe traduzir "techniquês" em valor de negócio e vice-versa. Paixão por Resolver Problemas: Vê um desafio complexo (dado fora de padrão, pipeline quebrado, gargalo de performance) como oportunidade de aprender e inovar. Colaboração: Entende que o melhor resultado vem do trabalho em equipe, compartilhando conhecimento e ajudando os colegas de BI, Analytics e IA. Adaptabilidade: Lida bem com o dinamismo e as incertezas de um projeto em evolução, inclusive com stack de dashboard ainda em definição. Espírito de Equipe: Gosta de colaborar, ensinar e aprender com os colegas de time.

Acesso à cursos em plataformas de ensino. Modelo de atuação: Remoto Diversidade e Inclusão Acreditamos que a pluralidade torna nosso time mais forte. Por isso, nossos processos seletivos são pautados pelo respeito, pela equidade e pela valorização das pessoas. Valorizamos a inclusão para promover oportunidades a todas as pessoas, abraçando a pluralidade de raças, identidades de gênero, origens, orientações e Pessoas com Deficiência PcD. Aqui, cada pessoa tem espaço para ser quem é, desenvolver seu talento, entregar com excelência e fazer a diferença. Vem construir história com a gente! Departamento: CRP Tecnologia

A combinar Carga Horária: 40h semanais - Segunda a Sexta - das 08:00 às 12:00 e das 14:00 às 18:00.