Desenvolvimento de Pipeline de Dados: Desenvolver, manter e melhorar pipelines de dados usando Databricks, PySpark, Python e SQL para transformar dados financeiros brutos em conjuntos de dados confiáveis e organizados. Integração de Dados: Integrar novas fontes de dados ao ecossistema existente, ajudando a expandir as capacidades da plataforma e melhorar a visibilidade dos negócios. Reconciliação de Dados Financeiros: Dar suporte às atividades de reconciliação financeira, rotinas de P&L e processos de fechamento global, garantindo consistência, precisão e rastreabilidade dos dados entre diferentes fontes. Processamento e Otimização de Dados: Processar grandes volumes de dados estruturados e semi-estruturados, otimizando transformações, formatos de armazenamento e desempenho de consultas usando as melhores práticas de Delta Lake e Lakehouse. Manutenção e Suporte de Pipelines: Monitorar, solucionar problemas e dar suporte aos pipelines existentes, identificando falhas, investigando discrepâncias e garantindo processamento confiável diário e mensal. Abordagens para melhorar o desempenho, a escalabilidade, a manutenibilidade e a qualidade dos dados em todo o ecossistema de dados financeiros. Colaboração com equipes multidisciplinares: Trabalhar de perto com engenheiros de dados, partes interessadas do negócio, equipes de finanças e equipes de tecnologia para entender as necessidades e entregar soluções de dados de alta qualidade. Governança e qualidade de dados: Apoiar a governança de dados, regras de validação, auditabilidade, documentação e controles para garantir dados financeiros confiáveis e bem gerenciados. Integração de IA: Apoiar iniciativas envolvendo modelos de IA e capacidades avançadas de dados, ajudando a integrar insights e automação baseados em IA nos fluxos de trabalho de dados. Requisitos para este desafio: Experiência sólida com Databricks, incluindo notebooks, jobs, workflows, clusters e melhores práticas para construir soluções de dados escaláveis. Proficiência em processamento de dados usando PySpark, Python e SQL, com experiência prática em transformar dados brutos em conjuntos de dados confiáveis e bem organizados. Experiência com Delta Lake e arquitetura Lakehouse, incluindo tabelas Delta, processamento incremental, otimização de dados e camadas de dados estruturados. Conhecimento do ecossistema de dados do Azure, especialmente Azure Data Lake Storage, padrões de integração de dados e processamento de dados na nuvem. Experiência em suporte a pipelines de dados financeiros, de preferência envolvendo reconciliação, P&L, fechamento financeiro ou outros processos críticos de negócios. Experiência prática em manter e melhorar pipelines existentes, incluindo resolução de problemas, otimização de desempenho, documentação e suporte à produção. Capacidade de trabalhar com dados estruturados e semiestruturados, garantindo qualidade, rastreabilidade e preparação para análises e uso estratégico do negócio. Mentalidade de resolução de problemas, com a capacidade de investigar dados complexos, entender causas raiz e propor soluções práticas em ambientes de dados desafiadores. Interesse ou experiência com modelos de IA e capacidades avançadas de dados, apoiando a integração de soluções baseadas em IA nos fluxos de trabalho de dados. Espanhol para interação com equipes globais, discussões técnicas e documentação.
