Engenheiro de Dados SR (Integração SAP)

Você é apaixonado(a) por tecnologia e inovação? 💡 No Grupo SysMap – que reúne SysMap Solutions, TriggoLabs e triggo.ai – acreditamos que grandes resultados nascem de pessoas incríveis. Somos uma empresa brasileira de tecnologia que, desde 1999, ajuda organizações a superar desafios complexos e acelerar sua transformação digital. Nossa atuação abrange diversos segmentos, como Telecom, Varejo, Educação, Financeiro, Indústria/Cosméticos e Energia, sempre com foco em soluções inovadoras e de alto impacto. 👉 Candidate-se agora e construa o futuro da tecnologia conosco!Responsabilidades e atribuições Missão do Cargo Atuar na arquitetura, no desenvolvimento e na implementação de soluções avançadas de Engenharia de Dados, com forte domínio em Databricks e integração de dados provenientes do ecossistema SAP. Será responsável por construir e otimizar pipelines de dados, implementar arquiteturas Lakehouse, desenvolver processos de ETL/ELT e garantir a qualidade, a escalabilidade, a governança e a disponibilidade das informações para ambientes analíticos e estratégicos. Principais Responsabilidades Projetar, desenvolver e manter pipelines de dados utilizando Databricks, garantindo eficiência, escalabilidade e performance no processamento de grandes volumes de informações; Desenvolver processos de ingestão, transformação e processamento de dados utilizando Apache Spark, PySpark e SQL; Implementar arquiteturas Lakehouse e Medallion (Bronze, Silver e Gold), estruturando fluxos de dados desde a ingestão até a disponibilização para consumo analítico; Trabalhar com Delta Lake, Delta Tables e recursos avançados do Databricks para armazenamento, versionamento, otimização e gerenciamento de dados; Desenvolver e otimizar processos de ETL/ELT, integrando diferentes fontes de dados, especialmente sistemas SAP; Atuar na extração, integração e transformação de dados provenientes do SAP S/4HANA, SAP ECC e demais soluções do ecossistema SAP; Implementar integrações entre SAP e Databricks utilizando APIs, OData, conectores e mecanismos de ingestão de dados; Desenvolver soluções de processamento em batch e streaming, conforme as necessidades dos projetos; Implementar boas práticas de governança, qualidade, segurança, linhagem e monitoramento de dados, incluindo recursos do Unity Catalog; Realizar otimizações de performance em consultas SQL, jobs e workflows no ambiente Databricks; Atuar na automação e orquestração de pipelines, garantindo a confiabilidade e a disponibilidade dos processos; Trabalhar em conjunto com equipes de Arquitetura, BI, Analytics e áreas de negócio na construção de soluções orientadas a dados.

Projetar, desenvolver e manter pipelines de dados utilizando Databricks, garantindo eficiência, escalabilidade e performance no processamento de grandes volumes de informações; Desenvolver processos de ingestão, transformação e processamento de dados utilizando Apache Spark, PySpark e SQL; Implementar arquiteturas Lakehouse e Medallion (Bronze, Silver e Gold), estruturando fluxos de dados desde a ingestão até a disponibilização para consumo analítico; Trabalhar com Delta Lake, Delta Tables e recursos avançados do Databricks para armazenamento, versionamento, otimização e gerenciamento de dados; Desenvolver e otimizar processos de ETL/ELT, integrando diferentes fontes de dados, especialmente sistemas SAP; Atuar na extração, integração e transformação de dados provenientes do SAP S/4HANA, SAP ECC e demais soluções do ecossistema SAP; Implementar integrações entre SAP e Databricks utilizando APIs, OData, conectores e mecanismos de ingestão de dados; Desenvolver soluções de processamento em batch e streaming, conforme as necessidades dos projetos; Implementar boas práticas de governança, qualidade, segurança, linhagem e monitoramento de dados, incluindo recursos do Unity Catalog; Realizar otimizações de performance em consultas SQL, jobs e workflows no ambiente Databricks; Atuar na automação e orquestração de pipelines, garantindo a confiabilidade e a disponibilidade dos processos; Trabalhar em conjunto com equipes de Arquitetura, BI, Analytics e áreas de negócio na construção de soluções orientadas a dados.

Requisitos Técnicos Experiência sólida em Engenharia de Dados, com atuação em projetos de arquitetura e processamento de grandes volumes de dados; Experiência avançada e prática com Databricks, incluindo desenvolvimento, implementação e otimização de pipelines de dados; Domínio de Apache Spark, PySpark e Spark SQL; Conhecimento avançado em Delta Lake, Delta Tables e arquitetura Lakehouse; Experiência com arquitetura Medallion (Bronze, Silver e Gold); Conhecimento em Databricks Workflows, Jobs e recursos de orquestração; Experiência com Unity Catalog, governança, controle de acesso e linhagem de dados; Domínio de SQL e Python aplicados à Engenharia de Dados; Experiência em processos de ETL/ELT e integração de múltiplas fontes de dados; Conhecimento do ecossistema SAP, especialmente SAP S/4HANA e/ou SAP ECC; Experiência com extração e integração de dados SAP por meio de APIs, OData, RFC, IDoc ou outros mecanismos; Conhecimento em SAP Datasphere, SAP BW/4HANA ou SAP Data Services; Vivência com ambientes em nuvem, preferencialmente AWS, Azure ou Google Cloud. Vamos gostar muito se, além disso tudo, você tiver: Certificação Databricks Data Engineer Associate ou Professional; Experiência com Delta Live Tables/Lakeflow Declarative Pipelines; Conhecimento em CI/CD, Git e automação de deploy de pipelines; Experiência com processamento de dados em tempo real (streaming); Conhecimento em SAP BTP e SAP Integration Suite; Experiência com arquiteturas de dados modernas e ambientes corporativos de grande porte.