Resumo Tech Jobs
Vaga Pleno remota na Dataside, com foco em SQL, Dados e Python.
Sobre a oportunidade
Buscamos um(a) profissional Engenheiro de Dados Azure Pleno. Seu papel será Conduzir o desenvolvimento de pipelines e modelos de dados fim-a-fim em Azure/Databricks, garantindo qualidade, performance, segurança e previsibilidade das entregas em ambiente de consultoria.
Responsabilidades
Projetar e implementar ingestões e transformações Bronze/Silver/Gold orientadas a domínio. Definir e aplicar padrões: naming, particionamento, Z-Order, otimizações, Liquid Cluster, etc. Orquestrar fluxos em ADF/Jobs; parametrização, Key Vault e boas práticas de credenciais. Implementar observabilidade (logs, métricas, alertas). Aplicar governança (Unity Catalog: catálogos, schemas, grants, RLS/mascaração quando aplicável). Realizar code reviews, mentorar o time e fazer a interface técnica com o cliente. Estimar esforço, planejar sprints e comunicar riscos/impedimentos. Investigar e resolver incidentes de baixa e média complexidade, como falhas de Jobs, erros de conectividade etc.
Requisitos
Databricks; Python; AZ-900 e DP-900 SQL avançado (janelas, CTEs, tuning) e PySpark sólido (joins, narrow/wide, funções nativas vs UDF) Databricks (Jobs/Workflows, Delta Lake, otimizações, managed/external, Unity Catalog). Azure Data Factory (IR, triggers, parâmetros/variáveis, integrações). Git + CI/CD (GitHub Actions/Azure Pipelines) para notebooks/Jobs/ADF. Segurança (RBAC, secrets, redes) e FinOps básico. Data Quality contínua e monitoramento de drifts/anomalias. Comunicação consultiva e tradução de requisitos de negócio.