Especialista Databricks Unity Catalog

6+ anos de experiência na carreira Python / PySpark Proteção de dados sensíveis SQL avançado Databricks Unity Catalog Terraform aplicado ao Databricks LGPD LGPD e Governança de Dados Conhecimentos Desejáveis System Tables SCIM / SSO Lakeflow / DLT Lakehouse Monitoring ABAC Row Filters Column Masks Tarefas e Responsabilidades Missão do Cargo Atuar na estruturação, implantação e evolução da governança da plataforma Databricks em AWS, com foco em Unity Catalog. Contribuir para a definição de arquiteturas de catálogos, modelos de acesso, segurança, proteção de dados sensíveis, linhagem e qualidade dos dados, além de automatizar configurações e promover a autonomia do time interno por meio de documentação e transferência de conhecimento. Modelo: Remoto Contratação: PJ ou Cooperado Duração inicial: 3 meses, com possibilidade de extensão Principais Responsabilidades Avaliar o ambiente atual de Databricks, incluindo workspaces, metastore, Hive Metastore legado e permissões. Elaborar diagnóstico do ambiente e plano de ação. Desenhar a hierarquia de catálogos e schemas por domínio, ambiente e camada de dados. Definir padrões de nomenclatura e organização dos dados. Estruturar o modelo de acessos, permissões e privilégio mínimo. Configurar storage credentials, external locations e managed storage em S3. Trabalhar com IAM Roles, Trust Policies e integração de identidade. Apoiar a configuração de catalog binding entre workspaces. Conduzir ou apoiar a migração do Hive Metastore para o Unity Catalog. Implementar mecanismos de proteção para dados sensíveis, como CPF, CNPJ e dados de crédito. Trabalhar com tags, column masks, row filters e políticas ABAC. Habilitar e configurar recursos de linhagem, auditoria e descoberta de dados. Apoiar a implantação de controles de qualidade de dados. Automatizar configurações utilizando Terraform. Garantir o versionamento e a documentação das configurações. Elaborar playbooks, runbooks e documentação de boas práticas. Realizar passagem de conhecimento para o time interno e DataOps. Apoiar a autonomia do time interno ao final do projeto. Databricks e Unity Catalog Experiência prática com Databricks em ambientes produtivos. Experiência com implantação e administração do Unity Catalog. Estruturação de catalogs, schemas e objetos de dados. Definição de modelos de acesso e permissões. Experiência com ownership por grupos e service principals. Experiência com privilege management e least privilege. Experiência com managed tables e external tables. Experiência com Hive Metastore e migração para Unity Catalog. Conhecimento de UCX, SYNC e CTAS. Experiência com data lineage e recursos de auditoria. AWS e Infraestrutura Experiência com Databricks em AWS. Conhecimento de Amazon S3. Experiência com AWS IAM, IAM Roles e Trust Policies. Conhecimento de SCIM e SSO. Experiência com Storage Credentials e External Locations. Conhecimento de integração entre Databricks e recursos da AWS. Experiência com Terraform aplicado ao Databricks. Conhecimento de versionamento e automação de infraestrutura. Dados, Segurança e Governança Conhecimento de SQL avançado. Experiência com Python e PySpark. Conhecimento de Delta Lake. Experiência com proteção de dados sensíveis e pessoais. Conhecimento de LGPD e governança de dados. Experiência com Column Masks e Row Filters. Conhecimento de Tags e políticas ABAC. Experiência com Data Lineage. Conhecimento de System Tables, auditoria e monitoramento. Experiência com governança em ambientes regulados ou com dados sensíveis. Conhecimento de qualidade e descoberta de dados. Qualidade de Dados Apoiar a implantação de controles de qualidade sobre os ativos catalogados. Conhecimento de Lakeflow/DLT e Expectations. Conhecimento de Lakehouse Monitoring. Conhecimento de ferramentas de Data Quality Monitoring. Apoiar a integração entre governança e qualidade de dados.

Experiência de 5+ anos em Engenharia ou Governança de Dados. Experiência de 2+ anos com Databricks. Experiência comprovada com implantação de Unity Catalog em produção. Experiência com modelo de permissões e governança de acessos. Experiência com migração do Hive Metastore para Unity Catalog. Experiência com Databricks em AWS. Conhecimento de S3, IAM, SCIM e SSO. Conhecimento avançado de SQL. Experiência com Python/PySpark. Conhecimento em Delta Lake. Experiência com Terraform aplicado ao Databricks. Experiência com governança de dados e LGPD. Vivência com ambientes regulados, preferencialmente financeiro, crédito ou seguros. Excelente comunicação oral e escrita. Capacidade de conduzir workshops e alinhamentos técnicos. Capacidade de documentar soluções e realizar transferência de conhecimento.