Sobre a oportunidade
Estamos buscando um(a) profissional com experiência sólida em Engenharia de Dados para atuar com um stack bem completo envolvendo Python, PySpark e Google Cloud Platform. Se você gosta de construir pipelines robustos, trabalhar com grandes volumes de dados e atuar com arquitetura, qualidade, governança e performance em cloud, essa oportunidade pode ser a sua cara. No dia a dia, você vai trabalhar com temas como: Python e PySpark, GCP, GCS e BigQuery, Dataproc, Dataflow e Pub/Sub, Apache Airflow / Cloud Composer, Medallion Architecture — Bronze, Silver e Gold, Pipelines batch e streaming, APIs, SFTP, arquivos e buckets GCS, Parquet, Avro, JSON e Delta Lake, CDC, cargas incrementais e idempotência, Data Quality e observabilidade, Data Governance, CI/CD para Engenharia de Dados, Performance, escalabilidade e otimização de custos em cloud.
Requisitos
Experiência sólida em Engenharia de Dados, Python, PySpark, Google Cloud Platform, GCP, GCS, BigQuery, Dataproc, Dataflow, Pub/Sub, Apache Airflow / Cloud Composer, Medallion Architecture — Bronze, Silver e Gold, Pipelines batch e streaming, APIs, SFTP, arquivos e buckets GCS, Parquet, Avro, JSON e Delta Lake, CDC, cargas incrementais e idempotência, Data Quality e observabilidade, Data Governance, CI/CD para Engenharia de Dados, Performance, escalabilidade e otimização de custos em cloud.
Tecnologias
- Python
- Dados
A candidatura abre fora do Tech Jobs.
A Tech Jobs não cobra para participar de processos seletivos. Desconfie de solicitações de pagamento ou dados sensíveis.