Ficha de decisão
- Formação
- Formação citada como diferencialOrigem do dado: No anúncio
Ver trecho de Formação
Mínimo de 8 anos de experiência em engenharia de dados, Experiência mínima de 3 anos com Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer), Domínio de Spark e PySpark, SQL avançado, Experiência com ecossistema Hadoop (Hive…
Origem: Requisitos do anúncio
- Experiência
- Apresentada como diferencialOrigem do dado: No anúncio
Ver trecho de Experiência
Mínimo de 8 anos de experiência em engenharia de dados, Experiência mínima de 3 anos com Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer), Domínio de Spark e PySpark, SQL avançado, Experiência com ecossistema Hadoop (Hive…
Origem: Requisitos do anúncio
- Idioma
- Leitura automática de idiomas ainda não publicada; confira a descriçãoOrigem do dado: Não disponível na base
- Jornada
- Não identificada no texto disponívelOrigem do dado: Não disponível na base
- Vínculo
- CLTOrigem do dado: Normalizado pelo Tech Jobs
- Modalidade e local
- Presencial. Local: São Paulo - SPOrigem do dado: Normalizado pelo Tech Jobs
Ver trecho de Modalidade e local
Presencial
Origem: Cabeçalho da vaga
- Restrição geográfica
- O anúncio cita uma restrição de localidadeOrigem do dado: No anúncio
Ver trecho de Restrição geográfica
Mínimo de 8 anos de experiência em engenharia de dados, Experiência mínima de 3 anos com Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer), Domínio de Spark e PySpark, SQL avançado, Experiência com ecossistema Hadoop (Hive…
Origem: Requisitos do anúncio
- Remuneração
- Sem valor na vaga. Referência de mercado para Sênior em DadosOrigem do dado: Inferido
- Nível
- SêniorOrigem do dado: Normalizado pelo Tech Jobs
Tecnologias
Diferencial
- SQL
- Dados
- Git
- Infraestrutura
Citadas no anúncio
- AWS
Também associadas à vaga
- Kafka
Sobre a oportunidade
Buscamos um(a) Especialista de Engenharia de Dados Sênior para atuar de forma 100% presencial em um projeto estratégico de migração de plataforma de dados em uma instituição financeira de grande porte, na Av. Paulista, em São Paulo. O projeto é a migração de uma plataforma de dados de grande porte, hoje em Cloudera na AWS, para o Google Cloud, no modelo lift and shift: cerca de 13 mil jobs Spark e PySpark, 2,5 PB de dados, streaming com CDC, centenas de modelos de Machine Learning e frameworks proprietários de ingestão e processamento. São 9 meses de migração em ondas mensais, seguidos de 3 meses de pós-implantação. Você vai atuar na fábrica de migração, convertendo e implantando cargas no Google Cloud, resolvendo os casos técnicos mais complexos e garantindo a qualidade do que vai para produção. Principais responsabilidades: - Conduzir a conversão e a implantação de jobs Spark e PySpark, SQL de Hive e Impala e fluxos de streaming no Google Cloud. - Operar os aceleradores da fábrica de migração no dia a dia: conversão assistida por IA, regras da fábrica, testes de paridade e evidências. - Garantir a comparação automática entre legado e destino e apoiar o reprocessamento de ondas quando necessário. - Resolver casos técnicos complexos e apoiar a adaptação dos frameworks proprietários do cliente. - Aplicar e manter padrões de código, revisão em pares e esteiras de CI/CD (GitLab CI). - Esclarecer dúvidas de regra de negócio junto aos especialistas do cliente. - Apoiar a estimativa e o planejamento das ondas de migração.
Requisitos
Mínimo de 8 anos de experiência em engenharia de dados, Experiência mínima de 3 anos com Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer), Domínio de Spark e PySpark, SQL avançado, Experiência com ecossistema Hadoop (Hive, Impala, HDFS), preferencialmente em Cloudera, Experiência em projetos de migração de dados ou de plataformas de dados, Experiência com versionamento e CI/CD (Git, GitLab CI ou similares), Ensino superior completo em Tecnologia, Engenharia ou áreas correlatas, Disponibilidade para atuação 100% presencial na Av. Paulista - São Paulo
Informações adicionais
- Atuação 100% presencial em instituição financeira na Av. Paulista - São Paulo. - Contratação CLT.
Tecnologias
- AWS
- SQL
- Kafka
- Dados
- Git
- Infraestrutura
Contexto Tech Jobs
Condições que pesam na decisão
O anúncio cita uma restrição de localidade. Verifique se você a atende antes de investir tempo; o Tech Jobs não presume que a cidade da empresa seja exigência de moradia nem que trabalho remoto valha para qualquer país.
Ver trecho de O anúncio cita uma restrição de localidade
Mínimo de 8 anos de experiência em engenharia de dados, Experiência mínima de 3 anos com Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer), Domínio de Spark e PySpark, SQL avançado, Experiência com ecossistema Hadoop (Hive…
Origem: Requisitos do anúncio
Candidatura
Abre em nova aba, fora do Tech Jobs.
Reportar problema
Escolha o motivo para abrir um e-mail já preenchido com o título e o link desta vaga. Nada é enviado até você enviar a mensagem.
A Tech Jobs não cobra para participar de processos seletivos. Desconfie de solicitações de pagamento ou dados sensíveis.