Sobre a oportunidade
Estamos em busca de um Desenvolvedor Python Júnior interessado em automação, coleta de dados e web scraping. A pessoa atuará no desenvolvimento e manutenção de robôs responsáveis pela coleta, tratamento e integração de dados provenientes de diferentes sistemas e portais. O profissional trabalhará junto com um time de engenharia, aprendendo boas práticas de desenvolvimento, arquitetura de sistemas e manipulação de dados em larga escala.
Principais responsabilidades:
- Desenvolver e manter scripts e crawlers para coleta automatizada de dados.
- Criar spiders utilizando Scrapy, Requests e BeautifulSoup (bs4).
- Automatizar navegação em páginas dinâmicas utilizando Selenium.
- Auxiliar na configuração e utilização de proxies e VPNs para coleta de dados.
- Trabalhar com filas e processamento assíncrono utilizando Celery, Redis e RabbitMQ.
- Integrar dados coletados com sistemas internos desenvolvidos em Django.
- Armazenar e manipular dados utilizando PostgreSQL.
- Monitorar execuções de crawlers e identificar falhas ou inconsistências na coleta.
- Identificar e lidar com bloqueios básicos de scraping, como rate limiting, headers incorretos ou
problemas de sessão.