Data Engineer (PySpark, Redshift, Iceberg, Airflow)
EY
- Location
- São Paulo JK, SP, BR, 04543-011
- Work model
- On-Site
- Level
- Mid
Skills
About this role
Sabemos que carreiras podem ser tão diferentes quanto as próprias pessoas. Por isso, na EY, você terá a liberdade, as ferramentas e as condições para se desenvolver e construir uma carreira tão única quanto você. Em Tech Financial Services (Tech FSO), estamos construindo um mundo de negócios melhor apoiando as necessidades e desafios tecnológicos dos nossos clientes do segmento financeiro (Mercado de Capitais, Bancos, Fintechs, Seguros e Gestão de Ativos). Entregamos soluções sob medida com base nas necessidades específicas de cada negócio, a partir de uma equipe multidisciplinar de especialistas com diferentes perfis, como especialistas em Dados, UX, até analistas de negócios e scrum masters. #TechEY #TechFSO #CarreiraTech Qual será o seu papel nesse propósito?
Como Senior Data Engineer , você atuará no desenvolvimento e evolução de plataformas modernas de dados em ambientes AWS, contribuindo para a construção de soluções escaláveis, resilientes e orientadas a dados para organizações do setor financeiro. Você fará parte de iniciativas estratégicas voltadas para Data Platforms, Lakehouse Architectures, modernização de ecossistemas analíticos e processamento de dados corporativos, trabalhando em estreita colaboração com arquitetos, equipes de tecnologia, analistas e stakeholders de negócio.
Por que você? Se você possui os requisitos abaixo, essa oportunidade pode ser sua:
Inglês avançado para comunicação profissional.
Experiência em Engenharia de Dados.
Experiência sólida com desenvolvimento de plataformas de dados em nuvem.
Forte conhecimento em PySpark para processamento distribuído de dados.
Experiência prática com Amazon Redshift .
Conhecimento sólido em Apache Iceberg .
Experiência com Apache Airflow para orquestração de pipelines.
Vivência com serviços AWS voltados para plataformas de dados.
Experiência na construção de pipelines escaláveis de ingestão, transformação e entrega de dados.
Conhecimento em arquiteturas Data Lake , Data Warehouse e Lakehouse .
Experiência com frameworks ETL e ELT.
Conhecimento avançado em SQL e otimização de workloads analíticos.
Experiência em monitoramento, governança e qualidade de dados.
Capacidade de atuar em ambientes corporativos complexos e de grande volume de dados.
Principais responsabilidades
Desenvolver e manter pipelines escaláveis de ingestão, transformação e disponibilização de dados.
Construir soluções utilizando PySpark , Amazon Redshift , Apache Iceberg e Apache Airflow .
Desenvolver e suportar plataformas baseadas em arquiteturas Lakehouse e Data Warehouse.
Implementar e evoluir frameworks ETL e ELT de alto desempenho.Garantir qualidade, confiabilidade, escalabilidade e performance dos dados e pipelines.
Monitorar workloads críticos e atuar na resolução de problemas em ambientes produtivos.
Trabalhar em conjunto com arquitetos, analistas e stakeholders para desenvolver soluções alinhadas às necessidades do negócio.
Contribuir para iniciativas de governança, qualidade e catalogação de dados.
Participar de revisões de arquitetura, design técnico e code reviews.
Manter documentação técnica atualizada e aderente aos padrões corporativos.
Apoiar a modernização e evolução contínua da plataforma de dados em nuvem.
Promover boas práticas de engenharia de dados e excelência operacional.
Conheça alguns de nossos benefícios: Assistência médica e odontológica, Auxílio creche, Plataforma de benefícios e descontos exclusivos EY, Incentivos à educação, Day off de aniversário, Gympass/Wellhub, Participação nos Lucros (PLR), Previdência privada, Vale Alimentação e / ou Vale Alimentação e Transporte, e muito mais. Quem somos : Somos uma das maiores empresas de serviços do mundo, em Auditoria, Consultoria, Impostos, Estratégia e Transações, orientados à Tecnologia. Com presença em mais de 150 países,