Estás pronto para oferecer a excelência connosco?

Procuramos um perfil de Data Engineer AWS, para integrar a nossa equipa.

O que procuramos?

• Esta função está focada na conceção, desenvolvimento e manutenção da plataforma de dados necessária para armazenamento, processamento, orquestração e análise de dados.

• A missão envolve a implementação de pipelines de dados e soluções de integração de dados escaláveis e de elevado desempenho.

• Conceber, desenvolver e manter plataformas de dados escaláveis;

• Recolher, processar e analisar grandes e complexos conjuntos de dados provenientes de várias fontes;

• Desenvolver e implementar fluxos de processamento de dados utilizando tecnologias/frameworks como Apache Spark e Apache Beam;

• Colaborar com equipas multidisciplinares para garantir a precisão e integridade dos dados;

• Garantir a segurança e privacidade dos dados através da implementação adequada de controlos de acesso e encriptação de dados;

• Extrair dados de várias fontes, incluindo bases de dados, sistemas de ficheiros e APIs;

• Monitorizar o desempenho dos sistemas e otimizar a elevada disponibilidade e escalabilidade.

O que precisas de saber?

• Experiência com plataformas e serviços cloud para engenharia de dados, nomeadamente AWS.

• Proficiência em linguagens de programação como Python, Java ou Scala.

• Utilização de ferramentas de Big Data como Spark, Flink, Kafka, Elastic Search, Hadoop, Hive, Sqoop, Flume, Impala, Kafka Streams and Connect, Druid, entre outras.

• Conhecimento de modelação de dados e princípios de desenho de bases de dados.

• Familiaridade com ferramentas de integração de dados e ETL, como Apache Kafka e Talend.

• Compreensão de sistemas distribuídos e arquiteturas de processamento de dados.

• Fortes competências em SQL e experiência com bases de dados relacionais e NoSQL.

• Familiaridade com outras plataformas e serviços cloud para engenharia de dados, como GCP e Azure Data Factory.

• Experiência com ferramentas de controlo de versões, como Git.

• Inglês fluente escrito e falado.