Ver todos os empregos

Data Engineer - Azure

  • Lisboa, Portugal

Shape the Future with LCG

Na LCG acreditamos que a inovação acontece quando a tecnologia e o talento trabalham em conjunto. Apoiamos organizações de diferentes setores na sua transformação digital, criando impacto através de projetos desafiantes e equipas de excelência.

Mais do que projetos, oferecemos um ambiente colaborativo onde a aprendizagem contínua, a partilha de conhecimento e a evolução profissional fazem parte do dia a dia. Aqui, terás a oportunidade de colaborar com equipas multidisciplinares, trabalhar em contextos internacionais e contribuir para o desenvolvimento de soluções tecnológicas inovadoras.

Na LCG, o teu talento impulsiona a inovação e o teu crescimento acompanha a evolução da tecnologia.

Procuramos um perfil de Data Engineer para integrar a nossa equipa.

O que vais fazer?

  • Desenvolver e manter pipelines ETL/ELT com Azure Databricks, PySpark e, quando aplicável, Azure Data Factory;

  • Implementar processos de ingestão, transformação e modelação de dados em arquiteturas Data Lakehouse;

  • Preparar datasets para Machine Learning, incluindo limpeza, tratamento de valores em falta, transformação de variáveis e feature engineering;

  • Colaborar no desenvolvimento, treino e avaliação de modelos de classificação, regressão, clustering e/ou previsão de séries temporais;

  • Selecionar métricas de avaliação adequadas aos objetivos de negócio;

  • Implementar pipelines de inferência/scoring e integrar os resultados dos modelos nos processos de dados;

  • Monitorizar a qualidade dos dados e o desempenho dos modelos em produção;

  • Colaborar com equipas de negócio, Data Scientists e equipas técnicas no levantamento de requisitos e na implementação de soluções;

  • Assegurar boas práticas de desenvolvimento, versionamento, documentação e testes.

O que precisas de saber?

  • Entre 2 a 3 anos de experiência em Engenharia de Dados, incluindo participação em projetos com Machine Learning tradicional;

  • Experiência sólida em Azure Databricks;

  • Bons conhecimentos de Python, SQL e PySpark;

  • Experiência com Azure Data Lake Storage e formatos como Parquet e Delta Lake;

  • Experiência no ciclo completo de desenvolvimento de soluções de dados: ingestão, transformação, modelação e disponibilização;

  • Experiência prática com bibliotecas de Machine Learning;

  • Conhecimentos de preparação de dados, treino, validação e avaliação de modelos;

  • Compreensão de conceitos como overfitting, data leakage, separação entre treino e teste e validação cruzada;

  • Experiência na integração de modelos em pipelines de processamento e scoring em batch;

  • Experiência com Git e boas práticas de desenvolvimento de software;

  • Capacidade de desenvolver soluções escaláveis, considerando o desempenho e os custos de execução.

O que valorizamos?

  • Experiência com Azure Machine Learning, nomeadamente jobs/pipelines de treino, registo de modelos e endpoints de inferência;

  • Conhecimentos de monitorização de modelos, deteção de data drift e processos de retreino;

  • Experiência na disponibilização de modelos através de APIs ou endpoints online;

  • Conhecimentos de Unity Catalog, governação de dados e controlo de acessos;

  • Experiência com metodologias ágeis, nomeadamente Scrum, e ferramentas como Jira e Confluence;

  • Proatividade, autonomia e capacidade analítica na resolução de problemas;

  • Boa comunicação e facilidade de interação com equipas multidisciplinares;

  • Capacidade de traduzir necessidades de negócio em soluções técnicas, com foco na entrega de valor.

Localização: Portugal
Modelo de trabalho: Remoto