Ver todos os empregos

Data Engineer - Azure/Databricks

  • Lisboa/Porto, Portugal

Shape the Future with LCG

Na LCG acreditamos que a inovação acontece quando a tecnologia e o talento trabalham em conjunto. Apoiamos organizações de diferentes setores na sua transformação digital, criando impacto através de projetos desafiantes e equipas de excelência.

Mais do que projetos, oferecemos um ambiente colaborativo onde a aprendizagem contínua, a partilha de conhecimento e a evolução profissional fazem parte do dia a dia. Aqui, terás a oportunidade de colaborar com equipas internacionais e multidisciplinares, trabalhar com tecnologias de ponta e desenvolver o teu potencial em projetos de elevada complexidade e impacto.

Na LCG, o teu talento impulsiona a inovação e o teu crescimento acompanha a evolução da tecnologia.

Procuramos um Data Engineer para integrar uma equipa responsável pelo desenvolvimento, implementação e evolução de plataformas de dados modernas, escaláveis e seguras, contribuindo para a transformação dos dados em ativos estratégicos para a organização e para a tomada de decisões baseada em informação.

O que vais fazer?

  • Desenhar, desenvolver e manter plataformas de dados escaláveis, seguras e resilientes em ambientes Cloud.

  • Construir e otimizar pipelines de dados batch e real-time, integrando informação proveniente de diferentes fontes e sistemas.

  • Implementar arquiteturas modernas de dados, nomeadamente Data Lakes, Lakehouses e Data Warehouses.

  • Desenvolver e manter processos ETL/ELT, assegurando a eficiência, escalabilidade e qualidade dos dados.

  • Integrar dados estruturados, semiestruturados e não estruturados, provenientes de bases de dados, APIs, plataformas de streaming e aplicações.

  • Desenvolver modelos de dados e processos de transformação e enriquecimento, suportando necessidades analíticas, operacionais e de Inteligência Artificial.

  • Garantir a qualidade, fiabilidade, rastreabilidade e segurança dos dados, implementando mecanismos de validação, monitorização e controlo.

  • Colaborar na implementação de soluções de Data Governance, assegurando o cumprimento de requisitos de segurança, privacidade e regulamentação.

  • Preparar e otimizar datasets para iniciativas de Machine Learning, Advanced Analytics e Generative AI.

  • Contribuir para o desenvolvimento de soluções de IA, incluindo arquiteturas RAG, pipelines de embeddings e integração com Vector Databases.

  • Monitorizar o desempenho, a disponibilidade e os custos das plataformas de dados, identificando oportunidades de otimização.

  • Implementar práticas de DataOps, automação, testes, CI/CD e Infrastructure as Code.

  • Colaborar com equipas de arquitetura, Data Science, AI Engineering, Product Owners e outras áreas de negócio.

  • Contribuir para a evolução das arquiteturas, standards e boas práticas de engenharia de dados.

O que precisas de saber?

  • Formação superior em Engenharia Informática, Ciências da Computação, Sistemas de Informação ou área semelhante.

  • Experiência sólida em Engenharia de Dados e desenvolvimento de pipelines de dados em larga escala.

  • Bons conhecimentos de SQL e técnicas de modelação de dados, nomeadamente Dimensional Modelling, Normalized Data Models ou Data Vault.

  • Experiência de programação em Python e/ou Scala.

  • Experiência na implementação de arquiteturas de processamento de dados batch e streaming.

  • Experiência obrigatória com Microsoft Azure, sendo valorizados conhecimentos de AWS e Google Cloud Platform.

  • Experiência obrigatória com Databricks.

  • Conhecimentos de tecnologias e serviços Cloud, nomeadamente Azure Data Factory, Azure Data Lake, Azure Synapse Analytics e/ou Microsoft Fabric.

  • Conhecimentos de frameworks e tecnologias de processamento e integração de dados, como Apache Spark, Kafka, Airflow, dbt, Delta Lake, Apache Flink ou tecnologias equivalentes.

  • Experiência com bases de dados relacionais e/ou NoSQL, Data Warehouses, Lakehouses e soluções de Object Storage.

  • Conhecimentos de Git, CI/CD e práticas de desenvolvimento de software.

  • Familiaridade com Infrastructure as Code, nomeadamente Terraform, Bicep ou CloudFormation.

  • Conhecimentos de Docker, Kubernetes e princípios de testes automatizados aplicados a pipelines de dados.

  • Capacidade de analisar problemas complexos e desenvolver soluções eficientes, escaláveis e sustentáveis.

  • Boa capacidade de comunicação e colaboração com equipas técnicas e funcionais.

  • Bons conhecimentos de inglês.

O que valorizamos?

  • Certificações em Azure, Databricks ou Snowflake.

  • Experiência em Data Governance, Data Catalogs, Metadata Management e Data Lineage.

  • Conhecimentos de frameworks de Data Quality e plataformas de Data Observability.

  • Familiaridade com conceitos de Master Data Management e arquiteturas Data Mesh.

  • Experiência no suporte a plataformas de AI/ML e implementação de soluções de Inteligência Artificial.

  • Conhecimentos de FinOps e otimização de custos em ambientes Cloud.

  • Experiência em mentoria de profissionais mais juniores e participação em comunidades técnicas.

O que oferecemos?

  • Integração numa equipa dinâmica, internacional e multidisciplinar;

  • Participação em projetos de transformação tecnológica e desenvolvimento de plataformas de dados modernas;

  • Contacto com tecnologias avançadas de Cloud, Big Data, Data Engineering e Inteligência Artificial;

  • Oportunidade de trabalhar em iniciativas de arquitetura, automação e otimização de plataformas de dados;

  • Ambiente de trabalho que promove a autonomia, a partilha de conhecimento e a colaboração;

  • Oportunidades de desenvolvimento profissional e aprendizagem contínua;

  • Plano de benefícios flexíveis.

Localização: Lisboa

Modelo de trabalho: Híbrido