Data Engineer - Azure/Databricks
Shape the Future with LCG
Na LCG acreditamos que a inovação acontece quando a tecnologia e o talento trabalham em conjunto. Apoiamos organizações de diferentes setores na sua transformação digital, criando impacto através de projetos desafiantes e equipas de excelência.
Mais do que projetos, oferecemos um ambiente colaborativo onde a aprendizagem contínua, a partilha de conhecimento e a evolução profissional fazem parte do dia a dia. Aqui, terás a oportunidade de colaborar com equipas internacionais e multidisciplinares, trabalhar com tecnologias de ponta e desenvolver o teu potencial em projetos de elevada complexidade e impacto.
Na LCG, o teu talento impulsiona a inovação e o teu crescimento acompanha a evolução da tecnologia.
Procuramos um Data Engineer para integrar uma equipa responsável pelo desenvolvimento, implementação e evolução de plataformas de dados modernas, escaláveis e seguras, contribuindo para a transformação dos dados em ativos estratégicos para a organização e para a tomada de decisões baseada em informação.
O que vais fazer?
-
Desenhar, desenvolver e manter plataformas de dados escaláveis, seguras e resilientes em ambientes Cloud.
-
Construir e otimizar pipelines de dados batch e real-time, integrando informação proveniente de diferentes fontes e sistemas.
-
Implementar arquiteturas modernas de dados, nomeadamente Data Lakes, Lakehouses e Data Warehouses.
-
Desenvolver e manter processos ETL/ELT, assegurando a eficiência, escalabilidade e qualidade dos dados.
-
Integrar dados estruturados, semiestruturados e não estruturados, provenientes de bases de dados, APIs, plataformas de streaming e aplicações.
-
Desenvolver modelos de dados e processos de transformação e enriquecimento, suportando necessidades analíticas, operacionais e de Inteligência Artificial.
-
Garantir a qualidade, fiabilidade, rastreabilidade e segurança dos dados, implementando mecanismos de validação, monitorização e controlo.
-
Colaborar na implementação de soluções de Data Governance, assegurando o cumprimento de requisitos de segurança, privacidade e regulamentação.
-
Preparar e otimizar datasets para iniciativas de Machine Learning, Advanced Analytics e Generative AI.
-
Contribuir para o desenvolvimento de soluções de IA, incluindo arquiteturas RAG, pipelines de embeddings e integração com Vector Databases.
-
Monitorizar o desempenho, a disponibilidade e os custos das plataformas de dados, identificando oportunidades de otimização.
-
Implementar práticas de DataOps, automação, testes, CI/CD e Infrastructure as Code.
-
Colaborar com equipas de arquitetura, Data Science, AI Engineering, Product Owners e outras áreas de negócio.
-
Contribuir para a evolução das arquiteturas, standards e boas práticas de engenharia de dados.
O que precisas de saber?
-
Formação superior em Engenharia Informática, Ciências da Computação, Sistemas de Informação ou área semelhante.
-
Experiência sólida em Engenharia de Dados e desenvolvimento de pipelines de dados em larga escala.
-
Bons conhecimentos de SQL e técnicas de modelação de dados, nomeadamente Dimensional Modelling, Normalized Data Models ou Data Vault.
-
Experiência de programação em Python e/ou Scala.
-
Experiência na implementação de arquiteturas de processamento de dados batch e streaming.
-
Experiência obrigatória com Microsoft Azure, sendo valorizados conhecimentos de AWS e Google Cloud Platform.
-
Experiência obrigatória com Databricks.
-
Conhecimentos de tecnologias e serviços Cloud, nomeadamente Azure Data Factory, Azure Data Lake, Azure Synapse Analytics e/ou Microsoft Fabric.
-
Conhecimentos de frameworks e tecnologias de processamento e integração de dados, como Apache Spark, Kafka, Airflow, dbt, Delta Lake, Apache Flink ou tecnologias equivalentes.
-
Experiência com bases de dados relacionais e/ou NoSQL, Data Warehouses, Lakehouses e soluções de Object Storage.
-
Conhecimentos de Git, CI/CD e práticas de desenvolvimento de software.
-
Familiaridade com Infrastructure as Code, nomeadamente Terraform, Bicep ou CloudFormation.
-
Conhecimentos de Docker, Kubernetes e princípios de testes automatizados aplicados a pipelines de dados.
-
Capacidade de analisar problemas complexos e desenvolver soluções eficientes, escaláveis e sustentáveis.
-
Boa capacidade de comunicação e colaboração com equipas técnicas e funcionais.
-
Bons conhecimentos de inglês.
O que valorizamos?
-
Certificações em Azure, Databricks ou Snowflake.
-
Experiência em Data Governance, Data Catalogs, Metadata Management e Data Lineage.
-
Conhecimentos de frameworks de Data Quality e plataformas de Data Observability.
-
Familiaridade com conceitos de Master Data Management e arquiteturas Data Mesh.
-
Experiência no suporte a plataformas de AI/ML e implementação de soluções de Inteligência Artificial.
-
Conhecimentos de FinOps e otimização de custos em ambientes Cloud.
-
Experiência em mentoria de profissionais mais juniores e participação em comunidades técnicas.
O que oferecemos?
-
Integração numa equipa dinâmica, internacional e multidisciplinar;
-
Participação em projetos de transformação tecnológica e desenvolvimento de plataformas de dados modernas;
-
Contacto com tecnologias avançadas de Cloud, Big Data, Data Engineering e Inteligência Artificial;
-
Oportunidade de trabalhar em iniciativas de arquitetura, automação e otimização de plataformas de dados;
-
Ambiente de trabalho que promove a autonomia, a partilha de conhecimento e a colaboração;
-
Oportunidades de desenvolvimento profissional e aprendizagem contínua;
-
Plano de benefícios flexíveis.
Localização: Lisboa
Modelo de trabalho: Híbrido
