Senior Data Platform Engineer

  • Lisbon, Portugal
  • Full-Time
  • On-Site

Job Description:

Enquadramento da Função

Procuramos um Senior Data Platform Engineer para assumir responsabilidades no desenho, desenvolvimento e evolução de uma plataforma empresarial de dados baseada em Databricks, assegurando a escalabilidade, governação, segurança e disponibilização de informação fiável para diferentes aplicações e serviços.

A função combina conhecimentos avançados de Data Engineering, Data Platform Architecture e Data Governance com competências de desenvolvimento de pipelines, modelação de dados e implementação de soluções reutilizáveis.

O profissional terá um papel central na construção e evolução de uma plataforma modular de dados, suportando processos de ingestão, transformação e disponibilização de informação através de Analytics, APIs, Streaming e Knowledge Graphs.

Trata-se de uma função técnica com forte componente prática, orientada para o desenvolvimento de capacidades reutilizáveis, implementação de modelos de dados consistentes e promoção de uma abordagem Data as a Product.

Principais Responsabilidades

  • Desenvolver e manter padrões modulares de ingestão de dados, suportando fontes Batch, APIs e arquiteturas Event-Driven, incluindo JDBC, conectores SaaS/ERP, Kafka e CDC;
  • Definir e implementar frameworks reutilizáveis de ingestão de dados, preferencialmente orientadas por metadados, facilitando a integração consistente de novas fontes de informação;
  • Desenvolver e otimizar pipelines de dados em Databricks, recorrendo a Apache Spark, Delta Lake e Delta Live Tables/Lakeflow Declarative Pipelines;
  • Implementar arquiteturas Medallion, incluindo as camadas Bronze, Silver e Gold, assegurando a organização e qualidade dos processos de transformação;
  • Desenvolver e evoluir mecanismos de Data Governance, incluindo controlo de acessos, Data Lineage, Data Cataloguing, auditoria, classificação de dados e conformidade com requisitos de privacidade;
  • Definir e aplicar standards de Data Quality, Data Contracts, monitorização e alertas nos processos de ingestão e transformação;
  • Implementar mecanismos de proteção de dados, incluindo Data Masking, Tokenization, Pseudonymization e outras técnicas de anonimização, em conformidade com os requisitos regulamentares aplicáveis;
  • Desenvolver e manter Data Products alinhados com modelos de dados canónicos, assegurando responsabilidades definidas, SLAs e documentação técnica;
  • Colaborar com equipas de diferentes domínios na integração de dados de origem, preservando as especificidades funcionais e o alinhamento com o modelo de dados comum;
  • Promover uma abordagem Data as a Product, assegurando mecanismos de descoberta, self-service, versionamento e contratos de consumo de dados;
  • Desenvolver e manter camadas de disponibilização e consumo de dados, incluindo datasets de BI/Analytics, APIs REST/GraphQL, Streaming e representações em Knowledge Graphs;
  • Definir e promover standards técnicos relacionados com CI/CD, Infrastructure as Code, testes, observabilidade e otimização de custos;
  • Apoiar tecnicamente outros engenheiros, promovendo a partilha de conhecimento e a adoção de boas práticas;
  • Colaborar com equipas de Data Governance, Security, Architecture e stakeholders de negócio na evolução da plataforma;
  • Contribuir para a melhoria contínua da arquitetura e dos processos de engenharia, assegurando a qualidade, segurança e escalabilidade das soluções desenvolvidas.

Requisitos

  • Experiência profissional de aproximadamente 6 anos ou mais em Data Engineering, incluindo pelo menos 2 anos no desenho e operação de plataformas Lakehouse baseadas em Databricks, em ambientes de produção;
  • Experiência prática com Apache Spark e Delta Lake;
  • Experiência na utilização de Unity Catalog ou soluções equivalentes para controlo de acessos, Data Lineage e catalogação de dados;
  • Experiência comprovada na implementação de técnicas de anonimização e pseudonimização em ambientes regulamentados;
  • Conhecimentos sólidos de Canonical/Conformed Data Modelling, incluindo abordagens como Data Vault, Dimensional Modelling e Domain-Driven Design aplicado a dados;
  • Experiência no desenvolvimento e disponibilização de dados através de APIs REST e GraphQL, incluindo desenho de schemas, contratos e mecanismos de versionamento;
  • Conhecimentos avançados de Python e/ou Scala e SQL;
  • Experiência com Infrastructure as Code, preferencialmente Terraform;
  • Conhecimentos sólidos de Data Governance, regulamentação de privacidade, nomeadamente RGPD/GDPR e CCPA, e práticas de Data Security;
  • Experiência com plataformas Cloud, nomeadamente Microsoft Azure, AWS ou Google Cloud Platform, e respetivos serviços de dados e eventos;
  • Capacidade de desenvolvimento e otimização de pipelines de dados em arquiteturas distribuídas;
  • Capacidade de análise técnica e resolução de problemas complexos;
  • Autonomia no desenvolvimento e implementação de soluções de Engenharia de Dados;
  • Capacidade de colaboração com equipas multidisciplinares;
  • Compromisso com a qualidade, segurança e manutenção das soluções desenvolvidas.

Valorizamos

  • Experiência com Delta Live Tables/Lakeflow Declarative Pipelines;
  • Experiência com Structured Streaming e arquiteturas de ingestão Event-Driven, incluindo Kafka e ferramentas CDC, como Debezium;
  • Conhecimentos de Knowledge Graphs e tecnologias associadas, nomeadamente RDF, Property Graphs, Neo4j e Graph Layers sobre Spark;
  • Experiência com arquiteturas Data Mesh ou modelos federados de Data Products;
  • Conhecimentos de ferramentas de Metadata Management e Data Catalog, como OpenMetadata, Collibra ou Microsoft Purview;
  • Experiência com práticas de MLOps ou Feature Stores em ambientes Databricks;
  • Certificações relevantes, nomeadamente Databricks Data Engineer Professional ou certificações de arquitetura Cloud.

Perfil Procurado

Procuramos um profissional com experiência consolidada em Data Engineering e plataformas de dados baseadas em Databricks, capaz de desenvolver soluções escaláveis, seguras e governadas, assegurando a qualidade e disponibilidade da informação em ambientes empresariais complexos.

Deverá combinar conhecimentos avançados de Apache Spark, Delta Lake, modelação de dados e arquiteturas Cloud com autonomia na implementação de pipelines, mecanismos de governação e componentes reutilizáveis.

A capacidade de estruturar soluções técnicas, garantir a proteção e rastreabilidade dos dados e promover a adoção de boas práticas de engenharia será essencial, assim como a facilidade de colaboração com equipas de arquitetura, segurança, governação e negócio.

Valorizamos um perfil analítico, proativo e orientado para a excelência técnica, com capacidade de assumir responsabilidades de desenvolvimento, contribuir para a evolução da arquitetura e promover uma abordagem Data as a Product que assegure consistência, eficiência e escalabilidade na disponibilização de dados.