Data Engineer

Data Engineer

Quem somos?

Na Ytech, vivemos e respiramos tecnologia.

A nossa missão é transformar desafios em soluções e encontrar, todos os dias, novas formas de inovar.

Fundada em 2020, temos uma ambição clara: agitar o mercado, romper padrões e criar valor real através da inovação.

Qual o desafio que temos para ti?

📍 Localização: Portugal

🏠 Regime: Hibrido

Junta-te à nossa equipa para integrar projetos tecnológicos desafiantes, em ambientes dinâmicos e internacionais, com forte componente de Data Engineering, Big Data, Cloud Computing e transformação digital.

Procuramos um Data Engineer com experiência na conceção, desenvolvimento e manutenção de soluções de engenharia de dados, capaz de contribuir para a construção de plataformas robustas, escaláveis e eficientes que suportem a análise de informação e a tomada de decisões de negócio.

Neste desafio, terás oportunidade de trabalhar com tecnologias modernas de processamento e integração de dados, plataformas Cloud e soluções de Big Data, participando na evolução de ecossistemas de dados complexos.

Valorizamos também o interesse pela aplicação de Inteligência Artificial e Generative AI à engenharia de dados, explorando novas formas de automatizar processos, otimizar pipelines e potenciar o valor da informação.

⚙️ O que vais fazer:

• Conceber, desenvolver e manter pipelines de dados robustos, escaláveis e eficientes;
• Implementar e otimizar processos de ETL/ELT para integração e transformação de dados;
• Desenvolver soluções de processamento, transformação e armazenamento de grandes volumes de informação;
• Participar no desenho e evolução de arquiteturas de Data Warehousing e Data Lakes;
• Desenvolver scripts e processos de automação utilizando Python e SQL;
• Integrar dados provenientes de diferentes sistemas, aplicações e fontes de informação;
• Trabalhar com plataformas Cloud para implementação e gestão de soluções de dados;
• Garantir a qualidade, consistência, integridade e disponibilidade dos dados;
• Monitorizar, otimizar e resolver problemas de performance nos pipelines e processos de dados;
• Colaborar com equipas de Data Analytics, Data Science e desenvolvimento na disponibilização de dados;
• Participar na definição e implementação de boas práticas de Data Engineering;
• Contribuir para a modernização e evolução de plataformas e arquiteturas de dados;
• Identificar oportunidades de automação e melhoria contínua dos processos de engenharia de dados;
• Explorar, quando aplicável, a integração de soluções de Inteligência Artificial e automação inteligente nos processos de dados.

🧠 O que valorizamos em ti:

Para nós, o conhecimento técnico é essencial, mas procuramos também o nosso Y-Factor: a atitude que transforma um bom profissional num verdadeiro elemento da equipa.

• Espírito de equipa e vontade genuína de colaborar;
• Compromisso com os objetivos e com a qualidade das entregas;
• Comunicação clara e eficaz com equipas técnicas e áreas de negócio;
• Capacidade analítica e pensamento crítico na resolução de problemas;
• Sentido de responsabilidade e autonomia na execução das tarefas;
• Proatividade na identificação de desafios e oportunidades de melhoria;
• Organização, rigor e atenção ao detalhe;
• Preocupação com a qualidade, fiabilidade e consistência dos dados;
• Adaptabilidade a diferentes tecnologias, plataformas e contextos de negócio;
• Interesse por inovação, Inteligência Artificial e novas tendências na área de dados;
• Vontade de aprender, evoluir e partilhar conhecimento;
• Mindset de melhoria contínua e orientação para resultados.

Se procuras mais do que um projeto e queres integrar uma equipa onde podes contribuir, evoluir e deixar a tua marca, então podes ter o Y-Factor que procuramos.

🎓 O que procuramos:

• Experiência profissional em Data Engineering e desenvolvimento de soluções de dados;
• Experiência na construção, manutenção e otimização de pipelines de dados;
• Conhecimentos sólidos de SQL e Python;
• Experiência com processos de ETL/ELT, integração e transformação de dados;
• Conhecimentos de Data Warehousing, Data Lakes e modelação de dados;
• Experiência ou conhecimentos de plataformas Cloud, nomeadamente Microsoft Azure, AWS ou Google Cloud Platform (GCP);
• Contacto com ferramentas e plataformas de Big Data e processamento distribuído;
• Conhecimentos de integração de dados provenientes de diferentes fontes e sistemas;
• Familiaridade com boas práticas de qualidade, validação e governação de dados;
• Capacidade de análise, troubleshooting e otimização de processos de dados;
• Facilidade de colaboração em equipas multidisciplinares e contextos internacionais;
• Inglês fluente, escrito e falado.

🛠️ Tecnologias e ferramentas que valorizamos

Para além das competências essenciais, valorizamos conhecimentos ou experiência numa ou mais das seguintes tecnologias e ferramentas:

• Linguagens de Programação: Python, SQL e PySpark;
• Data Integration & ETL/ELT: Azure Data Factory, SSIS, Informatica, Talend, dbt e Apache NiFi;
• Big Data & Distributed Processing: Apache Spark, Databricks, Hadoop e Apache Kafka;
• Cloud Data Platforms: Microsoft Azure, AWS e Google Cloud Platform (GCP);
• Azure Data Ecosystem: Azure Databricks, Azure Synapse Analytics, Azure Data Lake Storage e Microsoft Fabric;
• AWS Data Ecosystem: AWS Glue, Amazon Redshift, Amazon S3 e Amazon EMR;
• Google Cloud Data Ecosystem: BigQuery, Dataflow, Dataproc e Cloud Composer;
• Data Warehousing & Storage: Snowflake, SQL Server, PostgreSQL, Oracle e Delta Lake;
• Orchestration & Automation: Apache Airflow, Azure Data Factory e Prefect;
• DevOps & CI/CD: Git, Azure DevOps, GitHub Actions, Docker e Terraform;
• Data Quality & Governance: Great Expectations, Microsoft Purview e Databricks Unity Catalog.

✨ Será considerado um forte plus: Inteligência Artificial & Generative AI

Valorizamos profissionais que, para além das competências tradicionais de engenharia de dados, tenham experiência ou interesse na aplicação de Inteligência Artificial, Generative AI e automação inteligente em soluções e plataformas de dados.

Serão especialmente valorizados conhecimentos ou experiência em:

• Utilização de Large Language Models (LLMs) e soluções de Generative AI;
• Integração de APIs de modelos de Inteligência Artificial em pipelines e aplicações de dados;
• Implementação de soluções de automação inteligente para processamento e transformação de informação;
• Utilização de Azure OpenAI, Google Vertex AI ou Amazon Bedrock;
• Conhecimentos de Retrieval-Augmented Generation (RAG) e bases de dados vetoriais;
• Experiência com frameworks como LangChain ou LlamaIndex;
• Aplicação de técnicas de AI para classificação, enriquecimento, validação ou análise de dados;
• Interesse na integração de soluções de Machine Learning e AI em arquiteturas modernas de dados.

Nota: Não é necessário dominar todas as tecnologias e ferramentas mencionadas. Procuramos profissionais com diferentes experiências e especializações dentro de Data Engineering, valorizando especialmente competências sólidas em Python, SQL, pipelines de dados e tecnologias Cloud.

A experiência em Inteligência Artificial constitui um fator diferenciador, mas não é um requisito obrigatório.

Nota importante: Apenas serão consideradas candidaturas de profissionais que residam atualmente em Portugal.

📩 Se ficaste com vontade de saber mais, envia o teu CV e descobre o que podemos construir juntos! 🚀