Data Engineer

• Kontrakt B2B via Devire.
• Współpraca hybrydowa z biura w Warszawie (2-3 dni w tygodniu)
• Pakiet benefitów.

1. Platformy Chmurowe:

• Google Cloud Platform (GCP): Znajomość kluczowych usług Data & Analytics
• BigQuery: Wykorzystanie do przechowywania, przetwarzania i analizydanych (Bronze, Silver, Gold layers)
• Cloud Storage: Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania
• Cloud Dataflow (Apache Beam): Projektowanie, implementacja i optymalizacja potoków ETL/ELT (zarówno batch, jak i streaming) w Pythonie.
• Cloud Composer (Apache Airflow): Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań.
• Datastream: Zrozumienie mechanizmów CDC (Change Data Capture) i replikacji danych (z MySQL do BigQuery).

2. Języki Programowania:

• Python (Pandas) oraz SQL (ANSI SQL, dialekt BigQuery) 

3. Bazy Danych:

• MySQL, PostgreSQL, MS SQL Server

4. Koncepcje i Metodologie:

• Architektura Medalionowa (Bronze, Silver, Gold)
• ETL/ELT: Zrozumienie procesów ekstrakcji, transformacji i ładowania danych.
• Data Governance: Zrozumienie zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności (RODO).
• Deduplikacja Danych oraz Wersjonowanie Danych (Data Versioning).

5. Narzędzia i Procesy Deweloperskie:

• Git oraz CI/CD.

Obowiązki

• Projektowanie, implementacja i optymalizacja procesów przetwarzania danych w architekturze Data Lakehouse na platformie Google Cloud Platform (GCP).
• Wspieranie zespołów projektowych i utrzymaniowych w budowie oraz rozwoju platformy Customer Data Platform (CDP).
• Wspieranie zespołów projektowych i utrzymaniowych w budowie oraz rozwoju platformy Customer Data Platform (CDP).
• Współpraca z analitykami, data scientistami i innymi interesariuszami w zakresie integracji oraz udostępniania danych.
• Tworzenie i aktualizacja dokumentacji technicznej oraz dobrych praktyk w zakresie inżynierii danych w środowisku GCP.