Flink Data Engineer

• Praca 100% zdalna.
• Pakiet benefitów (opieka medyczna, karta multisport itp.).
• Długofalowa współpraca.

Doświadczenie i kompetencje ogólne:

• Minimum 5 lat doświadczenia w obszarze data engineering, analytics engineering lub pokrewnym,
• Praktyczne doświadczenie z Google BigQuery oraz Looker (LookML) w środowisku produkcyjnym,
• Bardzo dobra znajomość SQL,
• Doświadczenie w modelowaniu danych,
• Znajomość dbt lub podobnych narzędzi do transformacji danych,
• Dobra znajomość zagadnień data governance, lineage oraz dokumentacji danych,
• Umiejętności komunikacyjne i współpracy,
• Praktyczne doświadczenie w korzystaniu z asystentów AI (np. Claude Code, GitHub Copilot, Cursor) w celu zwiększania produktywności, jakości lub wspierania podejmowania decyzji w procesie wytwarzania oprogramowania.

Streaming & Platform Engineering:

• Praktyczne doświadczenie z Apache Flink (w tym DataStream API),
• Doświadczenie w utrzymaniu i aktualizacji środowisk Flink (mile widziane doświadczenie z Flink 2.0),
• Dogłębne rozumienie architektury pipeline’ów streamingowych,
• Znajomość optymalizacji wydajności, zarządzania stanem oraz mechanizmów fault tolerance.

Migracja i transformacja danych:

• Doświadczenie w migracji dużych zbiorów danych z BigQuery (BQ) do Data Cloud Storage (DCS),
• Bardzo dobra znajomość konwersji formatów danych (szczególnie Avro → Parquet),
• Umiejętność projektowania, skalowania i automatyzacji procesów migracyjnych,
• Dbałość o integralność danych i minimalizację przestojów.

Cloud & Big Data:

• Dobra znajomość Google Cloud Platform (GCP) i jego usług danych,
• Zrozumienie systemów rozproszonych,
• Znajomość ewolucji schematów i optymalizacji przechowywania danych.

Kompetencje miękkie:

• Umiejętność rozbijania złożonych problemów na konkretne, wykonalne kroki,
• Proaktywność i poczucie odpowiedzialności za rozwiązania,
• Umiejętność identyfikowania ryzyk.

Obowiązki

• Rozwój i utrzymanie pipeline’ów przetwarzania danych w czasie rzeczywistym z wykorzystaniem Apache Flink,
• Migracja istniejących jobów Flink (DataStream API) oraz ich dostosowanie do nowych standardów platformy,
• Planowanie i realizacja upgrade’u platformy Apache Flink do wersji 2.0,
• Projektowanie i optymalizacja wydajnych, skalowalnych oraz odpornych na błędy architektur streamingowych,
• Migracja dużych zbiorów danych z BigQuery (BQ) do Data Cloud Storage (DCS),
• Automatyzacja i skalowanie procesów migracji danych w celu obsługi rosnących wolumenów,
• Konwersja danych (Avro → Parquet) z uwzględnieniem wydajności, ewolucji schematów i optymalizacji storage,
• Wykorzystanie narzędzi AI do usprawniania procesów migracji, walidacji i transformacji danych,
• Zapewnienie wysokiej jakości i integralności danych oraz minimalizacja przestojów systemów,
• Monitorowanie i optymalizacja działania pipeline’ów oraz platformy streamingowej,
• Współpraca z zespołami technicznymi i biznesowymi (cross-funkcjonalnymi),
• Komunikowanie zagadnień technicznych w sposób zrozumiały dla interesariuszy nietechnicznych.