Flink Data Engineer

• Praca 100% zdalna.
• Pakiet benefitów (opieka medyczna, karta multisport itp.).
• Długofalowa współpraca.

• Komercyjne doświadczenie z Apache Flink (min. 2–3 lata),
• Doświadczenie z SQL,
• Doświadczenie z DataStream API,
• Znajomość: state, windowing, event time vs processing time,
• Doświadczenie w streamingu - systemy real-time,
• Znajomość Kafka lub podobne rozwiązania,
• Doświadczenie z Java (w kontekście Flinka),
• Umiejętność wykorzystania DataStream API,
• Implementacja customowej logiki przetwarzania,
• Doświadczenie w pracy z ekosystemem przetwarzania danych,
• Umiejętność integracji danych, event-driven systems,
• Znajomość Kubernetes / Docker,
• Podstawy data engineeringu,
• Umiejętnośc modelowania danych - pipeline’y.

Obowiązki

• Rozwój i utrzymanie pipeline’ów przetwarzania danych w czasie rzeczywistym z wykorzystaniem Apache Flink,
• Migracja istniejących jobów Flink (DataStream API) oraz ich dostosowanie do nowych standardów platformy,
• Planowanie i realizacja upgrade’u platformy Apache Flink do wersji 2.0,
• Projektowanie i optymalizacja wydajnych, skalowalnych oraz odpornych na błędy architektur streamingowych,
• Migracja dużych zbiorów danych z BigQuery (BQ) do Data Cloud Storage (DCS),
• Automatyzacja i skalowanie procesów migracji danych w celu obsługi rosnących wolumenów,
• Konwersja danych (Avro → Parquet) z uwzględnieniem wydajności, ewolucji schematów i optymalizacji storage,
• Wykorzystanie narzędzi AI do usprawniania procesów migracji, walidacji i transformacji danych,
• Zapewnienie wysokiej jakości i integralności danych oraz minimalizacja przestojów systemów,
• Monitorowanie i optymalizacja działania pipeline’ów oraz platformy streamingowej,
• Współpraca z zespołami technicznymi i biznesowymi (cross-funkcjonalnymi),
• Komunikowanie zagadnień technicznych w sposób zrozumiały dla interesariuszy nietechnicznych.