Cloud Data Engineer

• Wynagrodzenie w oparciu o umowę B2B (via Devire)
• Współpraca 100% zdalna
• Pakiet benefitów (opieka medyczna, członkostwo sportowe itp.)
• Długoterminowa współpraca

• Co najmniej 5 lat doświadczenia w projektowaniu i implementacji procesów procesów ETL z wykorzystaniem Azure Data Factory, Databricks oraz Azure Data Lake.
• Praktyczna znajomość języków Python, PySpark i SQL w kontekście transformacji danych, optymalizacji i zapewniania ich jakości.
• Znajomość zagadnień związanych z architekturą danych oraz umiejętność analizy i optymalizacji istniejących rozwiązań.
• Doświadczenie w pełnieniu roli lidera technicznego, w tym koordynowaniu zespołów, mentoringu oraz wdrażaniu dobrych praktyk inżynierii danych.
• Znajomość zagadnień związanych z bezpieczeństwem danych, w tym zarządzania dostępem i szyfrowania danych (np. z użyciem Azure Key Vault).
• Umiejętność prowadzenia komunikacji z interesariuszami projektu - zbierania wymagań, raportowania postępów i rozwiązywania problemów technicznych.
• Znajomość środowiska Azure i ekosystemu narzędzi do przetwarzania danych w chmurze.

Obowiązki

• Projektowanie, opracowywanie i utrzymywanie integracji ETL z wykorzystaniem Azure Data Factory, Databricks i Data Lake dla projektów obejmujących dane sprzedażowe, kadrowe oraz dotyczące użytkowania urządzeń.
• Projektowanie i realizacja inicjatyw z obszaru inżynierii danych poprzez analizę istniejącej architektury, optymalizację przepływów danych oraz przygotowanie baz kodu do migracji.
• Tworzenie i optymalizacja procesów transformacji danych z użyciem Python, PySpark i SQL, z naciskiem na jakość danych oraz wydajność przetwarzania.
• Pełnienie roli lidera technicznego, w tym delegowanie zadań, mentoring członków zespołu oraz zapewnianie wysokiej jakości rezultatów poprzez stosowanie najlepszych praktyk i monitorowanie wydajności.
• Zapewnienie zgodności z wymogami bezpieczeństwa danych poprzez projektowanie i utrzymanie kontroli dostępu, wykorzystanie Azure Key Vault oraz szyfrowanie danych.
• Współpraca z klientami i dostawcami - prowadzenie spotkań projektowych, zbieranie wymagań, raportowanie postępów oraz rozwiązywanie problemów technicznych.