Dołącz do międzynarodowego zespołu realizującego transformację danych w środowisku chmurowym opartym na platformach Snowflake i Databricks. Celem projektu jest modernizacja hurtowni danych, centralizacja źródeł danych oraz wdrożenie zaawansowanej analityki danych i uczenia maszynowego w chmurze. Projekt realizowany jest dla klienta z branży finansowej.
Zakres obowiązków:
- projektowanie i implementacja rozwiązań w oparciu o Snowflake i Databricks (Spark/SQL),
- budowa i optymalizacja pipeline’ów danych (ETL/ELT),
- integracja danych z różnych źródeł (pliki, API, bazy danych),
- współpraca z zespołem Data Science i BI w celu zapewnienia dostępu do przetworzonych danych,
- monitorowanie wydajności i optymalizacja kosztów obliczeń w środowisku chmurowym,
- tworzenie i utrzymanie dokumentacji technicznej,
- praca w zespole SCRUM / Agile, udział w codziennych stand-upach i przeglądach sprintów.
- min. 3 lata doświadczenia w inżynierii danych,
- bardzo dobra znajomość Snowflake (modelowanie danych, optymalizacja zapytań, zarządzanie użytkownikami),
- doświadczenie z Databricks i Apache Spark (PySpark lub Spark SQL),
- znajomość języka SQL na poziomie zaawansowanym,
- doświadczenie w pracy z Azure Data Services (np. Azure Data Factory, Azure Blob Storage),
- praktyczna znajomość koncepcji ELT/ETL, lakehouse, data warehouse,
- znajomość języka angielskiego na poziomie min. B2 (projekt międzynarodowy).
Stackmine
100
W Stackmine zajmujemy się pełnym cyklem tworzenia rozwiązań IT z obszarów aplikacji webowych, desktop oraz mobile. Realizacja projektów obejmuje wiodące technologie służące do wytwarzania oprogramowania w obszarze back-end (JAVA, C#, Python, C++, Node.js, Scala, PHP,) oraz front-end (Angular, React, Vue). Dodatkowo posiadamy doświadczenie w budowaniu zespołów z niszowymi kompetencjami np. Golang. Ponadto oferujemy szerokie doświadczenie sektorowe, co pozwala nam z sukcesem realizować projekty dla branż wymagających domenowej wiedzy.