Projekt zakłada budowę i utrzymanie zaawansowanej infrastruktury do przetwarzania i magazynowania dużych zbiorów danych. Zespół będzie odpowiedzialny za projektowanie skalowalnych potoków danych przy użyciu Apache Spark, zarządzanie danymi w Apache Hive oraz orkiestrację procesów za pomocą Apache Airflow. Dodatkowo, system będzie oparty na SQL Server do przechowywania danych oraz realizowania zapytań analitycznych. Celem projektu jest zapewnienie wysokiej wydajności, niezawodności i jakości danych, wspierających decyzje biznesowe organizacji.
Zakres obowiązków:
- projektowanie i wdrażanie skalowalnych potoków danych przy użyciu Apache Spark i Pythona,
- rozwój i utrzymanie rozwiązań do magazynowania danych z wykorzystaniem Apache Hive,
- orkiestracja procesów przetwarzania danych z użyciem Apache Airflow,
- zarządzanie i zapytania do baz danych w SQL Server,
- optymalizacja i rozwiązywanie problemów związanych z przetwarzaniem danych, aby zapewnić ich wydajność i niezawodność,
- zapewnienie jakości i integralności danych w ramach wszystkich procesów,
- projektowanie, rozwój i utrzymanie baz danych SQL Server,
- optymalizacja wydajności baz danych oraz rozwiązywanie problemów,
- współpraca z interesariuszami w celu definiowania wymagań danych,
- monitorowanie i dostrajanie systemów produkcyjnych dla optymalnej wydajności.
- 5-letnie doświadczenie na stanowisku związanym z inżynierią danych,
- doświadczenie w pracy z narzędziami takimi jak Databricks i Data Factory,
- zaawansowana znajomość zasad projektowania baz danych oraz zapytań SQL,
- doświadczenie w przetwarzaniu dużych zbiorów danych za pomocą Apache Spark,
- wiedza na temat rozwiązań do magazynowania danych w Apache Hive,
- znajomość orkiestracji złożonych procesów przetwarzania danych za pomocą Apache Airflow,
- doskonałe umiejętności analityczne i rozwiązywania problemów,
- umiejętność pracy w dynamicznym zespole,
- dobra znajomość najlepszych praktyk dotyczących zarządzania i przechowywania danych,
- umiejętność efektywnego komunikowania się z interesariuszami w zakresie wymagań danych.
Stackmine
100
W Stackmine zajmujemy się pełnym cyklem tworzenia rozwiązań IT z obszarów aplikacji webowych, desktop oraz mobile. Realizacja projektów obejmuje wiodące technologie służące do wytwarzania oprogramowania w obszarze back-end (JAVA, C#, Python, C++, Node.js, Scala, PHP,) oraz front-end (Angular, React, Vue). Dodatkowo posiadamy doświadczenie w budowaniu zespołów z niszowymi kompetencjami np. Golang. Ponadto oferujemy szerokie doświadczenie sektorowe, co pozwala nam z sukcesem realizować projekty dla branż wymagających domenowej wiedzy.