Bulldogjob
Dla pracodawcy

Celem projektu jest stworzenie wspólnej warstwy danych (Common Data Layer) w formie Data Hubs, które integrują informacje z wielu źródeł w organizacji. Data Hubs mają wspierać zarówno analitykę i raportowanie, jak i operacje biznesowe oraz Generative AI, umożliwiając real-time ingestion i dynamiczne aktualizacje modeli. Projekt zakłada budowę skalowalnej, bezpiecznej i AI-ready infrastruktury danych, która będzie fundamentem dla zaawansowanych zastosowań analitycznych w całej firmie. Projekt realizowany w modelu zdalnym.

Zakres obowiązków:

  • projektowanie i implementacja skalowalnych Data Hubs integrujących różne źródła danych,
  • tworzenie i optymalizacja pipeline’ów ETL/ELT dla dużych i różnorodnych zbiorów danych,
  • projektowanie logicznych modeli danych, wspierających szerokie spektrum przypadków użycia,
  • wdrożenie rozwiązań real-time ingestion i analityki strumieniowej,
  • zapewnienie wysokiej jakości danych poprzez walidację, detekcję anomalii i monitoring,
  • optymalizacja wydajności procesów przetwarzania i przechowywania danych,
  • automatyzacja pipeline’ów i wdrożeń poprzez CI/CD,
  • współpraca z zespołami architektów danych, inżynierów AI oraz biznesem,
  • utrzymanie i rozwój infrastruktury danych w środowisku produkcyjnym,
  • udział w procesach Agile/Scrum i dostarczanie iteracyjnych rozwiązań,
  • tworzenie i utrzymywanie dokumentacji technicznej modeli, pipeline’ów i decyzji projektowych.

  • min. 5 lat doświadczenia w roli Data Engineer lub podobnej,
  • bardzo dobra znajomość Python (lub innego języka stosowanego w inżynierii danych),
  • doświadczenie w pracy z Azure Data Factory, ADLS, Azure SQL,
  • tworzenie i optymalizacja pipeline’ów ETL/ELT w środowisku produkcyjnym,
  • znajomość przetwarzania danych w czasie rzeczywistym (streaming, event-driven architecture),
  • doświadczenie w przygotowaniu danych dla AI/ML i Generative AI,
  • umiejętność implementacji walidacji danych, monitoringu i detekcji anomalii,
  • bardzo dobra znajomość SQL i optymalizacji zapytań,
  • znajomość narzędzi DevOps i automatyzacji: CI/CD, Terraform, Docker, Kubernetes/AKS,
  • wiedza z zakresu Data Governance, bezpieczeństwa i zgodności danych,
  • umiejętność pracy w zespołach cross-funkcjonalnych i środowisku Agile,
  • tworzenie czytelnej dokumentacji technicznej,
  • język angielski - zaawansowany.

Stackmine

Stackmine

100

W Stackmine zajmujemy się pełnym cyklem tworzenia rozwiązań IT z obszarów aplikacji webowych, desktop oraz mobile. Realizacja projektów obejmuje wiodące technologie służące do wytwarzania oprogramowania w obszarze back-end (JAVA, C#, Python, C++, Node.js, Scala, PHP,) oraz front-end (Angular, React, Vue). Dodatkowo posiadamy doświadczenie w budowaniu zespołów z niszowymi kompetencjami np. Golang. Ponadto oferujemy szerokie doświadczenie sektorowe, co pozwala nam z sukcesem realizować projekty dla branż wymagających domenowej wiedzy. 

Oferty pracy 9Profil firmy