Azure Data Engineer

• Kontrakt B2B via Devire.
• Stawka godzinowa: 160-180 zł/h netto + vat.
• Możliwość wykupienia benefitów: Multisport, prywatna opieka medyczna, system kafeteryjny, ubezpieczenie na życie.
• Stabilny, długoterminowy projekt w środowisku bankowym.
• Współpracę międzynarodową.
• Realny wpływ na rozwiązania.
• Pracę hybrydową (2 dni w krakowskim biurze/ 3 dni zdalnie).

• Doświadczenie: min. 5 lat pracy jako Data Engineer lub na podobnym stanowisku.
• Bazy danych Microsoft: bardzo dobre, praktyczne doświadczenie w pracy z MS SQL Server / Azure SQL.
• Narzędzia ETL/ELT: udokumentowane doświadczenie w projektowaniu, budowie i migracji procesów ETL/ELT z wykorzystaniem Azure Data. Factory oraz SQL Server Integration Services (SSIS).
• Raportowanie i integracje: doświadczenie w pracy z SQL Server Reporting Services (SSRS) i Crystal Reports; umiejętność modernizacji starszych rozwiązań raportowych.
• Usługi danych w Azure: praktyczne doświadczenie z Azure Data Factory oraz Azure Data Lake / ADLS Gen2.
• Projektowanie hurtowni danych: solidne rozumienie modelowania wymiarowego i koncepcji hurtowni danych.
• SQL i wydajność: bardzo dobre umiejętności SQL, w tym złożone zapytania, strojenie wydajności i optymalizacja.
• Architektura danych i dokumentacja: umiejętność projektowania rozwiązań end-to-end, myślenie systemowe oraz wkład w tworzenie dokumentacji projektowej (Solution Design Documentation – SDD).
• Potoki danych i przetwarzanie: doświadczenie w budowie i utrzymaniu potoków danych w skali enterprise dla scenariuszy wsadowych i strumieniowych.
• Jakość danych, governance i bezpieczeństwo: udokumentowane podejście do jakości i spójności danych oraz zgodności z bankowymi/regulacyjnymi standardami bezpieczeństwa.
• Współpraca i integracje: doświadczenie w integracji danych z wielu źródeł (API, pliki, bezpieczne platformy) oraz w ścisłej współpracy z zespołami backend .NET i interesariuszami.
• Power BI: znajomość modeli danych Power BI, strategii odświeżania oraz zagadnień związanych z wydajnością.

Mile widziane:

• Azure Databricks i Apache Spark: doświadczenie w pracy z Databricks i Spark przy przetwarzaniu danych na dużą skalę.
• Migracja legacy ETL/raportowania: doświadczenie w migracji starszych rozwiązań ETL oraz raportowych do chmury.
• Integracje .NET i API: znajomość ekosystemu .NET oraz wzorców integracji opartych o API.
• Bezpieczne źródła danych: doświadczenie w pracy z bezpiecznymi źródłami (CyberArk, SFTP, pliki szyfrowane).
• Dane strumieniowe / near real-time: doświadczenie w przetwarzaniu danych strumieniowych lub bliskich czasu rzeczywistego.
• CI/CD dla platform danych: znajomość podejścia CI/CD w kontekście potoków danych i platform danych.
• Infrastructure as Code: znajomość narzędzi IaC, takich jak Terraform, ARM lub Bicep.
• Optymalizacja kosztów chmurowych: rozumienie zarządzania kosztami w chmurze oraz strategii optymalizacji

Obowiązki

• Projektowanie i budowa potoków danych: projektowanie, implementacja i utrzymanie potoków ETL/ELT w skali enterprise z wykorzystaniem Azure Data Factory oraz powiązanych usług Azure.
• Migracja i utrzymanie ETL: rozwój i modernizacja procesów ETL/ELT (w tym SSIS) oraz migracja starszych potoków do chmury.
• Przetwarzanie wsadowe i strumieniowe: budowa i obsługa zarówno wsadowych, jak i bliskich czasu rzeczywistego/strumieniowych przepływów danych.
• Projektowanie hurtowni i jeziora danych: projektowanie i rozwój architektury Data Warehouse i Data Lake.
• Wydajność baz danych i operacje: optymalizacja, zarządzanie i strojenie baz MS SQL Server / Azure SQL pod kątem niezawodności i wydajności.
• Wsparcie raportowania i integracji: wsparcie i modernizacja rozwiązań raportowych oraz integracyjnych (SSRS, Crystal Reports) oraz integracja danych z API, plików i bezpiecznych źródeł (np. CyberArk, SFTP).
• Współpraca z zespołami backendowymi: ścisła współpraca z zespołami .NET/API w celu zapewnienia niezawodnych i bezpiecznych przepływów danych oraz integracji.
• Architektura i dokumentacja: współtworzenie architektury rozwiązania i danych oraz przygotowywanie/utrzymanie dokumentacji projektowej (Solution Design Documentation – SDD).
• Jakość danych, governance i bezpieczeństwo: zapewnienie jakości i spójności danych, ładu danych (data governance) oraz zgodności z bankowymi standardami bezpieczeństwa i regulacjami.
• Wsparcie Power BI i analityki: wsparcie modeli danych Power BI, strategii odświeżania oraz strojenie wydajności warstwy analitycznej.