Inżynier Danych

• Wynagrodzenie do 160 PLN netto+VAT/h, B2B via Devire.
• Model hybrydowy.
• Długofalowa współpraca.

• Min. 2 lata praktycznego doświadczenia zawodowe na stanowisku Inżynier Danych\Data Engineer w samodzielnym budowaniu wydajnych i skalowalnych rozwiązań w architekturze Data Lakehouse,
• Umiejętność projektowania i implementacji potoków ETL/ELT, które przetwarzają duże zbiory danych z różnych źródeł, wraz z ich monitorowaniem i optymalizacją,
• Znajomość usług Azure: praktyczna biegłość w pracy z technologiami takimi jak Azure Databricks (wraz z Unity Catalog), Azure Data Factory, Azure Data Lake Storage oraz orkiestracją potoków w Apache Airflow,
• Bardzo dobra znajomość Pythona, PySparka, Terraform, YAML-a, SQL-a oraz Databricks Asset Bundle,
• Doświadczenie w konfiguracji i zarządzaniu ciągłym dostarczaniem (CI\CD) z wykorzystaniem Azure DevOps Repos oraz Azure DevOps Pipelines,
• Modelowanie danych: doświadczenie w pracy z architekturą medalionową,
• Umiejętność diagnozowania i rozwiązywania problemów związanych z przetwarzaniem danych,
• Zdolność efektywnej pracy w zespole oraz komunikacji z innymi działami,
• Certyfikaty techniczne np. Azure Data Engineer (mile widziane),
• Praca z danymi w czasie rzeczywistym: umiejętność projektowania procesów przetwarzania danych w czasie rzeczywistym (lub zbliżonym do rzeczywistego) z użyciem Azure Event Hub, ich monitorowania i optymalizacji (mile widziane).

Obowiązki

• Projektowanie, wdrażanie i utrzymanie struktur przechowywania danych (Delta Lake) oraz systemów ich przetwarzania w chmurze (Azure Databricks, Azure Data Lake Storage, Azure SQL Server, Azure Event Hub, Apache Airflow, Azure Data Factory) zapewniając wydajny i niezawodny dostęp do danych,
• Tworzenie i zarządzanie potokami ETL/ELT (Extract, Transform, Load) oraz strumieniami danych, które umożliwią gromadzenie, transformację i integrację dużych zbiorów danych z różnych źródeł,
• Automatyzacja procesów przetwarzania danych poprzez tworzenie skryptów i narzędzi, umożliwiających zwiększenie efektywności, niezawodności i skalowalności przepływów danych,
• Tworzenie i modyfikacja struktur danych oraz kodu infrastruktury z użyciem Terraform, YAML,
• Zarządzanie kodem i procesami CI/CD: kontrola wersji, wdrażanie zmian w strukturach danych i potokach danych z użyciem Git oraz zautomatyzowanych procesów CI/CD w Azure DevOps,
• Monitorowanie jakości danych, wykrywanie błędów i niezgodności oraz wdrażanie mechanizmów walidacji i poprawy danych, aby były gotowe do analizy przez inne zespoły,
• Wspieranie analityków danych, data scientistów oraz inne zespoły w dostarczaniu danych w odpowiednim formacie i jakości.