Poszukujemy doświadczonego DevOps / Data Engineera do udziału w projekcie automatyzacji integracji różnorodnych źródeł danych. Celem projektu jest stworzenie potoków ETL, które będą zasilać bazę danych, a następnie dane będą prezentowane w PowerBI.
Zakres obowiązków
- Projektowanie, implementacja i utrzymanie potoków ETL w Azure Data Factory;
- Automatyzacja procesów integracji danych z różnych źródeł;
- Tworzenie i utrzymanie skryptów automatyzujących (Python);
- Współpraca z zespołem programistów i analityków danych w celu zapewnienia ciągłości dostarczania danych;
- Monitorowanie i optymalizacja wydajności potoków danych;
- Rozwiązywanie problemów związanych z integracją i przetwarzaniem danych;
- Dokumentowanie procesów i procedur.