Senior Data Engineer

• Wynagrodzenie w oparciu o umowę B2B (via Devire).
• Pakiet benefitów (opieka medyczna, karta multisport itp.).
• Długofalowa współpraca.
• Model hybrydowy (1 dzień w biurze)

Co najmniej 5-letniego doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych na GCP:

- Bardzo Dobra znajomość baz danych GCP : GCP Big Query, GCP Big Table, Scylla Cloud (projektowanie, budowa i tiuning baz danych)

- Dobra Znajomość narzędzi ETL Flow na GCP : Apache AirFlow , GCP Data Flow, GCP Data Proc

- Korzystanie z kolejek : Kafka, GCP Pub / Sub

Co najmniej 4-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych na on-prem :

- Biegłe posługiwanie się narzędziami ETL na on-prem na poziomie zaawansowanym : Informatic Power Center , ** NIFI

- Ekspercka znajomość relacyjne bazy danych Oracle, PostgeSQL , ScyllaDB (projektowanie, budowa i tiuning baz danych)

- Bardzo dobra znajomość narzędzia harmonogramującego Automate Now firmy Infinity Data

- Umiejętność wystawiania usług Rest API

Co najmniej 3-letnie doświadczenie jako programista w językach :

- Znajomość Python (w obszarze integracji i analizy danych), i framework PySpark

- Znajomość języka Rust do pisania narzędzi i frame worków wspomagających wydajne ładowanie danych

Z czasem przejęcie odpowiedzialności za wybrany obszar przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym

Obowiązki

- Chociaż podstawowa wiedza w zakresie programowania MicroServices w języku JAVA

- Korzystanie z systemu operacyjnego linux na poziomie zaawansowanego użytkownika,

- Doświadczenie w pracy z dużymi wolumenami danych ~100TB,

- Umiejętności analitycznego myślenia i szybkiego przyswajania wiedzy

- Samodzielności i kreatywności w rozwiązywaniu problemów

- Terminowości i rzetelności w realizacji projektów

- Mile widziana znajomość narzędzi pomocniczych : repozytorium GIT; narzędzi do monitorowania jak np. grafana ; narzędzia do testów wydajności jak Apache JMeter