Projekt modernizacji Hurtowni Danych i systemu Business Intelligence.

Przez 20 ostatnich lat rozwijaliśmy swoją platformę do Business Intelligence, jednak ilość danych oraz potrzeba ich kompleksowego interpretowania zaczęła przerastać możliwości starej architektury. Dlatego zaczęliśmy się zastanawiać czy nie ma sensu napisać nowego systemu, który będzie bardziej elastyczny i dużo bardziej wydajny. Dziś opowiadamy historię jaką do tej pory przeszliśmy. Od przygotowań, przez wyznaczenie założeń i ich walidację, fazę proof of concept po rozpoczęcie właściwej implementacji.

Cel projektu Architektura Hurtowni Danych 

Jest kompleksowa modernizacja rozwijanej od ponad 20 lat unikalnej platformy Business Intelligence Grupy PZU. W ostatnich latach nastąpił dynamiczny wzrost potrzeb analitycznych pracowników Grupy PZU połączony z rosnącą świadomością wartości posiadanych przez Grupę PZU zasobów informacji. Rosnący w tempie kilkunastu procent rocznie popyt na usługi BI doprowadził do rozbudowy Hurtowni Danych do granic skalowalności. Aby sprostać dalszemu wzrostowi popytu na odświeżaną codziennie wiedzę biznesową zgromadzoną w danych, a przez to umożliwić Grupie PZU dalsze powiększanie przewagi konkurencyjnej w Europie Środkowo-Wschodniej, należało całkowicie zmienić podejście do architektury środowiska DWH/BI.

Przygotowania

Na przełomie 2015 i 2016 roku Grupa rozpoczęła przygotowania do uruchomienia projektu Architektura HD. Pierwszym krokiem była walidacja dostępnych na rynku platform analitycznych (typu Appliance oraz rozwiązań budowanych z elementów po stronie klienta) pod kątem ich możliwości w zakresie:

Wydajności analitycznej, w tym m.in.:

Przepustowość ciągła w wielu GB/s
Możliwość użycia zaawansowanych technologii optymalizacji przetwarzań analitycznych jak np. składowanie i kompresja kolumnowa

Stabilności pod dużym obciążeniem, w tym m.in.:

Stabilność przy przetwarzaniu tysięcy procesów analitycznych dziennie
Stabilność przy dostępie tysięcy użytkowników

Bezpieczeństwa, w tym m.in.:

Najwyższy poziom bezpieczeństwa informatycznego
High Availability oraz Disaster Recovery

Efektywności współpracy z istniejącym środowiskiem analitycznym

Możliwości monitorowania i zarzadzania poziomem usług BI, w tym m.in.:

Resource management
Live performance monitoring
I/O throttling

Do współpracy na zasadach proof-of-concept zaprosiliśmy wiodących na światowych rynkach dostawców baz danych o przeznaczeniu analitycznym oraz topowych integratorów. W krótkim czasie w naszej serwerowni pojawiło się kilka platform analitycznych, które przetestowaliśmy. Dzięki temu mieliśmy unikalną możliwość porównania, według wspólnych kryteriów, zupełnie różnych co do podejścia wewnętrznego platform analitycznych. Udało nam się porównać wydajność, stabilność, skalowalność „real-life” rozwiązań klasy Shared-nothing z architekturą Shared-everything oraz innowacyjnymi konceptami in-memory, big data itp. Dzięki temu zdobyliśmy praktycznie niedostępną na polskim rynku wiedzę o dopasowaniu powyższych technologii, w skali wdrożenia rzędu setek TB, platformą wykorzystywaną przez pracowników korzystających z różnych aplikacji poprzez różnorakie kanały dostępowe (w tym mobile).

Projekt

Na postawie doświadczeń zebranych w trakcie fazy PoC, nową architekturę HD zdecydowaliśmy się oprzeć o najnowszą wersję appliance jednego z wiodących dostawców systemów bazodanowych. Konstrukcję nowego środowiska mającą sprostać postawionym celom oparliśmy o wiele ośrodków przetwarzania i wyposażyliśmy w najnowsze technologie analityczne.

Nowe, tworzone od podstaw środowisko to kilkaset TB danych oraz kilkadziesiąt maszyn obliczeniowych obsługujących całość platformy BI od przyjęcia danych, przez ich przetworzenie po dostarczenie ich do odbiorców biznesowych. Samo zaprojektowanie tak dużego i kompleksowego środowiska, mające spełniać cechy HA i DR wymagało wielomiesięcznej pracy najlepszych ekspertów z Polski i zagranicy.

Prawdziwym wyzwaniem jest również przeniesienie istniejących, rozwijanych od 20 lat rozwiązań analitycznych na nową platformę przy jednoczesnym wykorzystaniu wartości dodanych nowej architektury HD (m.in. wielokrotna akceleracja obecnych procesów). Natomiast wyzwaniem dla najlepszych jest przeprowadzenie tego zadania w niecałe dwa lata. W tym celu specjalnie dobrani eksperci ze świata współpracują w celu wytworzenia:

Nowych modeli logicznych w zakresie zarzadzania metadanymi i bezpieczeństwem danych
Robotów automatyzujących zadania migracji procesów
Robotów automatyzujących procesy testowania i wdrażania zmigrowanych rozwiązań analitycznych (BIOps)
Nowych procesów Change Management oraz Release Management
Nowych systemów referencyjnych i słownikowych,
Nowych procesów zarzadzania wydajnością oraz rozliczania utylizacji platform BI
Nowych umów Service Level Agreeement

Zmiana wymaga gruntownej rewizji wszystkich założeń architektonicznych, narzędzi i procesów technicznych, a także wielu procesów biznesowych.

Dołącz do nas!

Cały czas jesteśmy otwarci na nowe pomysły, które pomogą nam w lepszy sposób zmierzyć się z stojącym przed nas wyzwaniem. Poszukujemy ekspertów chcących stać się częścią utalentowanego i unikatowego Zespołu Projektowego złożonego zarówno z wyselekcjonowanych pracowników Grupy PZU, jak i najlepszych specjalistów (w tym spośród personelu producenta i wiodących integratorów). Jeśli chcesz wzbogacić swoją karierę o tę unikalną możliwość i nie obawiasz się największych wyzwań – to miejsce jest dla Ciebie.