BLOOM to najważniejszy model AI tej dekady
Możesz się teraz zastanawiać, czy tak odważny tytuł ma coś wspólnego z prawdą. Odpowiedź brzmi: tak. Pozwól, że wyjaśnię dlaczego.
GPT-3 pojawił się w 2020 roku i wyznaczył nową drogę, którą cały rynek AI podążał z uporem i zainteresowaniem. Firmy technologiczne wielokrotnie budowały lepsze, większe modele, jeden po drugim.
I chociaż włożyli w ten cel miliony, żaden z nich nie zmienił zasadniczo paradygmatu prowadzącego ani reguł gry, które GPT-3 określiło dwa lata temu.
Gopher, Chinchilla i PaLM (prawdopodobnie obecne podium dużych modeli językowych) są znacznie lepsze niż GPT-3, ale w gruncie rzeczy są raczej tym samym.
Chinchilla udowodniła sukces nieco innych praw skalowania, ale nadal jest to duży model oparty na transformatorach, który wykorzystuje dużo danych i obliczeń, podobnie jak pozostałe.
DALL-E 2, Imagen oraz Parti, chociaż różnią się w tym, co robią — modele tekstu na obraz, które dodają techniki poza transformatorami — są one dość mocno oparte na tych samych trendach.
Nawet Flamingo oraz Gato, które odchodzą nieco od GPT-3 w kierunku bardziej ogólnego, multimodalnego podejścia do AI, są tylko remiksem tych samych pomysłów wprowadzonych do nowych zadań.
Ale, co najważniejsze, wszystkie te modele AI wynikają z ogromnych zasobów prywatnych firm technologicznych. To jest ten wspólny mianownik.
Nie tylko ich specyfikacja techniczna sprawia, że należą do tej samej paczki. To dlatego, że garstka bogatych laboratoriów badawczych nastawionych na zysk sprawuje nad nimi absolutną kontrolę.
Ale... wkrótce się to zmieni.
BLOOM i BigScience
wyznaczają punkt zwrotny dla społeczności AI
BLOOM (BigScience Language Open-science Open-access Multilingual) jest wyjątkowy nie dlatego, że jest architektonicznie inny niż GPT-3. W rzeczywistości jest najbardziej podobny do wszystkich powyższych, będąc również modelem opartym na transformatorach ze 176B parametrów (GPT-3 ma 175B).
Jest punktem wyjścia do społeczno-politycznej zmiany paradygmatu w AI, która zdefiniuje nadchodzące lata w tej dziedzinie i przełamie dominację wielkich technologii w badaniach i rozwoju dużych modeli językowych (LLM).
Można powiedzieć, że Meta, Google, i OpenAI niedawno udostępniły niektóre ze swoich dużych modeli opartych na transformatorach (odpowiednio OPT, Switch Transformers i VPT). Czy to dlatego, że nagle docenili open-source? Jestem pewien, że większość inżynierów i naukowców w tych firmach już wcześniej to wiedziała.
Znają wartość open-source, ponieważ codziennie korzystają z bibliotek i narzędzi zbudowanych na jego fundamentach. Ale firmy, jako pozbawione moralności podmioty zarabiające pieniądze, nie ugną się tak łatwo przed preferencjami szerszej społeczności AI.
Firmy te nie udostępniłyby swoich modeli, gdyby nie kilka instytucji i laboratoriów badawczych, które zaczęły wywierać ogromną presję w tym kierunku.
BigScience, Hugging Face, EleutherAI i inni nie lubią tego, co duże firmy technologiczne zrobiły z tą dziedziną. Monopolizowanie technologii, która może przynieść — i miejmy nadzieję, że przyniesie — korzyści wielu ludziom — nie jest moralnie w porządku.
Nie mogli jednak po prostu poprosić Google czy OpenAI o udostępnienie swoich badań i oczekiwać pozytywnej odpowiedzi z ich strony.
Dlatego postanowili zbudować i sfinansować własny pomysł oraz udostępnić go naukowcom, którzy chcą odkrywać jego cudowności. Najnowocześniejsza AI nie jest już zarezerwowana dla wielkich korporacji z dużymi kieszeniami.
BLOOM jest zwieńczeniem tych starań. Po ponad roku zbiorowej pracy, która rozpoczęła się w styczniu 2021 roku i szkolenia przez 3+ miesięcy na publicznym francuskim superkomputerze Jean Zay, BLOOM jest wreszcie gotowy.
Jest to wynik projektu BigScience Research Workshop, który obejmuje pracę 1000+ naukowców z całego świata i liczy na współpracę i wsparcie 250+ instytucji, w tym między innymi Hugging Face, IDRIS, GENCI, oraz Montreal AI Ethics Institute.
To, co ich łączy, to wiara w technologię, a w szczególności AI. Powinna być otwarta, różnorodna, inkluzywna, odpowiedzialna i dostępna dla dobra ludzkości.
Ich imponujący wspólny wysiłek i wyjątkowa pozycja w branży AI są porównywalne jedynie z troską, z jaką uwzględnili społeczny, kulturowy, polityczny i środowiskowy kontekst, który leży u podstaw projektowania modeli AI – a w szczególności BLOOM – oraz procesów selekcji danych, ich przechowywania i zarządzania nimi.
Członkowie BigScience opublikowali kartę etyczną, która określa wartości, jakimi kierują się przy tworzeniu i wdrażaniu tych technologii. Podzielili je na dwie kategorie — intrinsic (wewnętrzne), „wartościowy ... jako cel,” i extrinsic (zewnętrzne), „wartościowe jako środek”.
Podsumuję tutaj te wartości, cytując kartę, ponieważ uważam każdą z nich za krytyczną dla zrozumienia bezprecedensowego znaczenia BigScience i BLOOM. (Nadal polecam przeczytanie całej karty. Nie jest długa.)
Wartości wewnętrzne
- Inkluzywność: „ ...Równy dostęp do artefaktów BigScience... nie tylko niedyskryminacja, ale i poczucie przynależności...”
- Różnorodność: „...Ponad 900 badaczy i społeczności ... z 50 krajów obejmujących ponad 20 języków...”
- Odtwarzalność: „...BigScience dąży do zapewnienia reprodukcji eksperymentów badawczych i wniosków naukowych...”
- Otwartość: „...badacze związani z AI z całego świata mogą wnieść swój wkład i dołączyć do inicjatywy... [a] wyniki... będą udostępniane na zasadzie otwartości...”
- Odpowiedzialność: „Każdy współtwórca ponosi zarówno indywidualną, jak i zbiorową [społeczną i środowiskową] odpowiedzialność za swoją pracę w ramach projektu BigScience...”
Wartości zewnętrzne
- Dostępność: „Jako środek do osiągnięcia otwartości. BigScience dokłada wszelkich starań, aby nasze badania i wyniki technologiczne mogły być łatwo interpretowane i wyjaśniane szerszej publiczności...”
- Transparentność: „Jako środek do osiągnięcia odtwarzalności. Prace BigScience są aktywnie promowane na różnych konferencjach, webinarach, badaniach akademickich i popularyzacji naukowej, aby inni mogli zobaczyć naszą pracę...”
- Interdyscyplinarność: „Jako środek do osiągnięcia inkluzywności. Nieustannie budujemy mosty pomiędzy informatyką, lingwistyką, prawem, socjologią, filozofią i innymi odpowiednimi dyscyplinami, aby przyjąć holistyczne podejście przy tworzeniu artefaktów BigScience.”
- Wielojęzyczność: „Jako środek do osiągnięcia różnorodności. Posiadając system, który jest wielojęzyczny od samego początku, którego bezpośrednim celem jest objęcie 20 najczęściej używanych języków na świecie...”
BigScience i BLOOM to bez wątpienia najbardziej godna uwagi próba obalenia wszystkich barier, jakie duże firmy technologiczne wprowadziły – chcąc lub nie chcąc – w ciągu ostatniej dekady w dziedzinie AI. I najbardziej szczere i uczciwe podjęcie próby budowy AI (LLM w szczególności), które przynosi korzyści wszystkim.
Dostęp do BLOOM będzie możliwy poprzez Hugging Face.
Co wyróżnia BLOOM
Jak zaznaczyłem na samym początku, BLOOM nie jest pierwszym open-source’owym modelem językowym o takich rozmiarach. Meta, Google i inni mają już open-source kilku modeli. Ale, jak można się spodziewać, nie jest to najlepsze, co te firmy mogą zaoferować.
Zarabianie pieniędzy jest ich głównym celem, więc dzielenie się swoimi najnowszymi badaniami nie wchodzi w grę. Właśnie dlatego sygnalizowanie zamiaru uczestnictwa w otwartej nauce za pomocą tych strategicznych posunięć PR nie wystarczy.
BigScience i BLOOM są ucieleśnieniem zestawu wartości etycznych, których firmy z definicji nie mogą reprezentować. Widocznym rezultatem jest, w obu przypadkach, open-source LLM.
Jednak ukryte – i niezwykle potrzebne – fundamenty BigScience, podkreślają niemożliwe do pogodzenia różnice między tymi zbiorowymi inicjatywami a dużymi firmami technologicznymi.
Niechętne przyjęcie praktyk open-source, wymuszone przez okoliczności, to nie to samo co robienie tego, ponieważ mocno wierzysz, że jest to właściwe podejście.
Przekonanie członków BigScience, że powinniśmy zdemokratyzować AI i dążyć do tego, by skorzystała na tym jak największa liczba osób – poprzez otwarcie dostępu i wyników lub poprzez zajęcie się kwestiami etycznymi – jest tym, co czyni BLOOM wyjątkowym. I to też sprawia, że jest to – przyznaję – najważniejszy model AI tej dekady.
BLOOM jest liderem dziedziny, która stoi u progu radykalnej zmiany na lepsze. To flaga ruchu, który wykracza poza aktualne trendy badawcze. To początek nowej ery dla AI, która nie tylko przyspieszy rozwój tej dziedziny, ale zmusi tych, którzy woleliby postępować inaczej, do przyjęcia nowych zasad rządzących tą dziedziną.
To nie pierwszy raz, kiedy open-source wygrywa z prywatnością i kontrolą. Mamy przykłady w komputerach, systemach operacyjnych, przeglądarkach i wyszukiwarkach.
Najnowsza historia jest pełna starć między tymi, którzy chcieli zachować korzyści dla siebie, a tymi, którzy walczyli w imieniu wszystkich innych – i wygrali. Open source i open science to ostateczne etapy rozwoju technologii a w tym momencie wchodzimy w nową erę AI.
Oryginał tekstu w języku angielskim przeczytasz tutaj.