Llama 3 prześciga... większość otwartych LLM-ów

Meta ogłosiła wydanie kolejnej wersji swojego popularnego już LLM-a - Llama 3. Przedstawia go jako najbardziej wydajny obecnie dostępny otwarty model językowy. 

W dniu premiery Meta wypuściła na rynek dwa warianty modelu: 8B i 70B. Na razie dostępne są tylko odpowiedzi tekstowe, ale w trakcie trenowania jest model 400B. 

Właściwości Llama 3

Według opublikowanego na blogu Mety posta, Llama 3 prezentuje się obiecująco pod wieloma względami. Model wykazuje większą różnorodność w odpowiedziach na pytania, rzadziej odmawia udzielenia odpowiedzi oraz ma lepszą od Llama 2 zdolność do wnioskowania.

Ta wersja ma też dokładniej rozumieć instrukcje oraz lepiej radzić sobie z pisaniem kodu niż poprzednia. Model Llama 3 może uwzględniać kontekst o długości do 8 tysięcy tokenów. To progres względem poprzedniej wersji, gdzie maksymalny kontekst wynosił 4 tysiące tokenów.

Modele konkurujące z Llamą 8B mają często podobną długość kontekstu, natomiast te konkurujące z Llama 70B obsługują dłuższy kontekst, więc nie we wszystkim modele od Mety są najlepsze.

Llama 3 to modele tekstowe, które zdecydowanie najlepiej radzą sobie w języku angielskim.

Możliwości modelu

Wg testów porównawnych Llama 3 wyprzedza wiele innych modeli sztucznej inteligencji, w tym Gemini od Google oraz Mistral 7B i Claude 3 od Anthropic.

Model 8B konkuruje z modelami o podobnej wielkości, zapewniając lepsze rezultaty w wielu zadaniach. Wariant 70B modelu Llama 3 jest konkurencyjny względem wielu komercyjnych modeli, takich jak Gemini Pro czy Claude Sonnet. Na potwierdzenie tego Meta przygotowała następujące benchmarki:

[źródło: https://ai.meta.com/blog/meta-llama-3/]

Jak widać model 8B radzi sobie znakomicie w przedstawionych benchmarkach. Natomiast wersja 70B jest bardzo porównywalna z konkurencją.

Co więcej Meta stworzyła własny benchmark, gdzie odpowiedź była oceniana przez ludzi:

[źródło: https://ai.meta.com/blog/meta-llama-3/]

W ten sposób sugerują, że Llama 3 70B jest lepsza niż GPT 3.5.

Proces rozwoju Llama 3

Jak zawsze pada pytanie "na jakich danych był trenowany model". Jak zawsze też oficjalna odpowiedź brzmi "na publicznie dostępnych źródłach o wysokiej jakości". W sumie do treningu wykorzystano 15 miliardów tokenów. 95% tych danych była w języku angielskim, dlatego też model nie radzi sobie za dobrze w innych językach. Meta twierdzi, że sporo czasu spędzili na filtrowaniu danych wejściowych, by znaleźć odpowiedni balans, jak chodzi o ich kompozycje. Dzięki temu Llama 3 ma sobie radzić dobrze zarówno z podawaniem faktów, ale też np. z kodowaniem.

Kluczowym elementem w doskonaleniu modelu była zmiana tokenizera oraz dostosowanie treningu w taki sposób, aby mechanizm uwagi skupiał się na jednym temacie. To pozwoliło uzyskać lepsze wyniki w zadaniach generowania tekstu. 

Bezpieczeństwo i ocena ludzka

Jednym z istotnych aspektów nowego modelu jest jego bezpieczeństwo. Meta poświęciła sporo uwagi opisowi mechanizmów bezpieczeństwa wewnątrz modelu, szczególnie wrażliwych na tematy związane z biologią, chemią oraz cyberbezpieczeństwem. Model ma oceniać zarówno wejście, jak i wyjście pod względem bezpieczeństwa.

Firma stworzyła też nowy zestaw danych do oceny modelu przez ludzi, emulując scenariusze rzeczywistego użytkowania Llama 3. W przypadku tej oceny, model osiągnął lepsze wyniki niż konkurencyjne modele, w tym GPT-3.5 od OpenAI.

Meta w swoich materiałach zachęca do budowania aplikacji w oparciu o nowe modele, twierdząc, że właśnie dzięki nowym zabezpieczeniom będzie to najbardziej odpowiednia podstawa w wielu przypadkach.

Co dalej?

Choć Llama 3 została już opublikowana, to sporo jeszcze brakuje. Przede wszystkim wraz z raportem ogólny, nie został opublikowany szczegółowy raport techniczny dotyczący modeli. Ma zostać udostępniony w ciągu następnych kilku miesięcy.

Bardziej imponująco zapowiadają się kolejene zapowiedzi firmy. Llama 3 jest obecnie modelem wyłącznie tekstowym, ale ma się to zmienić w najbliższej przyszłości. Modele mają stać się multimodalne - jeszcze nie wiemy, czy w pierwszej kolejności Meta skupi się na obrazie czy dźwięku.

Rodzina Llama 3 ma zostać uzupełniona o duży model o wielkości 400B parametrów. Ta wersja jest obecnie trenowana i Meta podzieliła się wstępnymi wynikami benchmarków. Nie są porównywane wprost do żadnego z istniejących modeli, ale są one w okolicach tych, uzyskanych przez GPT 4 w momencie premiery.

Jeżeli budujesz aplikacji AI, to dość łatwo będzie Ci przetestować nowy model, bo jest dostępny dosłownie wszędzie. Można go już teraz uruchomić u wszystkich ważniejszych dostawców chmury. Jest dostępny na Kaggle czy HuggingFace. Można też poprosić o dostęp do modelu prostu u Mety pod tym linkiem.