25.01.20233 min
Maciej Olanicki

Maciej OlanickiRedakcja Bulldogjob

Szef AI Facebooka krytycznie o „innowacjach” w ChatGPT

Jeden z pionierów prac na sieciami konwolucyjnymi nie podziela zachwytów nad ChatGPT. Dlaczego?

Szef AI Facebooka krytycznie o „innowacjach” w ChatGPT

Świat zadziwił się możliwościami ChatGPT, a to wzbudziło żywą reakcję w Dolinie Krzemowej. Microsoft zdecydował się zainwestować kolejne miliardy dolarów w OpenAI, dołączyć już zresztą GPT-3,5 i inne silniki do swojej oferty chmurowej Azure. Z kolei w Google miał zapanować popłoch – pojawiły się obawy, że silniki pokroju ChatGPT mogą zastąpić tradycyjne wyszukiwarki internetowe – oraz intensyfikacja prac nad odpowiednikiem bazującym na DeepMind. Natomiast aż do teraz niewielkie zainteresowanie ChatGPT wykazywali publicznie przedstawiciele Facebooka.


Yann LeCun o ChatGPT

Efekty działania prac ChatGPT w wielu przypadków dalekie są od ideału, niemniej i tak udało się nimi zachwycić miliony internautów. W niektórych przypadkach, przy odpowiednim nakierowaniu konwersacji na konkretne rezultaty, wyniki mogą być olśniewające, niemniej wciąż ChatGPT myli się często i znacznie. Trzeba jednak pamiętać, że jest to model zubożony w stosunku do samego GPT-3,5, na którym bazuje, a ponadto pozostaje w fazie eksperymentalnej. Można liczyć na to, że z czasem silniki NLP opracowywane przez OpenAI będą wyłącznie coraz doskonalsze. 

Jest jednak ktoś, na kim ChatGPT nie robi większego wrażenia. Tą osobą jest Yann André LeCun, o którym bez przesady można powiedzieć, że jest pionierem konwolucyjnych sieci neuronowych, przede wszystkim w obszarze przede wszystkim maszynowego rozpoznawania obrazu, także znaków, choć nie tylko. Lecun miał także ogromny wkład w pracach nad pierwszymi modelami głębokiego uczenia, za co zresztą został uhonorowany Nagrodą Turinga. Dziś Francuz piastuje stanowisko szefa działu zajmującego się pracami nad SI w Meta. I co tu dużo mówić, możliwości ChatGPT nie zrobiły na nim większego wrażenia.


Szef AI Facebooka sceptyczny wobec OpenAI

W niewielkim spotkaniu przeprowadzonym za pośrednictwem Zooma, w którym udział wzięło wąskie grono dziennikarzy i pracownicy Meta, LeCun stwierdził, że tylko częściowo podziela entuzjazm, jakim ChatGPT został obdarzony przez użytkowników i media. Według niego, wykorzystywane przez silnik mechanizmy nie są niczym innowacyjnym. Przyznaje jednak, że pozytywne wrażenie zrobiło na nim, jak dopracowany jest ChatGPT. Choć poszczególne komponenty, wykorzystywane pod maską silnika technologie, nie są niczym nowym, tak sposób ich połączenia ma być przejawem wysokiej klasy inżynierii.

Naukowiec stwierdza nawet, że ChatGPT jest nie tylko mało innowacyjny w porównaniu z tym, czym już od jakiegoś czasu dysponują inne laboratoria, np. te należące do Google czy Facebooka. Pokusił się nawet o to, by zauważyć, że silnikami o podobnym stopniu zaawansowania technicznego do ChatGPT dysponuje już dziś przynajmniej kilka startupów. Trzeba przyznać, że nikt w OpenAI jak dotąd nie twierdził, że jest inaczej i nie nazywał na wyrost ChatGPT rewolucją, zaś sukces silnika zaskoczył samych twórców, o czym świadczą problemy z jego dostępnością. LeCun musi być więc w podobnym stopniu zaskoczony.


Skąd sukces ChatGPT?

Podczas spotkania poruszono także interesującą kwestię architektury GPT-3 – jest to architektura bazująca na tzw. Transformerach które bez nadzoru naukowców data science mogą się samodoskonalić (self-supervised-learning) – LeCun deklaruje nie tylko, że od lat jest promotorem takiego podejścia do trenowania sztucznej inteligencji, ale także zauważa, że nie jest to w żadnym wypadku dzieło OpenAI. Jak na ironię, architektura bazująca na Transformerach została zaprojektowana nie przez badaczy z OpenAI, lecz… Google. Tego samego Google, w którym teraz, po sukcesie ChatGPT, ma panować reżym „code red”.

Skoro więc zarówno Facebook dysponuje swoim silnikiem OPT, który także wykorzystuje architekturę Transformer (OPT to skrót Open Pre-trained Transformer Language Model), zaś Google analogicznym LaMDA, to dlaczego to właśnie ChatGPT święci triumfy i może liczyć na gigantyczne inwestycje choćby Microsoftu? W tej kwestii także LeCun podzielił się swoją opinią. Według niego za sukcesem OpenAI stoi większy niż w innych silnikach udział procesu uczenia przez wzmacnianie (reinforcment learning), gdzie zamiast zestawu danych przygotowuje się środowisko, a większy udział w procesie uczenia ma ocena danych wyjściowych przez ludzi.

Przy okazji spotkania szef działu SI Meta zapowiedział, że możemy się spodziewać, ze Facebook opublikuje analogiczny do ChatGPT silnik, zapewne bazujący na wspomnianym już OPT. Warto dodać, że w zeszłym tygodniu podobne kroki zapowiedziało Google, które zaangażowało zespół DeepMind do intensywniejszych prac nad silnikiem Sparrow. 

<p>Loading...</p>