Devin - AI, które ma zastąpić programistów

Musimy porozmawiać o Devinie, bo zrobiło się z nim bardzo duże zamieszanie.

Devin to system AI stworzony przez Cognition, którego sprzedają jako AI-owego Inżyniera Oprogramowania. Devin ma więc zastąpić prawdziwego programistę. To bardzo gruba i naładowana sporymi emocjami obietnica. Zbierzmy więc dostępne dane na temat projektu i spróbujmy odpowiedzieć na pytanie czy Devin zastąpi programistów.

Co potrafi Devin?

Na wstępie trzeba powiedzieć, że nie wiemy zbyt dużo o tym, jak działa Devin w rękach osób spoza Cognition. W mediach społecznościowych pojawiają się wpisy o testach Devina, ale są na tyle mało konkretne, że ciężko wyciągnąć z nich coś wartościowego w tym momencie. Ten wątek rozwiniemy potem, a teraz skupimy się tu na deklaracjach twórców.

Devin ma mieć zdolność rozwiązywania skomplikowanych zadań inżynierskich, poprzez ich zaplanowanie oraz wykonanie, z pomocą wielu narzędzi. Potrafi przywoływać informacje z szerokiego kontekstu, uczyć się w czasie i naprawiać swoje błędy. Ma to być możliwe przez wypracowane przez Cognition postępy w rozumowaniu i długoterminowym planowaniu przez AI.

Devin ma do dyspozycji narzędzia takie jak pełne środowisko deweloperskiej, edytor czy powłokę, wszystko po to, żeby mógł efektywnie sprawdzać czy plan, który wyznaczył jest poprawny. Użytkownicy mają możliwość dawania mu feedbacku na żywo.

Umie uczyć się nieznanych mu technologii, budować i deployować aplikacje, naprawiać błędy czy trenować samego siebie, by być lepszym w rozwiązywaniu problemów. Cognition deklaruje, że jest na tyle dobry, że jego PR-y mogą trafić do dojrzałych projektów open source, czy nawet może zarabiać kasę jako freelancer.

Brzmi pięknie (lub przerażająco, lub zupełnie nieprawodopobnie, w zależności od punktu widzenia), prawda?

Na potwierdzenie historii twórcy Devina przygotowali sporo imponujących demo oraz zmierzyli, że Devin uzyskuje ponad 13% w benchmarku SWE-bench, który ocenia zdolność systemów AI do rozwiązywania prawdziwych wyzwań w dojrzałych projektach open source. Oznacza to, że udało mu się rozwiązać niemal 14% zadanych problemów, bez ingerencji człowieka. To znacznie więcej niż inne systemy:

Jak to osiąga?

Żeby obraz był taki, jak przedstawia go Cognition, to faktycznie musieliby poczynić znaczne postępy we wspieraniu rozumowania, użycia pamięci i długoterminowego planowania.

To rodzi kolejne pytania, bo twórcy Devina niewiele mówią o technologii, o którą się opiera. Nie jest nawet potwierdzone, którego modelu używa Devin. Są głosy, że to wrapper na GPT-4, co byłoby logiczne, biorąc pod uwagę jak krótko firma istnieje.

Zasada działania Devina polega na iteracyjnej analizie problemu, z czego powstaje plan wykonania. Devin ma do dyspozycji agentów, którzy potrafią nie tylko kodować, ale też wykonywać czynności związane z kodowaniem, takie jak testowanie, kompilacja, uruchamianie projektu czy deployment. Cały proces tworzenia rozwiązania też wydaje się być iteracyjny, z możliwością na korekcję wykonanych już kroków.

Jest to inne podejście, niż np. AlphaCode 2, który generował równolegle wiele próbek kodu, by potem ocenić je pod kątem jakości i wybrać tą najlepszą. Bardziej przypomina natomiast podejście używane przez Crew.ai czy AutoGen.

Sam Devin jako projekt bardzo przypomina zapowiedziany przez w zeszłym roku GitHub Workspace. Przypominamy, że miał w zasadzie działać tak samo jak Devin. Zapowiadane było, że potrafi przetłumaczyć ticket w języku naturalnym na plan działania, kod, testy i potencjalnie deployment. Różnica jest taka, że GitHub mówił o swoim przyszłym produkcie jako rozszerzeniu asystentów kodowania, a Cognition mówi o Devinie jako programiście AI. Subtelna różnica, która mocno zmienia odbiór.

Skąd wziął się Cognition?

Mimo, że teoretycznie Devin jest w fazie beta, to ciężko zweryfikować jak faktycznie działa, jak chcesz możesz dołączyć do waitlisty tu: preview.devin.ai, natomiast strona ta nie wygląda na gotową w jakimkolwiek stopniu do wykorzystania przez użytkownika końcowego. Dlatego ciężko uzasadnić, że Devin istnieje w innej formie, niż materiałów zaprezentowanych w demo.

Oczywiście nie jesteśmy w środku i nie znamy stopnia zaawansowania prac. Patrząc na to, co jest dostępne, wydaje się, że przed Devinem jeszcze wiele miesięcy czy nawet lat rozwoju.

Dlatego przyjrzymy się jeszcze kolejnej, potencjalnie ciekawej rzeczy - czyli firmie Cognition.

Większość informacji o tej firmie ma początek dokładnie w momencie wypuszczenia Devina, kiedy to ogłosili też, że zebrali 21 mln dolarów od inwestorów.

Za firmą ma stać Scott Wu, 3 krotny złoty medalista Międzynarodowej Olimpiady Informatycznej, który już od najmłodszych lat przejawiał spore zdolności w matematyce:

W sumie wśród pracowników ma być aż 10 medalistów tego konkursu informatycznego. Podobno, kiedy wydali demo, jeden z nich nadal nie powiedział swoim rodzicom, że rzucił studia na Harvardzie, żeby dołączyć do startupu. Dlatego wolał na początku anonimowy.

To doświadczenie w sprytnym rozwiązywaniu niestandardowych problemów zostało tu znakomicie spożytkowane, bo wygląda na to, że demo Devina zostało stworzone w 2 miesiące. Ich konta społecznościowe i domena, na której znajduje się strona, zostały zarezerwowane w okolicach 11 stycznia, a 12 marca pojawiło się demo Devina.

Niezależnie od tego czy Devin zabierze prace programistom, czy jest skleconym na kolanie prototypem, który ledwo działa, to 2 miesiące pracy, które przełożyły się na tak wielki szum w internecie i nieprzespane noce przez programistów obawiających się o swoją przyszłość, to bardzo duże osiągnięcie.