Zamień publiczne AI na prywatne

Zapewne wypróbowałeś już niektóre usługi LLM, takie jak ChatGPT, Bard, Mistral lub inne wariacje wokół AI, aby odpowiadały na Twoje pytania i robiły jakieś nudne lub powtarzalne zadania.

To całe AI jest trochę mylące. Bo jeśli ChatGPT zużywa 17000 razy więcej energii niż gospodarstwo domowe, a Ty potrzebujesz jakiejś specjalistycznej karty graficznej, to AI doprowadzi monopole do nowego poziomu dominacji ekonomicznej.

Dlatego zaciekawił mnie projekt LM Studio:

Do pobrania na desktop dostępne są wersje na Maca, Windowsa i Linuxa. Witryna obiecuje, że będziesz mógł uruchamiać LLM lokalnie. To naprawdę jest aż tak proste? Możemy uruchomić sztuczną inteligencję na swoim urządzeniu?

Mam zwykłego laptopa, bez żadnych "sterydów". Sprawdźmy więc, bo jeśli u mnie zadziała, to u Ciebie też.

Proces instalacji przebiegł gładko. Powitało mnie okno LM Studio:

Jest pierwsza przeszkoda. Na liście widnieje mnóstwo modeli i nie mam pojęcia, który wybrać. Dwa pierwsze to Lama i Mistral. Podjąłem ekstrawagancką decyzję o wyborze drugiej pozycji.

Nie zadziałało i musiałem wpisać Mistral w polu wyszukiwania. Wyskoczyła mi taka lista:

Istnieje lista modeli AI „TheBloke”. Kierując się ilością serduszek i pobrań, wybieram opcję pierwszą.

Po prawej stronie pojawiła się lista plików. Mam pobrać wszystkie czy jeden? Co to jest „Q2”, „Q3”, „K_S”, „K_M”?

Nie wiem. Wybrałem pierwszą pozycję, ponieważ założyłem, że jest ona posortowana według zgodności. Model ma 3 GB.

Aby z nim porozmawiać, musisz przejść do zakładki czatu:

U góry musisz wybrać pobrany model, aby go załadować. Aby go zamknąć, naciśnij przycisk „Eject model”.

Teraz możecie porozmawiać. Jedną z kłopotliwych rzeczy, która od razu rzuca się w oczy, jest brak pola do wysyłania wiadomości na czacie. Może to tylko moje wrażenie, ale faktycznie potrzebowałem trochę czasu, aby się zorientować, że było ukryte pod panelem „Model Downloads”. Aby zobaczyć cały czat, musisz schować ten panel:

Aby zobaczyć właściwe pole czatu:

A oto pierwsza wymiana:

Otrzymanie pierwszego tokena zajęło 4 sekundy, a cała odpowiedź została wygenerowana w 5 sekund! Na moim normickim laptopie. I faktycznie to działa, lokalnie. Nie łączy się z żadnymi serwerami stron trzecich, bez ryzyka wycieku jakichkolwiek informacji. Pięknie.

Aby używać go w VSCode, musisz zainstalować rozszerzenie Continue:

Przejdź do panelu:

Kliknij ikonę narzędzi w prawym dolnym rogu:

Usuń tryb trial i dodaj swój model. Oto moja konfiguracja pod kątem Mistrala:

Następnie w LM Studio uruchamiasz serwer w zakładce Server:

Czasami trzeba ponownie uruchomić VSCode, aby zobaczyć nową konfigurację.

Teraz możesz porozmawiać z chatbotem w VSCode:

No no! Teraz AI może pomóc Ci w zdobyciu informacji bez konieczności ich wyszukiwania, modyfikowania i tworzenia nowego kodu. Np.:

Teraz chcę zmienić wszystkie „złe” wystąpienia na „dobre” (bez korzystania z funkcji zamiany). Wciskam więc CTRL I i piszę:

Wynik:

Mam możliwość porównania pierwotnej oraz zmienionej wersji. Mogę także modyfikować nową wersję zaproponowaną przez AI. Zepsuły się tabulatory, ale Prettier obsłuży to automatycznie po zapisaniu ze względu na moją konfigurację env.

Podsumowanie

Jak widać, możesz uruchomić sztuczną inteligencję na swoim laptopie, bez polegania na SaaS. Jest wiele modeli do przetestowania. To całkiem wciągające. Na pewno wygodnie jest szukać informacji bez wychodzenia z VSCode, robienia refaktorów itd.

Najlepsze jest to, że możesz mieć własną sztuczną inteligencję, nie martwiąc się, że Twoje dane wyciekną gdziekolwiek.