15 000 razy pobrano fałszywy pakiet Pythona

Pusty pakiet został pobrany 15 000 razy, bo AI zmyśliło taką nazwę i uporczywie podpowiadało ją programistom. Wydaje się, że profesjonaliści powinni sprawdzić, czy pakiet, który importują do projektu, to ten właściwy. Nic bardziej mylnego, bo oprócz pobrań pakietu, rekomendacja do jego instalacji znalazła się w dokumentacji projektu firmy Alibaba.

Całą sprawę wykrył Bar Lanyado, security researcher, pokazując, że to może być nowy wektor ataku. Jego badania ujawniły, że kilka znanych firm, w tym wspomniany sklep internetowy Alibaba, zintegrowało felerny pakiet do swojego kodu źródłowego.

Eksperyment uczciwego hakera

Alibaba włączyła fałszywy pakiet Pythona o nazwie huggingface-cli do instrukcji instalacji GraphTranslator. Pomimo istnienia oficjalnego huggingface-cli, wersja wykorzystana przez firmę została sfabrykowana. Po co i na co? Stworzył ją właśnie Lanyado, zamieniając następnie w prawdziwy pakiet w ramach eksperymentu.

Początek tego problemu leży w zachowaniu modeli generatywnych AI, które wymyślają nazwy pakietów podczas rozwoju projektu. Te wyimaginowane nazwy utrzymują się przez pewien czas i mogą być polecane przez systemy AI programistom szukającym rozwiązań dla ich projektów. Wykorzystując to, cyberprzestępcy mogą przesyłać pakiety o takich samych nazwach jak te wygenerowane przez AI, potencjalnie rozprowadzając malware wśród nieświadomych użytkowników, którzy postępują zgodnie z sugestiami AI. 

Problem wielu produktów

Badania Bara pokazują, że znaczna część tych wygenerowanych przez AI nazw pakietów utrzymuje się na różnych modelach, dostarczając wygodnej drogi do złośliwego wykorzystania. Jego testy wykazały, że GPT-4, GPT-3.5, Gemini Pro i Cohere często produkowały halucynowane nazwy pakietów, z których to niektóre były nawet powtarzalne.

Aby podkreślić powagę problemu, Lanyado przeprowadził wspomniany już eksperyment proof-of-concept, w którym przesłał złośliwe oprogramowanie, które w rzeczywistości jednak nie wyrządzało szkód, aby naśladować i prześledzić zachowanie pakietów wygenerowanych przez AI. Eksperyment, skoncentrowany wokół sfabrykowanego pakietu o nazwie huggingface-cli, zdobył ponad 15 000 autentycznych pobrań od nieświadomych programistów. 

Pomimo braku dowodów na faktyczne ataki wykorzystujące tę technikę, może być ona potencjalnie naprawdę zagrażająca bezpieczeństwu w sieci. Złożoność identyfikacji takich ataków zwiększa zagrożenie, ponieważ pozostawiają one minimalne ślady.

Czas się skupić

To po raz kolejny, od czasu wzmożenia działań w obszarze rozwoju AI, obrazuje potrzebę zwiększonej czujności wśród programistów oraz wdrożenia solidnych środków bezpieczeństwa w celu ograniczenia zagrożeń wynikających z podobnych scenariuszy.

Równolegle do integracji AI w codziennej pracy specjalistów IT, konieczne jest, aby branża jako taka reagowała na pojawiające się wyzwania związane z bezpieczeństwem i szukała skutecznych rozwiązań. Zwiększanie świadomości, czujności, jak i rygorystyczne procesy weryfikacyjne, są kluczowe w zapobieganiu rozprzestrzenianiu się kolejnych kwiatków generowanych przez AI i ograniczeniu ich potencjalnego wpływu na bezpieczeństwo, nie tylko w cyberprzestrzeni.