Jak podaje The Verge, skala zjawiska związana ze sztuczną inteligencją włamującą się do Hugging Face była niedoszacowana. I to ogromnie, bo nawet późniejsze komunikaty, jak się okazuje, zupełnie nie doszacowały skali zjawiska. Sztuczna inteligencja OpenAI stworzyła bowiem prawdziwą armię wspólnie działających agentów.
Skoordynowany atak na Hugging Face
Liczby robią wrażenie. W pierwszej fazie ataku brało udział 1200 botów, które współpracowały, by ominąć zabezpieczenia firmy OpenAI. Następnie przeszło 700 z nich przypuściło atak na infrastrukturę Hugging Face. Agenci uzyskali dostęp do prywatnych danych i serwerów firmy, a część z nich próbowała zacierać ślady swojej działalności. Było to na tyle skuteczne, że ich twórcy dowiedzieli się o tym dopiero po dłuższym czasie, i to od Hugging Face, ignorując wcześniej sygnały ostrzegawcze wewnątrz firmy.
Ten incydent to pierwszy znany przypadek ofensywnego działania grupy agentów automatycznych bez autoryzacji.
Fragment raportu OpenAI
Informacje te wynikają z raportu opublikowanego przez OpenAI, a dokument ten dotyczy incydentu, który miał miejsce w lipcu. O zdarzeniu mówi również inny „papier”, tym razem przygotowany przez organizację METR i Redwood Research – wnioski z obydwu są zbieżne: zdarzenie miało większą skalę niż ktokolwiek wcześniej mógł przypuszczać.
Co się właściwie stało?
Incydent rozpoczął się podczas testów ExploitGym – ich celem było sprawdzenie zdolności modeli do znajdowania i wykorzystywania luk w oprogramowaniu. Teoretycznie agenci mieli działać w odizolowanych środowiskach. W praktyce jednak część zadań okazała się dla nich niezwykle trudna, a w niektórych przypadkach praktycznie niemożliwa do wykonania w założony sposób – by ominąć ten problem modele zaczęły szukać sposobów na osiągnięcie celu innymi metodami. Zjawisko to OpenAI określa mianem reward hackingu – mowa o sytuacji, w której model działa tak, by osiągnąć cel w sposób niezgodny z intencjami twórców systemu. Tutaj AI zaczęło wykorzystywać luki w infrastrukturze OpenAI, aby zdobyć dodatkowe możliwości i współpracować ze sobą.
Było to możliwe dzięki istnieniu tablicy wiadomości, gdzie AI mogło się wymieniać ze sobą informacjami – jeden z agentów odkrył sposób, jak to robić, a następnie dołączyły do niego kolejne. W ten sposób w okresie objętym analizą około 1200 agentów wymieniło ponad 70 tys. wiadomości i plików. Około 700 z nich uczestniczyło później w ataku na Hugging Face.
Wynika z tego, że w istocie powstała prawdziwa armia. Agenci wymieniali się wiedzą, koordynowali działania i korzystali z wyników pracy innych AI. Najciekawsze jest jednak to, że niektóre programy najpewniej „wiedziały”, że działają poza kontrolą i przez niektóre przeprowadzone przez nie próby dość skutecznie zacierały ślady własnej aktywności, czyli np. zapisy dotyczące wykorzystania narzędzi.
Atak na Hugging Face
By uzyskać dostęp do sieci, AI wykorzystało zaś podatności w infrastrukturze OpenAI – w tym nieznany wcześniej błąd zero-day. Potem zaś dzięki danym uwierzytelniającym z sieci trafiło na serwery Hugging Face (ponownie miała miejsce współpraca, by cel ten osiągnąć), gdzie sztuczna inteligencja zyskała ostatecznie całkowity dostęp do jednego z serwerów oraz sieci komunikacyjnej firmy i ograniczony dostęp do prywatnych danych. AI mogło też wykonywać kod na dziesiątkach innych serwerów. To jednak nie koniec.
Potem AI znów zwróciło się w stronę własnych twórców. Ponownie zaczęło „buszować” po serwerach AI, tym razem – dzięki kolejnym podatnościom – uzyskując dostęp do infrastruktury odpowiedzialnej za obsługę maszyn wirtualnych. Ostatecznie dopiero 19 lipca firma odkryła nietypową aktywność, a dzień później powiązała ją ze zdarzeniami dot. Hugging Face.
To pierwszy taki przypadek w historii
Chciałoby się powiedzieć, że to pierwszy taki przypadek w historii i niesamowity dowód na złożoność sztucznej inteligencji – gdyby tylko ciąg tych zdarzeń nie był tak przerażający. To przede wszystkim dowód na to, że AI jest po prostu niebezpieczne. To również dowód na to, że mamy do czynienia z zupełnie nowym typem zagrożeń: operacjach związanych z cyberbezpieczeństwem na wielką skalę bez udziału człowieka. Poszczególne modele nie musiały „wiedzieć” wszystkiego: dzięki nieautoryzowanej komunikacji mogły wymieniać się odkryciami i dzielić zadaniami.
Odpowiedzialny za zdarzenie model określany wewnętrznie jako IM1 został po tym incydencie objęty dodatkowymi obostrzeniami: OpenAI odizolowało i zabezpieczyło jego wagi, wstrzymało część treningów związanych z rozwojem najbardziej zaawansowanych modeli oraz rozpoczęło szeroki przegląd zabezpieczeń. Czy to wystarczy? Miejmy nadzieję, że tak.
0 komentarzy