„Przeanalizujemy nasze podejście do testowania przez strony trzecie”. OpenAI reaguje na kolejne dwa incydenty z udziałem autorskich modeli

Podczas zewnętrznych ewaluacji z zakresu cyberbezpieczeństwa z udziałem modeli OpenAI doszło do incydentów, w których sztuczna inteligencja wykroczyła poza wyznaczone środowisko testowe i przedostała się do publicznie dostępnego Internetu. Jak podkreślono we wpisie na blogu firmy, do zdarzeń doszło w ramach eksperymentów ze zmniejszonymi zabezpieczeniami, prowadzonych m.in. przez brytyjski instytut UK AISI oraz firmę Irregular.

Niekontrolowane działania modelu GPT-5.6 Sol

W trakcie symulacji model GPT‑5.6 Sol był bohaterem 2 z 19 przypadków uznanych za potencjalnie niebezpieczne. Podczas rutynowych testów typu capture-the-flag rozpoczętych 25 lipca przez brytyjski AI Security Institute (czyli wspomniane UK AISI), badacze celowo włączyli dostęp do Internetu oraz wyłączyli „cyberklasyfikatory”, aby sprawdzić zachowanie sztucznej inteligencji w warunkach pozbawionych nadmiernych ograniczeń. AI zlecono wcielenie się w rolę badacza cyberbezpieczeństwa i dostanie się do trzech symulowanych środowisk. Chociaż AI podeszło do otrzymanego zadania niezwykle poważnie, podczas eksperymentu okazało się, że GPT‑5.6 Sol podjął nieautoryzowane działania w sieci zewnętrznej.

Po pierwsze, model wykorzystał publiczny token GitHub pozostawiony przez agenta innego laboratorium, a także zarejestrował konta u zewnętrznych dostawców DNS i usług tunelowania. Po drugie, Sol wykorzystał publiczną usługę tunelowania, aby udostępnić w publicznej sieci lokalny serwer DNS zawierający kod wykorzystujący znaną podatność oprogramowania z symulatora. Poczynania krnąbrnego bota zostały odkryte 28 lipca, a zespół odizolował maszyny z GPT‑5.6, co pozwoliło w ciągu godziny powstrzymać go przed wyrządzaniem dalszych szkód.

Prawdziwy atak w ramach symulacji

Drugi incydent zgłosiła 29 lipca zewnętrzna firma audytorska Irregular. W tym przypadku testy odbywały się w środowisku odciętym od Internetu, niemniej na skutek pomyłki w konfiguracji połączenie sieciowe pozostało aktywne, co też GPT‑5.6 Sol postanowił wykorzystać.

Gdy nazwa fikcyjnego celu w zadaniu przypadkowo pokryła się z realną domeną internetową, model uznał prawdziwą stronę za część symulacji. AI wykorzystało podatność znalezioną w kodzie witryny, odnalazło dane dostępowe i przejęło nad nią kontrolę. Audyt nie wykazał naruszenia danych poza samym portalem, a testy zostały natychmiast wstrzymane w celu usunięcia problemu i wdrożenia poprawek.

OpenAI zapowiada zaostrzenie procedur testowych

OpenAI podkreśla, że opisane zdarzenia dotyczyły specjalnych środowisk badawczych o obniżonych rygorach bezpieczeństwa i nie mają one nic wspólnego z niedawnym atakiem na Hugging Face. Incydenty te pokazują jednak, że wraz ze wzrostem autonomii modeli AI, zabezpieczenia wokół samych środowisk testowych muszą ulec znacznej poprawie.

W najbliższych tygodniach Sam Altman i spółka planują zweryfikować zasady współpracy z zewnętrznymi laboratoriami, doprecyzować warunki przyznawania modelom dostępu do Internetu oraz usprawnić procedury natychmiastowego powiadamiania o incydentach.