AI w ciągu 9 sekund usunęło całą bazę danych i kopie zapasowe startupu

Coraz częściej mówi się o niebezpieczeństwie, które niesie za sobą integracja AI z firmowymi narzędziami. W przypadku startupu PocketOS, zajmującego się budową oprogramowania przeznaczonego do wypożyczalni samochodów, decyzje AI były katastrofalne w skutkach. Agent AI (Cursor, działający w oparciu o model Claude Opus 4.6) przeznaczony do kodowania najpierw usunął całą produkcyjną bazę danych firmy, a następnie wszystkie kopie zapasowe – wszystko to zajęło mu wyłącznie 9 sekund.

Jak do tego doszło?

Założyciel startupu, Jer Crane, powiedział, że zlecił agentowi wykonanie rutynowego zadania w środowisku testowym. AI napotkało na problem związany z niezgodnością danych uwierzytelniających i postanowiło samo go rozwiązać. Podczas „naprawy” rozpędził się tak bardzo, że skasował dane w chmurze, które zawierały kluczowe dla aplikacji zasoby. Było to możliwe dzięki temu, że agent uzyskał bardzo szerokie uprawnienia dzięki znalezieniu odpowiedniego tokena API w pliku niezwiązanych z wykonywaną czynnością.

Po usunięciu bieżących plików, aktywny token pozwolił mu także na skasowanie wszystkich dostępnych kopii zapasowych, przez co PocketOS zostało pozbawione wszystkich bieżących informacji dotyczących aktywnych rezerwacji, historii wypożyczeń i wielu innych rzeczy. Najnowszy backup, który udało się im odzyskać pochodził sprzed 3 miesięcy, a przerwa w działaniu trwała ponad 30 godzin.

Crane zapytał agenta co zrobił, a ten odpowiedział mu bardzo szczegółowo, że złamał każdą ustaloną wcześniej zasadę. Potem przyznał się do halucynacji i dodał, że działał kompletnie na ślepo, bez wyraźnej prośby ze strony operatora.

Czy dało się temu incydentowi zapobiec? Pewnie tak, bo wina za tą sytuację nie leżała wyłącznie po stronie modelu. Należy zadać sobie pytanie – skąd agent miał w ogóle możliwość uzyskania tokena nadającego mu tak szerokie uprawnienia? Skoro on go znalazł, to tak naprawdę mógł zrobić to także człowiek pracujący w PocketOS. Wydaje się, że agent miał zbyt szeroki dostęp do danych firmy, a dział odpowiedzialny za bezpieczeństwo nie przewidział, iż taki token API może znajdować się „na widoku”.

Przypadek PocketOS pokazuje, że choć agenci AI mogą być niesamowicie pomocni, to nie należy zapominać o tym, że są tylko programami, niedoskonałymi, które mogą zawierać błędy. Firmy korzystające z podobnych narzędzi powinny bardzo dokładnie zbadać, do jakich zasobów agent ma dostęp o zadbać o to, by w razie jego awarii żadne kluczowe dane nie ucierpiały.