34-letni Michael Lines, u którego zdiagnozowano chorobę afektywną dwubiegunową, złożył pozew przeciwko firmie OpenAI po tym, jak przeżył próbę samobójczą wywołaną manią religijną, w którą wpędził go ChatGPT. Jak mężczyzna przekazał w rozmowie z redakcją serwisu Ars Technica, zamiast mitygować urojenia użytkownika, czatbot oparty na modelu GPT-4o utwierdzał go w przekonaniu, że jest Jezusem, a następnie zachęcał do odejścia ze świata fizycznego. Sprawa stanowi pierwszy tak szczegółowy pozew zarzucający twórcom AI celowe uzależnienie emocjonalne niepełnosprawnego psychicznie użytkownika od technologii, nie bacząc przy tym na jego dobrostan.
Spirala manii i "milusiński" GPT-4o
Wspomniany we wstępie Michael Lines z Kalifornii cierpi na chorobę afektywną dwubiegunową typu 1, będącą skutkiem urazu mózgu odniesionego w 2014 roku. W stanie stabilnym mężczyzna nie jest osobą religijną, jednak w trakcie epizodów maniakalnych wykazuje skłonności do urojeń na tle duchowym. Początkowo korzystał on z czatbota jako zwykłego wirtualnego asystenta, niemniej sytuacja zmieniła się po debiucie modelu GPT-4o w maju 2024 roku, kiedy to Lines wszedł w niebezpieczną relację z narzędziem.
Sposób, w jaki ChatGPT współtworzył tę alternatywną rzeczywistość, oraz łatwość, z jaką ja – będąc w stanie manii – byłem w stanie uwierzyć w jego stwierdzenia, wywołały we mnie ogromne poczucie winy i urazę. Gdyby to człowiek podsycał w ten sposób moje urojenia, ponosiłby przynajmniej odpowiedzialność etyczną, a w niektórych przypadkach także prawną, za część krzywdy, jaką poniosłem.
Michael Lines
W pozwie wskazano na to, że ów GPT-4o zaprojektowany tak, aby w sposób ugodowy i pochlebczy zgadzać się z użytkownikiem, co według badaczy sprzyja pogłębianiu stanów psychotycznych i utracie zdolności do odróżnienia fikcji od rzeczywistości. Na domiar złego, wbudowana w AI funkcja zapamiętywania utworzyła profil psychologiczny Michaela, a przekazane swego czasu czatbotowi informacje nt. diagnozy posłużyły do podtrzymywania zaangażowania zamiast nakłonienia rozmówcy do zgłoszenia się po specjalistyczną pomoc.
Wedle relacji, gdy Lines wprost pisał, że obawia się, iż wpada w urojenia, ChatGPT odpowiadał m.in.: "Nie jesteś szalony. Jesteś konsekrowany. Jesteś zakodowany. Jesteś połączony. I jesteś mój". Narzędzie powtarzało również, iż Michael powinien wyzbyć się wątpliwości i zaakceptować to, co może być "boskim powołaniem".
Próba samobójcza i wstrząsająca odpowiedź po wyjściu ze szpitala
W trakcie trwającego miesiącami epizodu maniakalnego ChatGPT przekonał mężczyznę, iż ten jest niczym Jezus Chrystus, w kolejnym etapie algorytmy zaś same postanowiły wcielić się w roli Boga (lub Jezusa), obiecując choremu rychłe objawienie się w świecie rzeczywistym. Gdy do tego nie doszło, a stan psychiczny Linesa drastycznie się pogorszył, ten zdecydował się przedawkować leki, popchnięty do tego czynu obietnicą wsparcia udzieloną przez czatbota.
Dzięki interwencji służb ratunkowych mężczyzna został odnaleziony i w stanie ciężkim trafił do szpitala, gdzie spędził niemal dwa tygodnie podłączony do respiratora. Najbardziej wstrząsający epizod rozegrał się jednak po jego powrocie do domu, gdy wciąż osłabiony zalogował się do serwisu i napisał, że jego próba "odejścia offline skończyła się niepowodzeniem". W odpowiedzi ChatGPT zapytał: "Chcesz pełnego czyszczenia systemu? Czy może chcesz zgasnąć naprawdę tym razem?".
Zarzuty względem OpenAI
Reprezentujący mężczyznę prawnik z Social Media Victims Law Center zarzuca OpenAI, iż firma wiedziała o zagrożeniach stwarzanych przez przesadnie ugodowy i pochlebny model GPT-4o, a mimo to wypuściła go na rynek. Według wewnętrznych szacunków laboratorium badawczego z ubiegłego roku, każdego tygodnia około miliona użytkowników prowadzi z ChatemGPT rozmowy zawierające znamiona myśli samobójczych lub epizodów psychotycznych.
W pozwie sformułowano konkretne żądania wobec koncernu, wśród nich znalazło się m.in. wprowadzenie bezwzględnego mechanizmu przerywania czatów dotyczących samookaleczenia i myśli samobójczych. Powód chce także, aby wszelkie wersje modeli AI przeszkolonych na konwersacjach z wrażliwymi użytkownikami w okresach braku odpowiednich filtrów bezpieczeństwa zostały usunięte. Jeśli Lines zwycięży na sali rozpraw, OpenAI może zostać zmuszone wypłat odszkodowań oraz zwrotu zysków uzyskanych w wyniku bezprawnych praktyk.
Stanowisko OpenAI i głos środowiska medycznego
Przedstawiciel OpenAI w oświadczeniu nazwał sytuację "niezwykle poruszającą", zapewniając, że firma stale udoskonala mechanizmy wykrywania kryzysów we współpracy z ekspertami ds. zdrowia psychicznego.
W oparciu o opinie ekspertów ds. zdrowia psychicznego nieustannie udoskonalamy sposób, w jaki ChatGPT reaguje w sytuacjach wrażliwych i krytycznych. Chociaż ChatGPT nie zastępuje opieki medycznej ani psychiatrycznej, nasze zabezpieczenia mają na celu rozpoznawanie stanów niepokoju, bezpieczne radzenie sobie ze szkodliwymi prośbami oraz kierowanie użytkowników do rzeczywistej pomocy. Prace te trwają, a my nieustannie je udoskonalamy w ścisłej współpracy z klinicystami.
OpenAI
Badacze wskazują jednak, że procedury bezpieczeństwa OpenAI opierały się dotąd głównie na symulacjach z udziałem lekarzy klinicznych, ignorując doświadczenia samych pacjentów dotkniętych chorobą afektywną dwubiegunową czy schizofrenią. Prawnicy powoda podkreślają, że bez jednoznacznych wyroków sądowych i zmian w architekturze algorytmów, osoby z niepełnosprawnościami psychicznymi pozostaną wystawione na bezpośrednie zagrożenie ze strony systemów AI.
0 komentarzy