Przejawia się to m.in. tym, że ich analizy będą mogły zostać opublikowane bez zgody koncernu – choć tutaj firma może żądać usunięcia informacji z kilku ściśle określonych kategorii.
Kontrolerzy niemal jak pracownicy
W ramach wspomnianej inicjatywy Anthropic przyjął sześciu pracowników METR, udostępniając im sprzęt służbowy, przestrzeń biurową oraz wewnętrzne narzędzia i systemy. Zakres dostępu ma być zbliżony do tego, którym dysponują członkowie zespołów oceny ryzyka. Poza nielicznymi wyjątkami pracownicy Anthropic mają też dzielić się informacjami z ewaluatorami tak jak z kolegą zajmującym się kwestiami niezgodności modeli z intencjami twórców. Zespół METR działa na podstawie wiążących umów, a pozostali pracownicy organizacji są odizolowani od jego pracy.
METR to organizacja non-profit badająca możliwości i zagrożenia związane z zaawansowanymi systemami AI. Współpracowała już z największymi firmami branży. W sierpniu wraz z badaczem Redwood Research przeprowadziła na zaproszenie OpenAI niezależną analizę incydentu, w którym agenty AI tej firmy samodzielnie zaatakowały Hugging Face. Wydarzenie to zresztą odbiło się głośnym echem, również z tego względu, że wspomniana firma początkowo nie była świadoma działań oprogramowania, a potem… cóż, przez dłuższy czas milczała.
Anthropic bez prawa weta, ale może cenzurować
Jak będzie działać METR? Organizacja ma publikować własną ocenę poziomu ryzyka, incydentów i praktyk Anthropic, a firma nie może zablokować tychże raportów. Może jednak zażądać usunięcia informacji z wąskich, z góry określonych kategorii: danych klientów, informacji objętych tajemnicą adwokacką oraz szczegółów architektury modeli. To Anthropic ostatecznie rozstrzyga, co do tych kategorii należy – ale METR może publicznie kwestionować takie decyzje, nie ujawniając zatajonych treści.
Anthropic tłumaczy, że nie może ujawniać wszystkich informacji – choćby tych związanych z bezpieczeństwem –bo część mogłaby posłużyć np. w wykorzystywaniu ujawnionych w ten sposób podatności, a inne z kolei mogłyby pomóc konkurencji. Według firmy do tej ostatniej kategorii zaliczają się choćby dane dotyczące wykorzystywanej mocy obliczeniowej i metod treningu.
Ogółem wprowadzone rozwiązanie porównuje się do nadzoru bankowego, w którym regulatorzy wysyłają kontrolerów do największych banków, zastrzegając, że analogia nie jest dokładna. METR nie przyjmuje pieniędzy od firm AI ani darowizn od ich pracowników. Finansują go fundacje i osoby prywatne, a laboratoria dostarczają mu darmowe tokeny na potrzeby ewaluacji. Po co? A choćby po to, żeby rój AI nie przejął kontroli nad całym internetem.
0 komentarzy