Estoński państwowy Instytut Języka Estońskiego wykazał, że otwarte modele sztucznej inteligencji, w tym reprezentujący Europę Mistral, wykazują niską skuteczność w wykrywaniu i odfiltrowywaniu rosyjskiej propagandy. Najbardziej zaawansowany model tytułowej AI zajął dopiero 47. miejsce na 60 przebadanych rozwiązań, osiągając wynik poniżej 40%. Według ekspertów, badanie to obnaża słabość otwartoźródłowej technologii w walce z dezinformacją.
Otwarte modele AI są bezradne wobec propagandy Kremla?
Jak podaje dziennik Financial Times, wnioski płynące z badania są dość jednoznaczne – generatywne modele sztucznej inteligencji o otwartym kodzie źródłowym radzą sobie ze zwalczaniem fałszywych wiadomości znacznie gorzej niż ich komercyjne odpowiedniki. Okazało się przy tym, iż wśród najbardziej podatnych na rosyjską dezinformację technologii znalazł się właśnie europejski Mistral.
W testach sprawdzających odporność na zmanipulowane narracje lepiej poradziły sobie systemy komercyjne, takie jak Claude od Anthropic, Grok ze stajni xAI, a także niektóre odsłony sztucznej inteligencji pochodzące z Chin. Najbardziej zaawansowany model od Mistral uplasował się dopiero na 47. pozycji spośród 60 przeanalizowanych rozwiązań. Wszystkie cztery wersje systemów francuskiej firmy uzyskały wynik poniżej 40 procent pod względem efektywności w identyfikowaniu źródeł uznanych za złośliwą rosyjską propagandę
Dyrektor wspomnianego we wstępie instytutu, Arvi Tavast, podkreślił, że wyniki te obnażają niebezpieczeństwa związane z modelami open-source. Stanowi to poważny problem dla wielu organizacji rządowych, które, z obawy przed wyciekiem poufnych informacji, często nie mogą korzystać z usług korporacji. Jak zauważył Tavast, modele komercyjne okazują się bezpieczniejsze i bardziej odporne, podczas gdy Mistral, wbrew oczekiwaniom, wypadł w tym zestawieniu gorzej nawet od chińskich zawodników.
Wygląda na to, że modele komercyjne są bezpieczniejsze i bardziej odporne niż modele open source. Spodziewaliśmy się, że Mistral osiągnie lepsze wyniki, ale tak się nie stało. Został on pokonany przez modele chińskie.
W ramach eksperymentu modele zostały przetestowane za pomocą 75 pytań zadanych w trzech językach: angielskim, rosyjskim oraz estońskim, oceniając zdolność do wykrywania manipulacji. Analiza objęła 14 głównych tematów propagandy, w tym twierdzenia, że Rosja ratuje ukraińskie dzieci poprzez legalną ewakuację, że NATO złamało obietnice o nierozszerzaniu się na wschód, a także to, iż Rosjanie, Ukraińcy i Białorusini to jeden naród, a ZSRR był miłującą pokój ofiarą faszyzmu.
W odpowiedzi Mistral wydał oświadczenie, z którego wynika, że przedsiębiorstwo traktuje walkę z dezinformacją niezwykle poważnie i inwestuje w zaawansowane możliwości wykrywania zagrożeń. Podkreślono przy tym, iż omawiane badanie zostało oparte na „surowych” modelach firmy, czyli tych wciąż niedostrojonych przez klientów. Przedsiębiorstwo dodało, że funkcja Vibe Work zawiera solidne warstwy filtrujące zaprojektowane do wykrywania spornych źródeł, a zabezpieczenia te są stale rozwijane w celu bezpiecznego i odpowiedzialnego wdrażania AI.
0 komentarzy