Prawdziwa rzeź botów AI. Cloudflare się nie patyczkuje
Działania Cloudflare bez wątpienia zaskarbią firmie wdzięczność wielu właścicieli portali internetowych, dla których krążące po sieci boty kradnące treści na rzecz szkolenia sztucznej inteligencji stały się prawdziwą zmorą.
Jak podaje serwis CNN, Cloudflare wypowiedziało wojnę crawlerom AI, czyli kradnącym materiały z przeróżnych portali internetowych botom na usługach gigantów technologicznych. Na mocy nowych zasad wspomnianego dostawcy, wszelkie skrypty poszukujące treści do trenowania sztucznej inteligencji w domyśle są niewpuszczane na każdą witrynę korzystającą z usług Cloudflare.
Sieciowy gigant automatycznie zablokuje boty AI przeszukujące strony internetowe
Możemy być tego nieświadomi, ale Cloudflare odgrywa ogromną rolę w Internecie. Jest to tak zwane CDN, czyli sieć dostarczania treści (ang. content delivery network). Za jej pośrednictwem, ludzie z różnych zakątków globu mają wygodny i płynny dostęp do materiałów i aplikacji, jako że ich dane są buforowane bliżej użytkownika końcowego. Wedle szacunków z 2023 r., ok. 16% całkowitego ruchu w Internecie jest przepuszczany przez Cloudflare.
Oznacza to, że firmy pokroju OpenAI i Google zostały właśnie odcięte od licznych źródeł wartościowych treści, które do tej pory boty wygrzebywały bez informowania o tym fakcie ich właścicieli, nie wspominając już nawet o kwestii rekompensaty z tego tytułu .
Przedsiębiorstwo słusznie zwróciło uwagę na fakt, że obecnie wielu użytkowników nie ma potrzeby odwiedzania konkretnych serwisów. Pierwotnie dostępne tylko na ich łamach teksty zostały skopiowane przez crawlery i "nakarmiono" nimi modele sztucznej inteligencji. Biorąc pod uwagę, że obecnie przed AI już praktycznie nie sposób uciec, jako że zostało ono zaimplementowane nawet w wyszukiwarce Google, Internet, a przynajmniej jego tradycyjna forma, zaczyna powoli umierać.
Cierpią na tym oczywiście dostawcy treści, dla których nader często głównym źródłem utrzymania były reklamy wyświetlane na łamach ich portali. Mniejszy ruch na nich wiąże się z mniejszą liczbą wyświetlonych materiałów promocyjnych, a co za tym idzie – niższymi dochodami. Te zaś mogą odbić się negatywnie na rentowności danego serwisu i jakości zamieszczanych na nim tekstów, obrazów lub filmów.
Jak napisał Matthew Prince, prezes Cloudflare, w swoim wtorkowym oświadczeniu:
Crawlery AI zbierały treści bez ograniczeń. Naszym celem jest oddanie władzy z powrotem w ręce twórców, jednocześnie pomagając firmom zajmującym się sztuczną inteligencją wprowadzać innowacje. Chodzi o zabezpieczenie przyszłości wolnego i tętniącego życiem Internetu za pomocą nowego modelu, który działa dla wszystkich.
Poczynając od minionego wtorku, właściciele każdej domeny rozpoczynający korzystanie z usług dostarczanych przez Cloudflare mogą zadecydować, czy chcą zezwolić crawlerom AI na przeczesywanie ich stron internetowych. Co więcej, stosowne pozwolenie może zostać przyznane pod warunkiem, że twórcy botów uiszczą opłatę w innowacyjnym modelu "pay per crawl".
Starczy wspomnieć, że pomysł ten nie przypadł do gustu firmom zajmującym się rozwojem sztucznej inteligencji. OpenAI podobno zgłosiło swój sprzeciw, kiedy po raz pierwszy usłyszało o planach Cloudflare. Oburzone przedsiębiorstwo stwierdziło, że jest "pionierem w korzystaniu z pliku robots.txt", czyli zestawu wytycznych w postaci kodu, który w teorii ma zapobiegać automatycznemu przechwytywaniu danych przez boty. Amerykanie przekazali przy tym, że stosowane przez nie crawlery szanują preferencje wydawców treści i nie pobierają materiałów bez ich zgody. Co nieco do powiedzenia w tej kwestii mógłby mieć jednak dziennik New York Times, który obecnie toczy z OpenAI bój w związku z, jakżeby inaczej, nielegalnym pozyskiwaniem danych z jego łamów.
Jakub Dmuchowski, dziennikarz pcformat.pl
