Killer Cuil

Cuil, wyszukiwarka internetowa, która wystartowała w lipcu, przed datą premiery szumnie zapowiadana jako zabójca konkurencji (w szczególności Google), faktycznie „rozkłada” – tyle że nie konkurencję, a witryny internetowe, które są przez nią indeksowane.

Właściciele serwisów internetowych na całym świecie skarżą się, że gdy Cuil próbuje zindeksować witrynę, demoluje ją wzmożonym ruchem sieciowym tak bardzo, że serwery tego nie wytrzymują. Zdarzają się przypadki, że witryna jest „intensywnie” indeksowana przez ponad 24 godziny w związku z czym właściciele muszą ogromnie ograniczać ruch, w przeciwnym razie strona w ogóle nie nadawałaby się w tym czasie do użytku.

Wszystkiemu winien jest Twiceler – robot indeksujący Cuil, który w procesie gromadzenia informacji o witrynach potrafi np. pochłonąć użytkownikowi nawet 2 GB transferu (do czasu zablokowania, inaczej z pewnością zabrałby więcej) dokonując w tym czasie 70 tysięcy wejść. Dzieje się tak, ponieważ Twiceler, wchodząc na witrynę, generuje losowe adresy URL poszukując stron, które nie są dostępne przez linki.

Twórcy Cuila odpierają zarzuty, twierdząc, że Twiceler jest eksperymentalną wersją robota indeksującego nowej wyszukiwarki i jest dla nich ważne, by przestrzegał zasad robot.txt tzn. nie indeksował stron, które nie chcą być tej indeksacji poddane, w związku z tym, jeżeli ktoś wyrazi takie życzenie, jego serwis zostanie dodany do listy adresów omijanych przez robota – w tym celu wystarczy tylko podać nazwę swojej witryny. Autorzy wyszukiwarki twierdzą również, jakoby istniały inne roboty udające Twicelera, dlatego przed oskarżeniem Cuila o problemy swojego serwisu sugerują sprawdzenie adresów IP.

To nie pierwsze problemy, z jakimi muszą się uporać twórcy Cuil, jedno jest pewne – wciąż się mówi o nowej wyszukiwarce – może o to chodzi?

Źródło: TechCrunch