Przeszukując przestrzeń

Google oraz alternatywne wyszukiwarki docierają do najdalszych zakątków internetu. Tam, dokąd nie dotarł jeszcze nikt, poza autorem danej strony.

Analizą internetu i wydobywaniem treści zajmują się wyspecjalizowane programy – roboty indeksujące, nazywane niekiedy pająkami. Po wejściu na stronę pobierają jej treści, potem wyszukują wszystkie linki i otwierają je. Powtarzając tę procedurę na każdej napotkanej stronie, są w stanie dotrzeć do najdalszych zakątków internetu, oczywiście tak długo, dopóki znajdujące się w nich strony są choć raz zlinkowane. Współczesne roboty indeksujące są inteligentne. Wiedzą na przykład, które strony są aktualizowane często, i te odwiedzają co kilka minut. Dzięki temu treść najnowszych artykułów jest dostępna w wyszukiwarce.

Czy zatem wszystko, co jest w sieci, jest dostępne w wyszukiwarce? Otóż nie. Każdy właściciel strony może utworzyć plik robots.txt, w którym określa, jakie obszary witryny mają być pominięte przez mechanizm indeksujący, a tym samym, co ma nie być dostępne w wyszukiwarce. Niektóre serwisy, takie jak Facebook czy Twitter, zazdrośnie strzegą swoich zasobów i nie są dostępne w wyszukiwarce. To samo dotyczy zawartości rozmaitych baz danych, które są dostępne za pośrednictwem interfejsu WWW, w którym można formułować kwerendy. Dotyczy to np. katalogów bibliotek czy baz z połączeniami lotniczymi i kolejowymi, które można przeszukiwać tylko za pomocą specjalnych wyszukiwarek.

Gdy robot „przeczyta” stronę, od razu analizuje jej treść. Nie tylko wydobywa wszystkie słowa, ale także stara się odnaleźć ich kontekst. Sprawdza, czy tekst jest w tytule, nazwie linku, czy jest wyróżniony w inny sposób. Ważnym elementem analizy jest sprawdzanie metainformacji, czyli treści przeznaczonej tylko dla robotów oraz innych programów, ale niewidocznej dla użytkownika. Oprócz słów kluczowych umieszczonych w początkowej sekcji strony HTML, są to np. znaczniki semantyczne. W specyfikacji HTML 5 jest cały zbiór tagów semantycznych, takich jak <article>, <section>, <nav>, które „mówią” wyszukiwarce, jaką rolę odgrywa dany tekst w strukturze strony. Wyszukiwarki analizują stronę także pod kątem innych semantycznych znaczników, takich jak mikroformaty, które używają składni CSS do opisu znaczenia elementów treści.

Duże wyszukiwarki, które mają rozbudowane zaplecze serwerowe (Google, Bing), analizując stronę, zapisują jej dokładną kopię, co pozwala na pokazanie na liście wyników wyszukiwania słów kluczowych w kontekście, w którym oryginalnie występują. Korzyścią z zapisania strony do pamięci cache wyszukiwarki jest także możliwość przejrzenia kopii w sytuacji awarii serwera hostującego witrynę.

Gdy indeks jest gotowy, wyszukiwarka potrzebuje jeszcze informacji o tym, jak posortować wyniki, by były jak najbliższe oczekiwaniom użytkownika. Google używa do tego celu mechanizmu Page Rank, który analizuje liczbę linków prowadzących do danej strony, uznając, że te z większą liczbą odniesień zawierają bardziej wiarygodne informacje niż te rzadziej polecane. Dodatkowo jest branych pod uwagę kilkaset innych czynników: pozycja stron linkujących, częstość klikania linków na liście wyników, charakter samej witryny (np. strony sklepów mają obniżony Page Rank, by wyeksponować serwisy informacyjne). Wśród kryteriów sortowania wyników są także indywidualne preferencje użytkownika, znane dzięki monitorowaniu jego aktywności.

Na platformach mobilnych rozpowszechniły się wyszukiwarki rozpoznające pytania zadawane głosowo. Najbardziej rozreklamowaną z nich jest Apple Siri, która jest zintegrowana z mobilnym systemem iOS. Użytkownicy Androida mogą skorzystać z podobnych aplikacji: Iris oraz Evi, które można zainstalować za darmo w sklepie Google Play. Programy te łączą kilka funkcji. Przede wszystkim potrafią przekonwertować mowę na tekst, a następnie zdecydować, za pomocą jakiego mechanizmu wyszukiwania rozpoznać dane pytanie. Dzięki temu spełniają rolę nie tylko wyszukiwarki, ale także osobistego asystenta użytkownika. Niedogodnością tych programów z punktu widzenia polskiego użytkownika jest fakt, że jak dotąd w pełni skutecznie obsługują tylko język angielski.

Po wpisaniu zapytania przez użytkownika wyszukiwarka błyskawicznie skanuje indeks, otrzymując listę nieposortowanych trafień, które następnie są filtrowane przez serwery budujące z nich listę wyników, z najbardziej wiarygodnymi stronami na czele. Firmy z wielkimi zasobami, jak Google czy Microsoft, są w stanie skrócić ten proces do ułamków sekund dzięki podzieleniu indeksu na mniejsze elementy, które są przechowywane w pamięci operacyjnej licznych serwerów, i przeszukiwaniu ich równolegle.

Pod względem liczby zapytań na świecie udział Google przekracza 65 proc. i, co ciekawe, powoli maleje. Największym globalnym konkurentem jest chińska wyszukiwarka Baidu (www.baidu.com), która obsługuje 8 proc. zapytań. Na tym liczącym ponad miliard ludzi rynku Google nigdy nie zdobył dominującej pozycji i ostatecznie się z niego wycofał, po sporach z władzami o kwestię cenzury wyników wyszukiwania. W Rosji z kolei dominuje lokalna wyszukiwarka Yandex (5-proc. udział na świecie). Specjalizuje się ona w obsłudze krajów dawnego Związku Sowieckiego i od niedawna przystąpiła do konkurencji ogólnoświatowej, oferując swój produkt w języku angielskim www.yandex.com. Silną pozycję ma także wyszukiwarka Bing (www.bing.com), należąca do Microsoftu i używana także w środowisku Yahoo. Łącznie te dwa wielkie serwisy obsługują 8 proc. zapytań.

Aż 16 proc. zapytań jest obsługiwanych przez inne, mniej znane wyszukiwarki, które na tle gigantów mają unikatowe, kuszące dla użytkowników funkcje. Google nie „rozumie” całych zdań, lecz przeprowadza wyszukiwania na podstawie pojedynczych słów w zapytaniu, analizując indeks metodami statystycznymi. Odczytuje tylko operatory logiczne, takie jak: AND czy OR. Natomiast wyszukiwarki, takie jak Ask (www.ask.com), akceptują pytania sformułowane za pomocą zdań i starają się dostarczyć na nie trafnych odpowiedzi.

Na rynku są także wyszukiwarki, w których głównym źródłem odpowiedzi są ludzie, a nie maszyny. Przykładem takiego mechanizmu jest serwis Quora (www.quora.com). Zadane pytanie jest kierowane zarówno do wyszukiwarki, jak też do użytkowników serwisu o zainteresowaniach zbliżonych do pytania. Z dostarczonych przez nich odpowiedzi jest formułowany wątek przypominający dyskusję na blogu lub Facebooku. Treść wątku jest także dodawana do wyszukiwarki i rozszerza bazę wiedzy Quory. Wątki można edytować podobnie jak w Wikipedii, co prowadzi do przekształcenia ich z czasem w artykuły informacyjne.

Podobną wyszukiwarką jest ChaCha (www.chacha.com). Odpowiedzi na pytania są tam formułowane przez innych użytkowników zwanych „przewodnikami”, którzy są opłacani drobnymi kwotami za udzieloną pomoc. Wybór spośród odpowiedzi, jakie są w bazie danych, także może być wspomagany przez człowieka, jeśli algorytm nie może dostarczyć poprawnej informacji. Serwis działa także na platformach mobilnych oraz przez SMS (tylko w USA).

Jedną z głównych osi krytycyzmu Google są nadużycia w sferze prywatności użytkowników. Firma gromadzi dane o zapytaniach i odwiedzonych stronach, w celu lepszego dopasowania reklam do zainteresowań użytkownika. Dlatego wiele alternatywnych serwisów, np. DuckDuckGo (www.duckduckgo.com), próbuje przyciągać użytkowników argumentem lepszej ochrony prywatności. Jednocześnie, co jest zaskakujące w przypadku tego nieznanego szerzej serwisu, jakość wyników wyszukiwania nie odbiega w sposób zauważalny od tego, co dostarcza Google czy Bing – co ważne, także w przypadku zapytań w języku polskim. Jedyną zauważalną różnicą jest szybkość zwracania wyników. DuckDuckGo, dostarcza stronę z wynikami w ok. 0,5 sekundy, podczas gdy Google czy Bing robią to w ok. 0,1 sekundy. Jeśli chcesz skorzystać z tej wyszukiwarki, możesz ją dzięki wtyczkom łatwo zintegrować z przeglądarką Chrome.

Możesz również skorzystać z serwisów, które anonimizują zapytania do wyszukiwarki Google, bez modyfikowania listy wyników. Wśród nich można polecić dwie witryny: Gibiru (www.gibiru.com) oraz Startpage (www.startpage.com), który obsługuje także język polski.

Ciekawą propozycją na rynku są także metawyszukiwarki, które rozsyłają zapytanie do wielu mechanizmów wyszukiwania. Jednocześnie większość z tych usług anonimizuje zapytanie, uniemożliwiając gromadzenie informacji na temat użytkownika. Taką funkcję ma serwis Dogpile (www.dogpile.com), który rozsyła zapytanie do trzech najważniejszych wyszukiwarek: Google, Yahoo i Yandex, a z dostarczonych wyników wyszukiwania buduje wspólną listę. Podobnie działa serwis Search (www.search.com), który bazuje na Google i Bing.

W przeciwieństwie do zwykłej wyszukiwarki te witryny sięgają głębiej do internetu i zestawiają wyniki z wielu różnych źródeł oraz prezentują je w ustrukturyzowany sposób. Na przykład wyszukiwarka Pipl (www.pipl.com) po wpisaniu nazwiska i kraju dostarcza kartę informacji o osobie, zawierającą linki do profili we wszystkich serwisach społecznościowych, także polskich: NK czy Golden Line. W osobnych sekcjach znajdziesz informacje o zatrudnieniu i wykształceniu osoby, a także listę ludzi, z którymi jest powiązana. Co więcej, na liście wyników są posty opublikowane na forach dyskusyjnych, blogach itp.

Konkurencyjny serwis Peekyou (www.peekyou.com) dostarcza także wzmianki o osobie z Wikipedii oraz listę dokumentów PDF, w których występuje nazwisko.

Obydwa serwisy pozwalają przeszukiwać sieć pod kątem pseudonimów oraz adresów e-mailowych, więc można odnaleźć informacje publikowane przez osoby znane tylko z forów dyskusyjnych.

Odrębną grupą wyszukiwarek są narzędzia do przeszukiwania zbiorów danych, np. właściwości geograficznych, fizycznych, chemicznych, statystyk ekonomicznych, demograficznych czy wszelkich innych informacji, które nadają się do przeliczania. Tutaj czołowym przykładem jest serwis Wolfram Alpha (www.wolframalpha.com). Serwis interpretuje pytania w języku naturalnym i podaje informacje w postaci uporządkowanej, często ze zbiorem dodatkowych danych, które rozszerzają odpowiedź. Na przykład, jeśli zadamy pytanie o przychód krajowy brutto w Polsce (ang. GDP of Poland), wyszukiwarka pokaże nie tylko aktualne dane, ale także wykres ilustrujący zmianę czynnika w czasie.

Wyszukiwarki tej możesz użyć do przeprowadzenia szybkich kwerend i porównań najróżniejszych źródeł informacji statystycznych i naukowych, definiując pytania za pomocą języka naturalnego (po angielsku). Poza tym serwis doskonale radzi sobie z obliczeniami matematycznymi nawet na wysokim poziomie złożoności, więc można traktować go jako pomoc podczas rozwiązywania skomplikowanych zadań w liceum czy na studiach.

Po wejściu na stronę www.wolframalpha.com zaloguj się. Kliknij Sign in w prawym górnym narożniku, a następnie kliknij Sing in with Facebook. Możesz także utworzyć lokalne konto, naciskając przycisk Create an Account. Logowanie nie jest konieczne, ale warto to zrobić, by mieć dostęp do jednej z funkcji, o których piszemy dalej.

Jeśli chcesz się dowiedzieć, jakie rodzaje danych są udostępnione w wyszukiwarce, kliknij Examples. Przejdziesz na stronę z dużą liczbą przykładowych zapytań, uporządkowanych w dziesiątkach kategorii. Warto przyjrzeć się im, by lepiej zrozumieć sposób formułowania zapytań, który jest odmienny od tego, do czego przyzwyczaił nas Google. Każde przykładowe pytanie możesz przesłać do wyszukiwarki, klikając w tym celu ikonę >>.

Teraz czas na samodzielnie sformułowane pytanie. Wpisz np. population of Warsaw. Po chwili wyszukiwarka dostarczy stronę, na której oprócz liczby ludzi mieszkających w stolicy Polski znajdziesz wykres pokazujący, jak zmieniała się społeczność w ciągu ostatnich trzydziestu lat. Jeśli jesteś ciekawy, skąd te dane, lub potrzebujesz tej informacji do przypisu, skorzystaj z linku Sources na dole strony.

Wyszukiwarce możesz kazać także stworzyć porównanie dwóch zmiennych. Wpisz compare population of Warsaw and Cracow. Po chwili oprócz danych liczbowych oraz wykresu zobaczysz informacje pokazujące relację między dwiema wartościami. W taki sposób możesz porównywać dowolne dane statystyczne, fizyczne czy geograficzne (np. obszar).

Jak wspomnieliśmy na wstępie, Wolfram Alpha jest doskonale wyposażony w funkcje czysto matematyczne. Nie ograniczają się one do możliwości szybkiego kalkulatora, ale także pozwalają rozwiązywać zadania z niewiadomymi, proporcje czy funkcje trygonometryczne. Spróbuj zapytania 10x–50=100. W wynikach zobaczysz zarówno wynik równania, jak i wykres.

Jeśli chcesz się dowiedzieć, jak rozwiązać zadanie krok po kroku, kliknij przycisk Step-by-step solution, w kolejnym oknie kliknij Show all steps, jeśli chcesz zobaczyć wszystko od razu, albo Next step, jeśli chcesz pomocy w czasie samodzielnego rozwiązywania zadania, np. podczas odrabiania pracy domowej. Jak zobaczysz, oprócz przekształceń są wyjaśnienia pomagające zrozumieć zadanie.

Wyszukiwarka o nazwie DuckDuckGo oferuje jakość wyników wyszukiwania zbliżoną do Google, a jednocześnie nie szpieguje swoich użytkowników i ma znacznie mniej reklam. Nie jest konieczne tworzenie konta, logowanie itp. Wystarczy wejść na stronę www.duckduckgo.com i wpisać hasło do pola wyszukiwania.

Aby rozpocząć wyszukiwanie, naciśnij klawisz [Enter] lub kliknij ikonę lupki. Na liście wyników, na pierwszym miejscu znajdziesz pole z uporządkowanymi informacjami oraz najważniejszymi linkami do czołowych serwisów internetowych, np. Wikipedii. Poniżej znajdują się standardowe wyniki wyszukiwania, posortowane według trafności:

Z prawej strony wyników znajdziesz linki, które pozwalają na szybkie przesłanie zapytania do innych serwisów wyszukiwania. A co, jeśli chcesz poszukać zdjęć albo filmów wideo? W tej sytuacji także możesz skorzystać z anonimowego przesłania zapytania do zewnętrznej wyszukiwarki. Kliknij strzałkę w dół obok lupki i z menu wybierz np. Grafika - Bing lub YouTube.

Zresztą zewnętrzne serwisy możesz przeszukiwać także bezpośrednio z pola wyszukiwania. Wystarczy po słowach kluczowych wstawić skrót, np. !youtube lub !yt, by automatycznie przesłać zapytanie do zewnętrznej wyszukiwarki. W ten sposób za pośrednictwem DuckDuckGo można korzystać z setek wyszukiwarek.

W przeciwieństwie do Google opisywaną wyszukiwarkę można łatwo dopasować do swoich potrzeb. Na stronie z wynikami wyszukiwania kliknij Więcej, a następnie z listy wybierz Ustawienia. W pierwszej zakładce możesz określić Region (język jest wykrywany automatycznie), a także wyłączyć bezpieczne wyszukiwanie – polecenie State Search Off.

W kolejnych zakładkach: Color, Look&Feel oraz Layout, możesz dopasować wygląd i zachowanie wyszukiwarki do indywidualnych preferencji. Jeśli chcesz zachować ustawienia, nie musisz tworzyć konta. Poniżej znajdziesz sekcję: Zapis w Chmurze. Kliknij w niej Zapisz ustawienia i podaj hasło. Jeśli chcesz zrezygnować z tej opcji, kliknij usuń moje dane.