Meena – najlepszy chatbot na świecie?
Według Google’a przeszkolony na gigantycznej bazie danych model Meena przewyższa wszystkie dotychczasowe chatboty na rynku.
Chatbot Meena może rozmawiać niemal o wszystkim, a nawet – jak twierdzi jego twórca Google – potrafi wymyślać dowcipy. Ten zaawansowany model konwersacji neuronowej został przeszkolony w zakresie 341 GB tekstu wyfiltrowanego z publicznych konwersacji prowadzonych w mediach społecznościowych. W porównaniu z najnowocześniejszym modelem generatywnym OpenAI GPT-2 Meena ma 1,7 razy większą pojemność modelu, a do jej przeszkolenia wykorzystano 8,5 razy więcej danych.
Osiągniecie Google'a to kolejny znaczący krok w kierunku rozwoju chatbotów. Dotychczas maszyny te radziły sobie tylko do pewnego momentu – kiedy rozmowa stawała się zbyt swobodna i odbiegała od założonego tematu, ich schematyczne odpowiedzi ujawniały brak zrozumienia sensu wypowiedzi lub poważne luki w wiedzy o świecie. Meena ma być inna.
Wrażliwość maszyny
Co ważne, dla przetestowania modelu Google opracował specjalną metrykę, którą nazwał „średnią wrażliwości i specyficzności" (Sensibleness and Specificity Average, SSA). Ma ona analizować występowanie istotnych atrybutów naturalnych konwersacji w komunikacji z chatbotem, czyli sensu odpowiedzi w danym kontekście (ten poziom zapewnia już wiele dostępnych chatbotów) oraz dopasowania specyfiki wypowiedzi do usłyszanego komunikatu (skonkretyzowania odpowiedzi) – co jest już dużo trudniejsze dla maszyny. Na przykład w odpowiedzi na komunikat „Lubię tenis" chatbot może stwierdzić „To miłe", co ma sens, ale nie jest konkretne. Jeśli jednak odpowie „Ja też – nigdy nie mam dość Rogera Federera", to dopasowanie do konwersacji jest już znacznie bardziej zaawansowane.
Google przebadał ok. 100 przykładowych rozmów, w których Meena uzyskała wynik SSA na poziomie 79%, podczas gdy np. chatboty Mitsuku i Cleverbot osiągnęły 56%, a w konwersacji ludzi wskaźnik SSA pokazał 86%.
Meena na razie nie znajdzie zastosowania w praktyce. Przed wypuszczeniem wersji demo Google chce zweryfikować model pod kątem bezpieczeństwa i „kultury" – zapewne nauczony doświadczeniem Microsoftu, którego chatbot Taya wdrożony w 2016 roku na Twitterze po kilku godzinach zaczął udzielać rasistowskich i mizoginistycznych odpowiedzi.
Rozwój chatbotów w kierunku większego zaangażowania w konwersację w sposób bardziej przypominający ludzką rozmowę może wpłynąć na zmiany w różnych dziedzinach, np. nauce języków obcych czy grach wideo.
