Jakieś dwa tygodnie temu, firma Google opublikowała mapę całego mózgu i ośrodkowego układu nerwowego dorosłego samca muszki owocowej. Zastanawiacie się pewnie, w jaki sposób projekt ten mógł zostać wykorzystany przez internatów. Zgodnie z doniesieniami serwisu Tom’s Hardware, niektórzy z nich – zwłaszcza entuzjaści uczenia maszynowego i deweloperzy – zaczęli wykorzystywać strukturę w najróżniejszych niespodziewanych zastosowaniach – od przekształcenia muszki owocowej w inwestora giełdowego po nauczenie jej parkowania równoległego. Tak, ja też nie wiem co tu się dzieje. Teraz jeden z fanów kultowej już gry „Balatro” twierdzi, że wyszkolił wspomnianą strukturę układu nerwowego za pomocą algorytmu do grania w ten właśnie tytuł, a stosunek wygranych naszej „muszki” do porażek wynosi już całkiem przyzwoite 20%.
Muszka owocowa gra w Balatro, a ja przecieram oczy ze zdumienia
Użytkownik serwisu Reddit o pseudonimie ActualAerie1011, udostępnił na platformie nagranie, w którym twierdzi, że wyszkolił model umieszczony w „mózgu” przy użyciu opracowanego przez siebie algorytmu trenującego w celu odkrycia przydatnych seedów w grze Balatro. Podobnie jak inne gry typu roguelike, Balatro opiera się na losowości, więc algorytmy tego typu mogą odkrywać unikalne seedy, które potencjalnie pozwalają osiągnąć bardzo wysokie wyniki (w tym maksymalny wynik w grze). Aby wytrenować „mózg”, zarówno aparat mózgowy (konektom wraz z samym modelem), jak i algorytm odtwarzają dany seed. Następnie wyniki są porównywane, a model w „mózgu” otrzymuje nagrodę lub karę w zależności od dokonanych wyborów.
Konektom muchy służy jako zamrożony rezerwuar (około 166 tysięcy neuronów i około 25 milionów połączeń). Cechy Balatro (w formacie JSON) przechodzą przez losową projekcję, są poddawane trzem aktualizacjom funkcji tangensa hiperbolicznego (wczytywanie cech gry do mózgu i rozprzestrzenianie ich wśród neuronów), a następnie łączone w grupy po 256 neuronów (256 grup neuronów). Następnie prosta sieć MLP ocenia działania nauczycieli. Jedynym naprawdę wyjątkowym elementem jest skala zadania, polegająca na wykorzystaniu rzeczywistego konektomu zwierzęcego jako rezerwuaru.
ActualAerie101
Spodziewajcie się coraz lepszych wyników – muszka powróci silniejsza i mądrzejsza
ActualAerie1011 twierdzi, że jego model osiąga obecnie 20-procentowy wskaźnik skuteczności przy rozgrywce na losowych seedach, najprawdopodobniej utrzymując grę na tym samym najniższym poziomie trudności – biała stawka, wykorzystując przy tym podstawową, czerwoną talię. Użytkownik zaznacza, że model nie posiada żadnych informacji o używanych seedach poza tym, co widoczne jest bezpośrednio na ekranie. Dodatkowo informuje, że proces uczenia jest cały czas w toku, więc możemy spodziewać się w tej kwestii interesujących postępów.
Balatro może z pozoru wydawać się prostą grą w znanego wszystkim pokera, ale w rzeczywistości wyszkolenie modelu do wygrywania kolejnych małych i dużych stawek jest niezwykle trudne, zwłaszcza na wyższych poziomach trudności. Podstawowe zasady gry i punktacji układów pokerowych nie są trudne, jednak złożone interakcje między unikalnymi i często stawiającymi rozgrywkę na głowie jokerami, ich kolejnością w ekwipunku gracza, a także konkretne uwarunkowania, takie jak zdolności bossów, a do tego tymczasowość wielu modyfikatorów, sprawiają, że osiągnięcie spójności w grze stanowi wysoką poprzeczkę nawet dla ludzi, a tym bardziej dla modelu sztucznej inteligencji. Tym bardziej dla modelu sztucznej inteligencji zamkniętym w mózgu małej muszki owocowej.
0 komentarzy