Exo rozkłada wymóg posiadania jednego, wystarczająco potężnego do udźwignięcia LLM systemu na kilka lub nawet kilkanaście urządzeń.
Tajemnicą nie jest, że LLM-y, czyli tytułowe duże modele językowe, uruchomimy wyłącznie na wydajnym sprzęcie wyposażonym w pokaźną ilość pamięci RAM i GPU mogące pochwalić się niemałą mocą. Co jednak, jeśli wymóg ten spadnie nie na jedno urządzenie, a całą sieć złożoną z mniej zaawansowanych maszyn?
Takie pytanie postanowili zadać twórcy oprogramowania Exo, które, dzięki ich staraniom, umożliwia rozproszenie obciążenia generowanego przez systemy sztucznej inteligencji na kilka (lub kilkanaście) połączonych ze sobą laptopów, smartfonów, tabletów, a nawet komputerów jednopłytkowych pokroju Raspberry Pi.
Exo, podobnie jak torrenty, bazuje na sieci P2P (peer-to-peer, czyli model komunikacji w sieci komputerowej, który zapewnia wszystkim hostom te same uprawnienia). Dzięki zastosowaniu takiego rozwiązania znika potrzeba posiadania jednego, niezwykle potężnego urządzenia, jako że zastąpić je może praktycznie każdy sprzęt elektroniczny, jaki wpadnie nam pod rękę – o ile nie działa on na Windowsie.
Na ten moment Exo wspiera urządzenia hulające na Androidzie, Linuksie, a nawet MacOS i iOs, jednakże brak wsparcia dla systemu ze stajni Mircrosoftu może być dla jednego niemiłym zaskoczeniem, a drugiego motywacją do przesiadki na inny OS. Kolejnym z warunków do spełnienia przed skorzystaniem z Exo jest posiada GPU Nvidii w komputerach z Linuksem na pokładzie oraz obsługa Pythona w wersji co najmniej 3.12.0.
Jeden z twórców projektu, Alex Cheema, podkreślił, że jego celem było oddanie w ręce ludu narzędzia, które pozwoli mniejszym zawodnikom konkurować z branżowymi gigantami dysponującymi niemal nieograniczoną mocą obliczeniową.
Podstawowym ograniczeniem w przypadku AI jest moc obliczeniowa. Jeśli nie mamy mocy obliczeniowej, nie możemy konkurować. Ale jeśli stworzymy tę rozproszoną sieć, być może będziemy mieli szansę.
Alex Cheema
Z kolei na stronie Exo Labs możemy znaleźć następujący fragment:
Największym ryzykiem dla ludzkości nie jest to, że AI nas zabija, jak nam powiedziano. To społeczeństwo, w którym kulturę i prawdę dyktuje kartel AI. Świat, w którym kilka firm kontroluje i blokuje dostęp do najbardziej wydajnych systemów sztucznej inteligencji. AI zostanie zintegrowana ze wszystkim, co robią ludzie, i stanie się podstawową częścią naszego egzokorteksu. Musimy zachować suwerenność nad naszymi własnymi umysłami.
Fragment strony Exo Labs
Mimo że wplatanie do sieci mniej wydajnych urządzeń może mieć negatywny wpływ na prędkość, z jaką poszczególne duże modele językowe pracują, twórcy Exo zapewniają, że wzbogacanie tej sieci o kolejny sprzęt praktycznie zawsze poprawia jej ogólną przepustowość. Na ten moment Exo pozwala nam skorzystać z takich LLM-ów, jak DeepSeek, LLaMA, Mistral, Qwen i LlaVA.
0 komentarzy