Firmy Perplexity i Nvidia wspólnie wprowadziły na rynek platformę opartą na sztucznej inteligencji typu agentowego, przeznaczoną do działania lokalnie na komputerze osobistym lub stacji roboczej użytkownika. Platforma ta, nazwana Portable Computer, stanowi zoptymalizowaną wersję platformy Computer AI firmy Perplexity, którą firma ogłosiła na początku tego roku. Nowy agent AI pozwala użytkownikom na uruchamianie złożonych zadań związanych ze sztuczną inteligencją na własnym sprzęcie, omijając chmurę i unikając wysokich kosztów związanych z tokenami.
W swoich wypowiedziach obie firmy kładą duży nacisk na prywatność i bezpieczeństwo
Podczas konferencji prasowej Nate Kupp z firmy Perplexity powiedział, że nowa aplikacja posiada dokładnie taki sam interfejs użytkownika jak oryginalna platforma Computer i zawiera wszystkie funkcje niezbędne do lokalnego wnioskowania. Dodał, że niektóre złożone zadania mogą nadal wymagać dostępu do bardziej zaawansowanych modeli najnowszej generacji hostowanych online, ale aplikacja poprosi użytkownika o zgodę przed wysłaniem jakichkolwiek danych do chmury.
Dyrektor ds. technologii dla programistów w firmie Nvidia, Nader Khalil, stwierdził, że nowa aplikacja pozwoli użytkownikom w szerszym zakresie korzystać ze sztucznej inteligencji bez obaw o bezpieczeństwo danych czy powtarzające się koszty związane z tokenami. Według Khalila „lokalna sztuczna inteligencja osiągnęła punkt zwrotny”, przechodząc od hobby dla zaawansowanych użytkowników do nieodzownego narzędzia zwiększającego produktywność dla zwykłych konsumentów.
Celem stworzenia zestawu narzędzi i modelu lokalnych ograniczeń jest zapewnienie użytkownikom wyraźnej kontroli nad tym, jakie informacje opuszczają ich urządzenia. Wiąże się to również z korzyściami finansowymi dla użytkownika. Postrzegamy to jako część szerszego trendu, w ramach którego coraz bardziej zaawansowane agenty przenoszą się z infrastruktury zdalnej na urządzenia indywidualne i lokalne.
Perplexity Engineering
Lokalne modele AI Perplexity sprawują się nienajgorzej
Portable Computer firmy Perplexity składa się z zestawu agentów, koordynatora oraz możliwości wyboru między lokalnymi modelami Qwen 3.8 i PPLX, z których oba skalują się do 27 miliardów parametrów. Aplikacja doda również obsługę Nemotron 3.5 Lightning – bezpłatnego modelu Mixture-of-Experts (MoE) firmy Nvidia, zawierającego 30 miliardów parametrów, z których 3 miliardy to parametry aktywne na token.
Wyniki testów porównawczych opublikowane przez firmę Perplexity pokazują, że na wewnętrznej platformie Local Knowledge Work Bench komputer wyposażony w procesor DGX Spark i działający pod kontrolą systemu Qwen 3.8 27B osiągnął wynik dokładności na poziomie 82,6% przy wykorzystaniu 520 000 tokenów, przewyższając wyniki systemu Pi (77,6%) i Hermes (74,0%) w 53 zadaniach obejmujących zaawansowane badania, analizę finansową i tworzenie dokumentów. W przypadku modelu PPLX 27B wynik wyniósł 85,4% przy wykorzystaniu 678 000 tokenów.
Portable Computer okazał się również najszybszy w testach BrowseComp i ParseBench-100, osiągając 66,7% dokładności w pierwszym z nich i 65,1% w drugim. Dla porównania, Hermes uzyskał wynik 43,9% w teście BrowseComp i 34,6% w teście ParseBench-100, podczas gdy Pi uzyskał wynik 50,2% w pierwszym z nich i 13,9% w drugim. Według firmy Perplexity komputer przenośny zużył również najmniej tokenów spośród wszystkich trzech testów porównawczych.
Portable Computer już dostępny dla wybranych
Aplikacja Portable Computer jest już dostępna dla subskrybentów planów Pro, Max i Enterprise na platformie DGX Spark – niewielkim komputerze stacjonarnym firmy Nvidia z systemem Linux, przeznaczonym do zadań związanych ze sztuczną inteligencją, opartym na układzie Grace Blackwell GB10, który łączy 20-rdzeniowy procesor z procesorem graficznym Blackwell oraz 128 GB pamięci zunifikowanej. Od dzisiaj jest on również dostępny na komputerach z systemem Linux wyposażonych w procesory graficzne Nvidia RTX z co najmniej 24 GB pamięci VRAM. Obsługa systemu Windows ma zostać wprowadzona we wrześniu, co rozszerzy ten sam wymóg 24 GB pamięci VRAM na komputery z systemem Windows wyposażone w procesory graficzne RTX.
0 komentarzy