Program NVLink Fusion firmy Nvidia zapewnia partnerom firmy elementy niezbędne do połączenia niestandardowych układów scalonych z domeną skalowalną NVLink, służącą do łączenia wielu oddzielnych procesorów w jeden spójny system, taki jak akcelerator Vera Rubin NVL72. Firma Nvidia ogłosiła właśnie dodatnie do tego zestawu narzędzi nowy element o nazwie NVHBM – niestandardową implementację pamięci o dużej przepustowości, która stanowi podstawę praktycznie każdego obecnie używanego akceleratora sztucznej inteligencji.
Nowa generacja infrastruktury AI od firmy Nvidia
Jak opisuje firma Nvidia w swoim wpisie na oficjalnym blogu, NVHBM to niestandardowy układ bazowy HBM, który zapewnia większą przepustowość, mniejsze zużycie energii oraz zajmuje mniej miejsca na układzie niż tradycyjny HBM4e. Nvidia twierdzi, że został on zaprojektowany i zweryfikowany we współpracy z „wiodącymi dostawcami pamięci”, dzięki czemu zapewnia twórcom niestandardowych układów szybsze wprowadzenie produktu na rynek niż w przypadku wdrażania standardowej pamięci HBM od podstaw. Warto jednak ponownie podkreślić, że nie jest to zamiennik pamięci HBM. Jest to raczej nowy element konstrukcyjny, który firma Nvidia oferuje wyłącznie swoim partnerom zajmującym się produkcją niestandardowych układów scalonych.
W przypadku akceleratorów AI przepustowość pamięci ma kluczowe znaczenie, a technologia NVHBM zapewnia nawet o 30% wyższą przepustowość na jeden stos w porównaniu ze standardową pamięcią HBM4e. W przypadku zadań polegających na obciążeniach AI, których wydajność zależy od przepustowości pamięci, to właśnie ta wyższa przepustowość w nowych układach przekłada się na o wiele większą wydajność w formie przykładowo, wyższej liczby tokenów na sekundę podczas wnioskowania AI.
Niestandardowy układ bazowy NVHBM zmniejsza również powierzchnię zajmowaną przez obwody związane z pamięcią na głównym, niestandardowym układzie akceleratora. Tradycyjnie kontroler pamięci HBM był wbudowany w główny układ scalony w obudowie. Natomiast w przypadku NVHBM kontroler pamięci został przeniesiony do układu bazowego stosu HBM i zapewnia mniejszy, niestandardowy układ PHY, który klienci NVLink Fusion mogą następnie zintegrować ze swoimi projektami.
Firma Nvidia twierdzi, że takie podejście zwalnia cenną przestrzeń w obudowie, którą można następnie wykorzystać na dodatkową powierzchnię matrycy obliczeniowej — nawet o 30% więcej mocy obliczeniowej na głównej matrycy krzemowej. Technologia NVHBM ma ponadto uprościć trasowanie interposera służącego do łączenia wielu układów w projektach wykorzystujących zaawansowane techniki pakowania.
Nvidia stawia na oszczędność energii – ale tylko w celu zwiększenia jej poboru do innych celów
NVHBM zapewnia również oszczędność energii w porównaniu z gotowymi stosami HBM4e. Jak nieustannie podkreślała firma Nvidia podczas prezentacji procesora Vera Rubin, każdy wat, który nie jest wykorzystywany do produkcji tokenów, to wat zmarnowany. Nvidia twierdzi, że NVHBM zużywa o 15% mniej energii niż standardowa pamięć HBM4e, a zaoszczędzoną energię można przeznaczyć na poprawę wydajności na wat, alokować na dodatkowe jednostki funkcjonalne w niestandardowej konstrukcji akceleratora lub przełożyć na wyższą wydajność ciągłą przy tym samym budżecie energetycznym.
Wyższa przepustowość przy niższym poborze mocy to ogromna korzyść dla akceleratorów AI, które przetwarzają ogromne struktury danych, takie jak wagi modeli i pamięci podręczne typu KV, zwłaszcza gdy oszczędności te są pomnożone przez wiele tysięcy układów. Energia zaoszczędzona na przenoszeniu danych może zostać ponownie wykorzystana do zwiększenia wydajności samego akceleratora lub przeznaczona na obsługę większej liczby akceleratorów w ramach tego samego, stałego limitu mocy.
Według samej Nvidii, wszystkie opisane wyżej ulepszenia technologii wprowadzone przez jej inżynierów, to powody, dla których potencjalni partnerzy firmy Nvidia powinni rozważyć włączenie technologii NVLink Fusion i NVHBM do swoich niestandardowych projektów.
0 komentarzy