Raport Willa DePue jest pewnego rodzaju rewolucją w świecie AI – wszystko wskazuje bowiem na to, że badacz odkrył metodę, która dzięki analizie wag pozwala przypisać modele sztucznej inteligencji do konkretnego sprzętu, na którym te zostały wytrenowane, tutaj układów Blackwell.
Sprzętowy ślad układów Blackwell w wagach modeli AI
DePue opublikował wyniki badań na platformie X oraz w raporcie na stronie Unemployment Labs. Są o tyle rewolucyjne, że mogą rzucić nowe światło na wykorzystanie konkretnych urządzeń Nvidii w treningu modeli AI i bardzo mocno wesprzeć tezę, że Chiny rzeczywiście mają dostęp do urządzeń Nvidii objętych kontrolą eksportową. Według badacza cztery chińskie laboratoria – DeepSeek, Moonshot AI, MiniMax i Ant Group – stworzyły bowiem swoje najnowsze modele na układach Nvidia Blackwell.
Co najważniejsze, nie chodzi tu o poszlaki w postaci dokumentów zakupowych, przecieków z centrów danych ani nawet o informacje od pracowników. DePue zastosował metodę określaną jako checkpoint forensics, czyli analizę śledczą zapisanych wag. Zakłada ona, że sposób generowania wartości początkowych parametrów sieci zostawia zapisany w danym modelu ślad ściśle zależny od sprzętu.
Jak działa ta metoda?
Kluczowa jest tutaj inicjalizacja parametrów. Generator Philox, używany przez PyTorch, tworzy wartości na podstawie tzw. ziarna (seed), ale ich rozmieszczenie zależy też od liczby równoległych wątków. Ta zależy z kolei od liczby jednostek SM w GPU i w prostej linii pozwala zidentyfikować zastosowanie konkretnych urządzeń – tutaj akceleratorów Blackwell (które zaczęły być, mówiąc nawiasem, produkowane w USA).
Badacz rezultaty swojej pracy sprawdził na rzeczywistym sprzęcie i w ten sposób na B300 odtworzył 461 z 469 wybranych wierszy wag DeepSeek-V4-Flash z korelacją powyżej 0,99, w tym 445 bit po bicie. Z kolei na wynajętym systemie GB200 odtworzył wszystkie 13 zachowanych wierszy modelu Kimi K3.
Sześć chińskich modeli AI z charakterystycznym „odciskiem palca”
Opracowana technika pozwoliła odnaleźć „odcisk palca” Blackwella w chińskich modelach DeepSeek-V4-Flash i V4-Pro, Kimi K3 i K3.1-Pro, MiniMax-M3 oraz Ling-3.1-flash. Pikanterii dodaje tu fakt, że wcześniejsze modele tych laboratoriów… powstały na urządzeniach opartych na architekturze Hopper – jasne więc jest, że Chińczycy gdzieś po drodze zmienili sprzęt, „przerzucając się” na bardziej wydajne urządzenia Nvidii. Ale nie wszyscy – najnowsze modele Alibaby, Tencentu, Xiaomi, Zhipu i StepFun nadal powstają na sprzęcie poprzedniej generacji.
DePue oszacował również, że jedna sesja treningowa AI wymagała od ok. 500 do 3 tys. układów Blackwell pracujących przez dwa-trzy miesiące. Najwięcej urządzeń wykorzystano podczas treningu Kimi K3 – 2-3 tys. – i DeepSeek-V4-Pro – 2-2,5 tys. Przy cenie ok. 70 tys. dolarów za układ największe pojedyncze klastry kosztowałyby zatem 150-200 mln USD, a przecież w treningu wykorzystano ich co najmniej kilka.
Autor zaznacza jednak, że te szacunki są niepewne, a zakresy dość szerokie. Wyliczenia opierają się na założeniu 35% wykorzystania mocy i na tym, że modele trenowano na sprzęcie użytym do inicjalizacji. Liczbę tokenów DeepSeek ujawniło samo, a dla pozostałych modeli autor oszacował ją z wag.
Dowody? Niestety, to tylko poszlaki
Rzeczona analiza, choć wydaje się bardzo konkretna, nie jest do końca dowodem na wykorzystanie w całym procesie trenowania chińskich modeli AI „zakazanych” urządzeń Nvidii, o czym mówiła amerykańska administracja. Dlaczego? Analiza dotyczy sprzętu, który wygenerował wagi początkowe, ale co było dalej – cóż, tego nie wiadomo, autor zaznacza bowiem, że parametry można przenieść na inną infrastrukturę. Wagi nie mówią też nic o tym, gdzie fizycznie znajdowały się układy ani tym bardziej kto był ich właścicielem: istnieje bowiem szansa, że Chińczycy po prostu wynajęli systemy Blackwell w centrach danych poza Chinami.
Innymi słowy, raport jest jedynie mocną tezą przemawiającą za tym, że Chiny w jakiś sposób ominęły ograniczenia eksportowe, ale trudno mówić tu o dowodzie na przemyt GPU do Państwa Środka ani na złamania amerykańskich przepisów eksportowych. Sam autor podkreśla, że do takich wniosków potrzebne byłyby dodatkowe informacje, do których siłą rzeczy nie ma dostępu.
0 komentarzy