Nvidia predstavila významnú novinku v podobe špeciálnej pamäťovej technológie NVHBM. Podľa plánov bude dostupná partnerom NVLink Fusion Link na výrobu vlastných AI akcelerátorov aj pre AI akcelerátory Nvidie postavené na jej vlastných GPU. V oboch prípadoch ponúkne výrazné výhody oproti bežným pamäťovým subsystémom štandardu HBM4E.
Podstatou NVHBM je nová pamäťová architektúra, v ktorej už pamäťové radiče nie sú umiestnené na čipe XPU. Nezaberajú tak cennú kremíkovú plochu na čipoch husto osadených výpočtovými komponentmi. Namiesto toho sa presúvajú na základný čip stohov pamäťových čipov NVHBM. Presun pamäťových radičov do čipov NVHBM uvoľní na čipoch XPU cennú plochu, čo umožní vytvárať zložitejšie AI akcelerátory s vyšším výpočtovým výkonom. Väčšiu časť tranzistorového rozpočtu totiž budú môcť využiť na výpočtové komponenty.
Ian Cutress, analytik s rozsiahlymi odbornými znalosťami a dlhoročná opora už zaniknutého AnandTechu, vníma NVHBM v zásade ako dôležitý krok od štandardizovaných stohov pamäťových čipov HBM k návrhom s pamäťovou architektúrou prispôsobenou konkrétnemu zákazníkovi. Tie otvárajú množstvo nových možností. Popri štandardných stohoch pamäťových čipov HBM budú v budúcnosti o priazeň zákazníkov súperiť aj návrhy HBM s vlastným základným čipom a 3D pamäte užšie integrované s čipmi. Práve tieto riešenia preto budú postupne nahrádzať dnes široko používané štandardné stohy pamäťových čipov HBM. Návrhy a základné čipy prispôsobené konkrétnym požiadavkám totiž ponúknu množstvo výhod z hľadiska výpočtového výkonu, pamäťovej priepustnosti aj energetickej efektívnosti.
Podľa Nvidie bude možné pri stohoch pamäťových čipov NVHBM zvýšiť pamäťovú priepustnosť na čip až o 30 % oproti bežným modelom HBM4E. Spotreba pritom môže klesnúť až o 15 % v porovnaní s úrovňou bežnou pri štandardných čipoch HBM4E. Prepracované pamäťové rozhranie zároveň zákazníkom umožní využiť pre XPU až o 25 % viac kremíkovej plochy. Na rovnaký čip sa tak zmestí viac komponentov, čo môže podľa konkrétnych požiadaviek priniesť vyšší výpočtový výkon, ďalšie funkcie alebo oboje.
Užšie pamäťové rozhranie môže zároveň zjednodušiť konštrukciu interposera aj vedenie spojov, vďaka čomu môže v rámci celého puzdra zostať až o 80 % viac využiteľnej kremíkovej plochy. Podľa Nvidie môže celkový výkon XPU vzrásť až o 30 %. Prispeje k tomu vyššia pamäťová priepustnosť NVHBM, uvoľnenie časti kremíkovej plochy na zvýšenie výpočtovej kapacity aj energeticky efektívnejšia prevádzka pamäťového subsystému založeného na HBM.
Jedným z prvých zákazníkov, ktorí budú môcť využiť výhody NVHBM, bude Annapurna Labs patriaca Amazonu. Spoločnosť už vyvíja AI akcelerátor Trainium4, ktorý by mohol prísť s podporou NVLink Fusion a NVLink 6. Vďaka tomu by mohol spolupracovať s AI akcelerátormi Nvidie založenými na GPU v rámci rovnakej rackovej architektúry. Nvidia plánuje, že čipy NVHBM bude neskôr ponúkať viacero výrobcov pamätí. Neprezradila však, ktorá generácia GPU v jej vlastnej ponuke bude prvá využívať výhody NVHBM.
