JEDEC dokončil zaujímavý pamäťový štandard, ktorého hlavným cieľom je pomocou nápaditých riešení znížiť náklady na pamäťový subsystém AI akcelerátorov využívajúcich pamäte HBM. Vyžiada si to však aj určité kompromisy. SPHBM4 tak bude skôr zaujímavým doplnkom než priamym konkurentom štandardov HBM4 a HBM4E.
Štandard Standard Package High Bandwidth Memory s označením JESD330-4 má predovšetkým umožniť nahradenie drahých a zložitých technológií puzdrenia čipov. Ich výrobné kapacity sú obmedzené, čo výrazne limituje aj počet čipov, ktoré možno takto vyrobiť – príkladom je technológia CoWoS od TSMC. Aj pri SPHBM4 sa čipy DRAM ukladajú do vrstiev nad seba, takže sú naďalej potrebné obvyklé vertikálne prepojenia TSV. Pod stohmi pamäťových čipov však nebude drahý a zložitý interposer, ktorý si vyžaduje pokročilé technológie puzdrenia a nákladné materiály. Nahradí ho podstatne lacnejší základný čip z organických materiálov, ktorý však namiesto obvyklej 2.048-bitovej pamäťovej zbernice môže používať iba výrazne užšiu, 512-bitovú zbernicu.
Aby sa aj napriek užšej pamäťovej zbernici podarilo zachovať priepustnosť typickú pre stohy pamätí HBM4, výrazne sa zvýši prenosová rýchlosť. Tá môže dosahovať 22,4 až 46 GT/s, zatiaľ čo bežné čipy HBM4 pracujú pri 8 GT/s a pri HBM4E možno očakávať približne 12 GT/s. Bežné pamäťové čipy HBM4E poskytujú vďaka 2.048-bitovej zbernici priepustnosť 3 TB/s. SPHBM4 dosiahne 2,944 TB/s pri rýchlosti 46 GT/s, ktorá však spočiatku určite nebude reálna.
Ako SPHBM4 dosiahne takéto tempo s 512-bitovou pamäťovou zbernicou? Pamäťové čipy SPHBM4 majú celkovo 32 pamäťových kanálov DDR so šírkou 16 bitov, ktoré môže systém využívať v ôsmich štvoriciach označovaných ako Quad Channel. Pri stohoch pamätí HBM4 používa každý čip interne 32 pamäťových kanálov, každý so šírkou 64 bitov. Tak vzniká 2.048-bitová pamäťová zbernica. Na prepojenie 2.048-bitovej vnútornej zbernice s 512-bitovou vonkajšou zbernicou musí SPHBM4 združiť vnútorné pamäťové kanály HBM4 po štyroch do skupín Quad Channel. Každá takáto skupina obsluhuje celkovo 64 dátových liniek, teda 4 × 16 bitov, ktoré v podstate nahrádzajú 256 vnútorných dátových liniek dostupných v bežnom čipe HBM4.
Týchto 64 dátových liniek pracuje oproti bežným čipom HBM4 so štvornásobnou prenosovou rýchlosťou. Čip s 512-bitovou zbernicou tak môže napokon ponúknuť takmer rovnakú pamäťovú priepustnosť ako bežná 2.048-bitová verzia, vyžaduje si to však viacero dodatočných technológií. V základnom čipe sa využívajú postupy nevyhnutné pri vysokých prenosových rýchlostiach. Bežné pamäte HBM4 ich vzhľadom na nižšiu rýchlosť a vysokú mieru paralelného prenosu nepotrebujú. SPHBM4 si vyžaduje aj dodatočné kroky pri spracovaní dát, napríklad SerDes, ktoré môžu zvýšiť latenciu o niekoľko nanosekúnd. Pri niektorých typoch úloh je takýto kompromis prijateľný, pri inferencii však nie, keďže tam latencia zohráva veľmi dôležitú úlohu.
SPHBM4 je teda kompromisné riešenie, ktoré môže byť užitočné iba pre užšiu skupinu AI akcelerátorov, no práve tam môže priniesť výrazné výhody. Výsledná energetická efektívnosť zatiaľ zostáva otázna, pretože bude výrazne závisieť od konkrétnej implementácie jednotlivých výrobcov. Isté však je, že táto technológia umožňuje používať iba pevné napätie I/O na úrovni 0,75 V. HBM4 podporuje 0,7 V, 0,75 V, 0,8 V aj 0,9 V. Výber závisí od možností v oblasti spotreby, rýchlosti a integrity signálu, ako aj od požadovanej rovnováhy medzi nimi.
Pamäte SPHBM4 môžu rovnako ako modely HBM4E pozostávať zo 4, 8, 12 alebo 16 vrstiev čipov, pričom jednotlivé čipy môžu mať kapacitu 24 Gb alebo 32 Gb. So 16 čipmi s kapacitou 32 Gb možno teoreticky dosiahnuť celkovú kapacitu 64 GB pri SPHBM4 aj HBM4E. Z hľadiska kapacity tak budú obe riešenia veľmi podobné. Užšia pamäťová zbernica však umožňuje vyrábať menšie čipy SPHBM4, takže sa ich na rovnakú plochu môže zmestiť viac než pri riešení založenom na HBM4.
Až čas teda ukáže, nakoľko bude SPHBM4 pre jednotlivých výrobcov atraktívny. Neskôr sa ukáže aj to, akú energetickú efektívnosť ponúknu konkrétne implementácie v porovnaní s HBM4 či HBM4E.
