Po vrstvených pamäťových čipoch založených na rôznych verziách štandardu High-Bandwidth Memory je obrovský dopyt. Tieto komponenty sú totiž nevyhnutné na výrobu dnešných moderných AI akcelerátorov. Samotný štandard sa navyše vyvíja veľmi rýchlym tempom, aby dokázal čo najefektívnejšie uspokojiť rastúce nároky na kapacitu a priepustnosť pamäte.
Ani traja najväčší výrobcovia pamätí, Samsung, Micron a SK hynix, nedokážu vyrobiť toľko čipov, koľko trh potrebuje. Priestor sa preto otvára alternatívnym dodávateľom aj alternatívnym pamäťovým technológiám. V druhom prípade to však nie je jednoduché, pretože novým typom pamäťových čipov treba prispôsobiť pamäťový radič AI akcelerátorov, čo si vyžaduje čas. V nasledujúcej generácii AI akcelerátorov by sa však už mohli objaviť niektorí vyzývatelia HBM, napríklad nedávno predstavená technológia HBC od Qualcommu.
HBC, teda High-Bandwidth Compute, sa od HBM líši jednak tým, že namiesto klasickej DRAM využíva úsporné pamäťové čipy typu LPDDR určené pre mobilné zariadenia, jednak použitím špeciálneho základného čipu, ktorý umožňuje vykonávať výpočty v blízkosti pamäte.
Na túto oblasť sa chce zamerať aj Samsung, takže aj HBM môže byť v tomto smere konkurencieschopná. Z hľadiska energetickej efektívnosti však môže mať navrch HBC, pretože pamäťové čipy pracujúce s nižším napätím spotrebujú menej energie než ich bežné náprotivky. V dátových centrách to môže predstavovať významnú výhodu, keďže väčší klaster zvyčajne tvorí niekoľko tisíc až niekoľko desiatok tisíc AI akcelerátorov. Pri takomto počte sa počíta aj rozdiel niekoľkých wattov: nižšia spotreba znižuje prevádzkové náklady a môže do istej miery uľahčiť aj zabezpečenie účinného chladenia.
Vrstvené pamäťové zostavy HBC obsahujú čipy LPDDR uložené na sebe. Prepájajú ich zvislé spoje prechádzajúce kremíkom, označované ako TSV (Through-silicon Vias), ktoré ústia do základného čipu. Ten poskytuje aj určitý výpočtový výkon na vykonávanie základných operácií s dátami. Odľahčuje tým GPU AI akcelerátora a zvyšuje efektívnosť spracovania, čo v konečnom dôsledku prináša vyšší výkon. V tejto oblasti sa snaží presadiť aj HBM4, no riešenie Qualcommu cieli na ešte vyššiu efektívnosť a lepšie optimalizované presuny dát. Vďaka tomu môže dosiahnuť šesťnásobnú priepustnosť pamäte na watt spotreby oproti súčasnému štandardu HBM.
S prvou generáciou HBC sa pri akcelerátore AI250 podarilo dosiahnuť priepustnosť pamäte 133 TB/s. Ide o 18-násobok toho, čo zvláda súčasná karta Qualcomm AI200 s bežnými pamäťovými čipmi LPDDR5X. Z dlhodobého hľadiska plánuje Qualcomm nasadiť čipy HBC vo viacerých AI akcelerátoroch nasledujúcich generácií. Ako prvý by ich mal dostať model AI250, ktorý má prísť v polovici roka 2027. Vo vývoji je už aj ďalšia generácia HBC, ktorá má priniesť ďalšie zlepšenia, predovšetkým výrazné zvýšenie priepustnosti pamäte.
Zatiaľ nie je známe, od ktorého dodávateľa chce Qualcomm odoberať pamäťové čipy LPDDR5X. Spoločnosť neprezradila ani to, o ktorý konkrétny štandard LPDDR sa budú novinky opierať. SoC Snapdragon pre ňu vyrába TSMC, no výpočtový čip Compute Die používaný v HBC dokáže v zásade vyrobiť ktorýkoľvek výrobca pamätí. Túto úlohu tak môže dostať aj dodávateľ samotných čipov LPDDR. Jednou z najlogickejších možností by mohol byť Samsung Foundry, ktorý v rámci zákazkovej výroby polovodičov vyrába nielen vlastné čipy LPDDR, ale aj výpočtové čipy navrhnuté na mieru.
Qualcomm zatiaľ meno vybraného dodávateľa nezverejnil, no dúfajme, že sa ho čoskoro dozvieme. Nie je jasné ani to, či chce spoločnosť prostredníctvom HBC konkurovať HBM a s vlastným riešením osloviť trh AI akcelerátorov. Vzhľadom na rozmach AI by to nemusel byť zlý nápad, najmä ak by technológia našla na trhu pozitívnu odozvu.
