Šéf Dellu v apríli zverejnil pomerne pochmúrnu prognózu, podľa ktorej ošiaľ okolo AI v nasledujúcom období nepoľaví, ale ešte naberie na obrátkach. Nedostatok pamätí sa tak môže ďalej prehlbovať. Dopyt po pamäťových čipoch môže podľa neho narásť do nepredstaviteľných rozmerov. Hardvér určený pre dátové centrá AI totiž na rozširovanie svojich schopností potrebuje čoraz viac pamäte a výroba tento skokový nárast nedokáže pokryť.
Podľa Michaela Della sa potreba pamätí v najbližších rokoch zvýši na 625-násobok, čo ešte zhorší ich nedostatok. Viac pamäte totiž budú potrebovať akcelerátory AI aj serverové procesory, ktoré ich obsluhujú. Zároveň prudko rastie počet dátových centier, takže bude treba viac zo všetkých komponentov. K 625-násobnému nárastu dospel na základe príkladu: kým akcelerátor Nvidia H100 v roku 2022 potreboval 80 GB pamäte HBM3, akcelerátory AI prichádzajúce v roku 2028 už môžu disponovať 2 TB pamäte HBM. V tomto smere teda očakáva o niečo viac než 25-násobný nárast. K tomu sa pridáva predpoklad, že aj dopyt po akcelerátoroch AI do roku 2028 vzrastie na 25-násobok. Tak sa dostávame k spomínanému 625-násobku.
Šéf Dellu zrejme pri akcelerátoroch AI novej generácie počítal s maximálnou podporovanou kapacitou pamäte. Tá v prípade Vera Rubin Superchip skutočne dosahuje 2 TB, väčšina rackov však podľa očakávaní bude využívať „len“ 576 GB pamäte HBM4. To je síce 7,2-násobok kapacity, ktorú potreboval akcelerátor H100 z uvedeného príkladu, stále však nejde o 25-násobok. Ak správne odhadol rast dopytu po akcelerátoroch AI a ten sa skutočne zvýši na 25-násobok, na trhu s pamäťami by sa dal očakávať celkový nárast „len“ na 180-násobok. Aj to, samozrejme, zostáva obrovskou a zdanlivo takmer nezvládnuteľnou výzvou.
Veľkí výrobcovia pamätí už teraz nedokážu držať krok s rastúcim dopytom a vrstvené pamäťové čipy HBM4 budú vyrábať iba tri spoločnosti: SK hynix, Samsung a Micron. V oblasti HBM3 sa snažia dobehnúť konkurenciu aj ďalší výrobcovia, no ani spoločnými silami nedokážu uspokojiť súčasný dopyt. Je síce pravda, že vďaka prebiehajúcim kapitálovým investíciám by v roku 2028 mohlo začať fungovať niekoľko nových závodov a výrobných liniek. Ak však dopyt skutočne vyletí tak prudko, ako predpovedá šéf Dellu, pomôže to len v malej miere.
Čipov DRAM, ktoré sú potrebné do serverových pamäťových modulov aj do vrstvených pamätí HBM, je už teraz obrovský nedostatok. Zároveň je mimoriadne vysoký aj dopyt po pamäťových čipoch LPDDR5x a NAND Flash a očakáva sa jeho ďalší rast. Zatiaľ však nemožno presne odhadnúť, ako sa situácia vyvinie v nasledujúcich štvrťrokoch, pretože neistota je príliš veľká.
V AI serveri NVL72 založenom na Nvidia GB200 v súčasnosti jeden rack vyžaduje celkovo 480 GB integrovanej pamäte LPDDR5x. Jedna racková skriňa pritom obsahuje celkovo 144 slotov E.1, do ktorých možno osadiť vysokorýchlostné SSD karty s veľkou úložnou kapacitou. Kompletne osadená racková skriňa môže ponúknuť až 13,4 TB pamäte HBM3e, až 17 TB systémovej pamäte a až 547 TB úložnej kapacity. Vo väčšom dátovom centre AI sa takýchto skríň môžu nachádzať stovky či dokonca tisíce, takže si skutočne vyžadujú obrovské množstvo pamäťových čipov.
