Inžinieri Micronu pracujú na vývoji špeciálnej pamäťovej technológie, ktorá má umožniť umiestnenie poľa pamäťových čipov NAND Flash s pomerne veľkou kapacitou, dostatočnou rýchlosťou a nízkou latenciou do blízkosti GPU slúžiaceho ako akcelerátor AI. Výrazne by sa tým rozšírili možnosti spúšťania a trénovania mimoriadne veľkých jazykových modelov (LLM).
Projekt, ktorý zatiaľ nesie len pracovné označenie „Near-GPU NAND“, má byť užitočným doplnkom hlavnej pamäte typu HBM a DRAM aj klasických úložísk založených na NAND Flash. V pamäťovej hierarchii by vytvoril vrstvu medzi nimi. Uplatnenie môže nájsť tam, kde nie je potrebná vysoká priepustnosť ani nízka latencia čipov HBM či bežných pamätí DRAM, no dáta musia byť uložené oveľa bližšie ku GPU, než umožňujú klasické úložiská NAND Flash.
Na tento účel vznikajú špeciálne pamäťové čipy NAND Flash, ktoré majú z hľadiska hustoty uložených dát aj latencie tvoriť akýsi medzistupeň medzi spomínanými pamäťovými technológiami. Ich hustota uložených dát bude nižšia než pri klasických čipoch TLC alebo QLC NAND Flash. Vývoj sa totiž namiesto nej zameriava skôr na vyšší výkon pri vstupno-výstupných operáciách, vyššiu priepustnosť a kratší čas čítania. „Near-GPU NAND“ má v podstate fungovať ako mimoriadne rýchla a výkonná vyrovnávacia pamäť, ktorá prepojí klasické pamäte HBM či čipy GDDR7/LPDDR6 s bežným úložiskom.
Táto vyrovnávacia pamäť sa výborne hodí na inferenčné úlohy aj na spúšťanie konkrétnych veľkých jazykových modelov. Dáta pritom umožňuje uchovávať blízko GPU s nižšími nákladmi, než keby sa na tento účel použili klasické pamäte DRAM alebo HBM. Mohla by ponúknuť kapacitu niekoľkých stoviek GB, a to za výrazne nižšiu cenu než klasické technológie DRAM a s vyšším výkonom než bežné úložiská NAND Flash. Vďaka tejto špeciálnej vyrovnávacej pamäti by zložité LLM mohli bežať aj na systémoch s menším počtom GPU. Využitie viacerých úrovní pamäte a úložísk by tak pomohlo optimalizovať celkový výkon systému.
Podobné riešenie vyvíjajú aj SanDisk a SK hynix pod názvom HBF, teda High-Bandwidth Flash. Má pomôcť rozšíriť pamäťový priestor HBM grafického procesora pomocou čipov NAND Flash umiestnených v jeho blízkosti, pričom sa má zvýšiť aj ich odolnosť. Vývoj naďalej pokračuje, pretože treba vytvoriť riešenie s vhodnou priepustnosťou, latenciou a dostatočnou odolnosťou. Mohlo by tak účinne dopĺňať mimoriadne rýchle a drahé zostavy vrstvených pamäťových čipov HBM, ktorých sa navyše nevyrába dosť na pokrytie dopytu na trhu. Nezaháľa ani Samsung, ktorý pod názvom zNAND-O vyvíja špeciálnu pamäťovú architektúru takisto určenú pre AI a vybavenú pomerne pôsobivými vlastnosťami.
