Micron dosiahol významný míľnik v segmente pamäťových modulov SOCAMM pre dátové centrá zamerané na AI. Vyvinul prvý modul SOCAMM2 v odvetví s kapacitou 256 GB, ktorý umožní výrazne zvýšiť pamäťovú kapacitu systémov oproti doterajšiemu maximu v podobe 192 GB modulu. Už uvedenie 192 GB modulu v septembri 2025, iba šesť mesiacov pred touto novinkou, bolo významným úspechom z hľadiska kapacity, výkonu aj energetickej efektívnosti. Novým riešením však výrobca posúva latku ešte vyššie. Dodávky 256 GB pamäťových modulov SOCAMM2 sa už začali, takže AI servery budú môcť čoskoro využívať ich výhody.
Vďaka kapacite 256 GB na modul môže mať jeden procesor k dispozícii až 2 TB operačnej pamäte. V praxi to znamená, že v racku Nvidia NVL72 môže 36 procesorov využívať celkovo 72 TB operačnej pamäte, čo výrazne rozširuje možnosti celého systému. Nový pamäťový modul SOCAMM2 predstavuje výrazný posun: vďaka vyššej hustote pamäte ponúka o 33 % väčšiu kapacitu než doterajší „rekordér“ a zároveň môže dosahovať až o 66 % vyššiu energetickú efektívnosť než klasické pamäťové moduly RDIMM.
Ďalšou výhodou 256 GB pamäťového modulu SOCAMM2 je plná kompatibilita s čoraz rozšírenejšími systémami kvapalinového chladenia. To je dobrá správa, pretože rastúci výkon a limity TDP kladú čoraz vyššie nároky na účinné chladenie, s ktorými si najlepšie poradí práve kvapalinové chladenie. Nvidia, ktorá stála pri zrode pamäťového štandardu SOCAMM, kedysi narazila na problémy práve v tejto oblasti. V serveroch s vysokou hustotou komponentov jednoducho nedokázala tieto pamäťové moduly účinne chladiť, a preto nadviazala spoluprácu s veľkými výrobcami pamätí. Tí pomohli nasmerovať vývoj správnym smerom. Takto v podstate vznikol štandard SOCAMM2, ktorého moduly sú čoraz schopnejšie.
Nové pamäťové moduly SOCAMM2 využívajú najnovšie pamäťové čipy LPDDR5X od Micronu, každý s kapacitou 32 Gb, teda 4 GB. Ide o monolitické čipy, čo znamená, že pamäťové bunky aj obvody, ktoré ich obsluhujú, sa nachádzajú na tom istom kremíkovom čipe.
Okrem energetickej efektívnosti a väčšej pamäťovej kapacity je dôležité aj to, že nové pamäťové moduly umožňujú výrazne zvýšiť výkon AI serverov a rozšíriť ich schopnosti. Väčšia kapacita pamäte umožňuje pri vývoji modelov AI pracovať s podstatne väčšími kontextovými oknami aj pri použití jediného procesora, čím zvyšuje efektívnosť práce. Tento pokrok pomáha aj výrazne skrátiť čas do vygenerovania prvého tokenu (TTFT – Time to First Token). Odpovede napríklad na otázky položené chatbotom tak môžu prichádzať skôr a rýchlejšie sa môžu dokončiť aj ďalšie úlohy.
V prudko sa rozvíjajúcom segmente AI nezáleží len na tom, aby boli akcelerátory AI a procesory, ktoré ich obsluhujú, čo najrýchlejšie. Dôležité je aj to, aby dátové súbory mali k dispozícii dostatočne rýchle úložiská a čo najrýchlejšiu pamäť umiestnenú čo najbližšie k výpočtovým jednotkám. Micron prináša v oblasti operačnej pamäte výrazný posun, ktorý pomáha udržiavať tempo vývoja a zároveň rozširuje možnosti využitia.
