ASUS dokončil svoj prvý USB akcelerátor pre umelú inteligenciu. Nesie označenie UGen300 a ponúka pôsobivý výpočtový výkon 40 TOPs pri presnosti INT4. Základom je známy procesor Hailo-10H, o ktorom sme už viackrát písali. Tentoraz ho dopĺňa 8 GB pamäte LPDDR4, ktorá pomáha pri efektívnom spracovaní úloh, zrýchľovaní lokálne bežiacich modelov LLM a VLM aj ďalších úloh umelej inteligencie.
Novinka má podobu USB zariadenia s dĺžkou 105 milimetrov, šírkou 50 milimetrov a výškou 18 milimetrov. Je teda väčšia než bežný USB kľúč, no menšia než výkonný externý SSD disk. AI akcelerátor pripájaný cez USB-C môže doplniť výkon NPU v procesore, ale poslúži aj v systémoch, ktoré žiadnu NPU nemajú. Zvláda aj komplexné úlohy umelej inteligencie, pričom jeho spotreba dosahuje iba 2,5 W. Využíva rozhranie USB 3.1 Gen2 Type-C s prenosovou rýchlosťou 10 Gbit/s. Bez problémov spolupracuje s hlavnými frameworkmi pre AI a podporuje okrem iného Keras, PyTorch, TensorFlow, TensorFlowLite a ONNX.
Novinku možno využiť v spotrebiteľských aj priemyselných zariadeniach a systémoch. Okrem Windows a Linuxu podporuje aj Android, takže jej možnosti dokáže využiť viacero platforiem. ASUS k tomuto úspornému AI akcelerátoru ponúkne aj špeciálnu aplikáciu UGen Utility, ktorá na uľahčenie prvých krokov obsahuje viac než 100 predtrénovaných modelov. Majitelia produktu získajú aj prístup ku komunite Hailo Developer Community. Tá ponúka návody, referenčné materiály a rozsiahlu vedomostnú základňu, ktoré pomôžu urýchliť a zefektívniť vývoj aj nasadzovanie aplikácií Edge AI.
Novinka od ASUS je určená vývojárom, študentom, pedagógom aj tvorcom vstavaných priemyselných systémov. Oslovuje tiež všetkých ostatných, ktorí na lokálnu prácu s AI obsahom hľadajú úsporný a ľahko ovládateľný akcelerátor so solídnym výkonom.
ASUS UGen300 sa mal podľa očakávaní čoskoro dostať do predaja, jeho presná cena však v čase oznámenia ešte nebola známa. Pripravuje sa aj verzia v podobe rozširujúcej karty M.2 s podobnými schopnosťami, vďaka ktorej môže výrobca osloviť ďalšie segmenty a rozšíriť podporu na ďalšie zariadenia.
