Aj vás trápi, čo robia veľké technologické spoločnosti s vašimi dátami? Máme dobrú správu: dnes už nemusíte nič nikam posielať. Lokálne AI modely za posledné obdobie výrazne pokročili. To, čo si ešte pred pár rokmi vyžadovalo investície do serverovej infraštruktúry v rádoch tisícov eur, dnes zvládne jediná dedikovaná grafická karta. SAPPHIRE AMD Radeon AI PRO R9700 vznikla presne na tento účel – a my sme vyskúšali, čo to znamená v praxi.
Nie je na hry – a tak je to správne
Na prvý pohľad môže pôsobiť nezvyčajne grafická karta, ktorá necieli na najnovšie AAA hry, ale je navrhnutá špeciálne na prevádzku umelej inteligencie. SAPPHIRE AMD Radeon AI PRO R9700 je, ako napovedá už jej názov, účelový hardvér: je optimalizovaná na lokálnu prevádzku veľkých jazykových modelov (LLM). Kľúčová je VRAM, pretože práve kapacita grafickej pamäte určuje, aký veľký model dokážeme načítať a ako rýchlo s ním môžeme pracovať.
V testovacej zostave kartu dopĺňal procesor AMD Ryzen 7 a 32 GB operačnej pamäte. Pozornosť sme však venovali predovšetkým tomu, akú časť vlastnej VRAM dokáže grafická karta využiť a s akou efektivitou. Cieľ je jasný: model má bežať na GPU, nie na CPU – od toho sa totiž odvíja rýchlosť.
Na čo je dobrá lokálna AI a komu sa oplatí
Skôr než sa pustíme do výsledkov testov, treba si ujasniť, pre koho a prečo je lokálna prevádzka modelov vôbec dôležitá. Odpoveď je jednoduchá: bezpečnosť dát. Každý, kto pracuje s citlivými firemnými údajmi, informáciami o klientoch či internými dokumentmi, môže mať oprávnené obavy z toho, že skončia na serveri poskytovateľa cloudových služieb. A to aj vtedy, keď ich podľa svojich pravidiel nepoužíva na trénovanie modelov.
Pri lokálnej prevádzke dáta nikdy neopustia počítač. Žiadne volania API, žiadny cloud, žiadna tretia strana. Čo sa deje v počítači, zostáva v počítači. Pre európsky trh, ktorý kladie veľký dôraz na dodržiavanie GDPR, to môže byť zásadné – či už ide o advokátsku kanceláriu, poskytovateľa zdravotnej starostlivosti alebo finančného poradcu.
Dôležitá poznámka k cene: použiteľná kompletná zostava vychádza približne na 2.755 eur. Na prvý pohľad sa to môže zdať veľa, no pozrime sa na to v súvislostiach. Ak by niekto prechádzal na lokálnu AI výhradne preto, aby ju mohol používať bez poplatkov, pri prepočte na mesačné predplatné ChatGPT Plus alebo Claude Pro táto suma zodpovedá približne 9 až 10 rokom predplatného. Čisto kvôli úspore sa to teda neoplatí, z pohľadu ochrany dát a podnikania však môže mať takéto riešenie nevyčísliteľnú hodnotu.
Testovacie prostredie: LM Studio a Qwen 3.5
Na testovanie sme použili aplikáciu LM Studio (lmstudio.ai), ktorá v súčasnosti patrí medzi najjednoduchšie spôsoby, ako si stiahnuť a spustiť modely s otvoreným zdrojovým kódom na vlastnom počítači. Rozhranie je mimoriadne intuitívne: vyberiete si model, stiahnete ho a môžete s ním začať chatovať. Presne ako s ChatGPT, len všetko prebieha na vašom vlastnom hardvéri.
Testovali sme rodinu modelov Qwen 3.5 v dvoch variantoch: menší s 9 miliardami parametrov (9B) a väčší s 35 miliardami parametrov (35B). Druhý z nich sme spúšťali s kvantizáciou Q8. Ide o miernu kompresiu, ktorá zmenšuje model tak, aby sa zmestil do VRAM, pričom si zachováva približne 95 až 97 % pôvodných schopností. Kvantizáciu si možno predstaviť ako zaokrúhlenie čísla na menší počet desatinných miest: určitá strata presnosti nastane, no v praxi je takmer nepostrehnuteľná.
Testy: od tvorivého písania po programovanie
Tvorivé písanie – test s kaviarňou
Ako prvú úlohu sme zadali napísanie textu: vytvor krátku, vtipnú reklamu na budapeštiansku kaviareň, ktorá otvára o piatej ráno. Volá sa Koránkelő Kávézó, oslovuje ospalých IT pracovníkov a babičky, ktoré skoro vstávajú. Text má obsahovať slovnú hračku aj akciovú ponuku a nesmie presiahnuť 100 slov.
Ako prvý sa o to pokúsil model 9B. Miestami však zakopával o maďarskú gramatiku, slovné hračky pôsobili nasilu a výsledok bol skôr zmätočný než zábavný. Rýchlosť však bola pôsobivá: 86 tokenov za sekundu aj so zapnutým režimom uvažovania. Na jednoduchú otázku bez uvažovania odpovedal rýchlosťou 102 tokenov/s – to je naozaj bleskové tempo.
Model 35B však vytvoril prekvapivo dobrý text. „Tu je káva taká silná, že vás preberie aj na Hello World!“ – na IT publikum je to už celkom použiteľná slovná hračka. „U nás žiadne bugy, iba Java“ – presný zásah do cieľovej skupiny. Rýchlosť bola prirodzene nižšia, 28 tokenov/s, a dlhšia bola aj fáza uvažovania, ktorá zabrala približne dve minúty. Výsledok však bol citeľne o triedu lepší.
Programovanie – míny, Pomodoro, kvíz a widget počasia
V programátorských testoch dostal model štyri rôzne úlohy. Každú musel vyriešiť v jedinom súbore HTML:
- Hľadanie mín – Qwen 35B ho v režime uvažovania vytvoril približne za 3 až 4 minúty. Výsledkom bola na prvý pokus funkčná a hrateľná hra s dobre okomentovaným kódom v maďarčine. Nie je to AAA hra, no už samotný fakt, že lokálne spustený model na prvý pokus vytvorí bezchybný, spustiteľný kód, stojí za pozornosť.
- Časovač Pomodoro – Ten zvládol rýchlo a bez uvažovania. Pozastavenie, reštart aj prepínanie fungovali. Aj dizajn bol celkom vydarený.
- Kvízová aplikácia o AI – Kvíz s 8 otázkami, štyrmi možnosťami odpovede, okamžitou spätnou väzbou a záverečným skóre. Otázky aj odpovede na tému AI model vygeneroval sám a boli prekvapivo relevantné a poučné. Sám prišiel aj s otázkou o výhodách lokálnej prevádzky AI.
- Widget počasia – S údajmi pevne zapísanými v kóde, ale s pekným dizajnom: dalo sa prepínať medzi mestami Budapešť, Debrecín, Segedín, Pécs a Győr. Práca s CSS bola mimoriadne precízna.
Obzvlášť pôsobivé bolo, že posledné dve úlohy sme spustili súbežne v dvoch samostatných oknách chatu. Grafická karta obe bez problémov zvládala: nezasekávala sa ani sa kriticky neprehrievala. Chladenie sa síce občas ozvalo hlasnejšie, no ani zďaleka to nebolo rušivé. To naznačuje, že R9700 dokáže spoľahlivo pracovať aj pri reálnom nasadení, nielen v laboratórnych testoch s jedinou úlohou.
Matematika – výpočet zľavy
Na preverenie logického uvažovania sme zadali matematickú úlohu s viacerými krokmi: obchod poskytuje na všetky produkty zľavu 20 % a pri pôvodnej sume nad približne 140 eur získate ďalších 10 % z už zníženej ceny. Pôvodná cena bola približne 210 eur – koľko napokon zaplatíte, koľko ušetríte a aká je celková percentuálna zľava?
Model 35B postupoval krok za krokom a výpočet zvládol bez chyby: približne 210 eur → približne 170 eur (zľava 20 %) → približne 150 eur (ďalších 10 %) → úspora približne 60 eur, teda celková zľava 28 %. Dosiahol rýchlosť 26,58 tokenov/s a prvý token sa objavil za 1,21 sekundy. Logika bola správna od začiatku do konca, čo vzbudzuje dôveru, že model možno spoľahlivo využiť aj na výpočtové úlohy.
Analýza obrázkov – západ slnka nad Balatonom
Test navyše: Qwen 3.5 35B dokáže spracúvať aj vizuálne vstupy, teda analyzovať obrázky. Predložili sme mu fotografiu západu slnka nad Balatonom s otázkou: čo je na obrázku? Počas uvažovania model napadlo, že záber sa veľmi podobá na okolie kopca v Balatonboglári pri Balatone, hoci v konečnej odpovedi sa vyjadril opatrnejšie. Opis obrázka bol obsahovo presný: západ slnka, chodník, zeleň a udržiavaný park. Na jednoznačné určenie miesta si netrúfol, no pri uvažovaní sa vydal správnym smerom. Na lokálny model s 35 miliardami parametrov je to veľmi dobrý výsledok.
Prehľad rýchlostí
| Úloha | Model | Rýchlosť |
| Jednoduchý chat (s uvažovaním) | Qwen 3.5 9B | 86 tokenov/s |
| Jednoduchý chat (bez uvažovania) | Qwen 3.5 9B | 102 tokenov/s |
| Tvorivé písanie | Qwen 3.5 35B (Q8) | 28 tokenov/s |
| Matematická úloha | Qwen 3.5 35B (Q8) | 26,58 tokenov/s |
| Programovanie (súbežne) | Qwen 3.5 35B (Q8) | 19 tokenov/s |
Model 9B je bleskovo rýchly, no na zložitejšie úlohy nestačí. Variant 35B s kvantizáciou Q8 ponúka ideálny kompromis: je dostatočne schopný na skutočnú prácu a zároveň dosť rýchly na to, aby nebolo potrebné čakať niekoľko minút na každú odpoveď. Súbežné spracovanie prirodzene znižuje rýchlosť generovania tokenov, no aj tak zostáva použiteľné – a to je pri produkčnom nasadení zásadné.
Komu ju odporúčame?
SAPPHIRE AMD Radeon AI PRO R9700 nie je pre každého a je to v poriadku. Ak chce niekto jednoducho každý deň používať AI, predplatné ChatGPT alebo Claude je lacnejším a pohodlnejším riešením. Existuje však jasne vymedzená skupina používateľov, pre ktorých môže táto karta znamenať zásadný posun:
- Podnikatelia a firmy, pre ktorých je bezpečnosť dát základnou požiadavkou – advokátske a účtovné kancelárie, poskytovatelia zdravotnej starostlivosti či finanční poradcovia
- IT tímy, ktoré chcú vytvoriť interného AI asistenta bez toho, aby citlivé údaje opustili firemnú sieť
- Vývojári a nadšenci AI, ktorí chcú experimentovať s otvorenými modelmi a ich dolaďovaním a potrebujú na to spoľahlivý a rýchly hardvér
- Tvorcovia obsahu, ktorí by lokálnu AI využívali na prepis zvukových nahrávok, spracovanie textu alebo analýzu obrázkov, pričom ich podklady nikdy neopustia počítač
Zhrnutie
SAPPHIRE AMD Radeon AI PRO R9700 je poctivý produkt: robí presne to, na čo bola navrhnutá, a robí to dobre. Nesnaží sa byť hernou grafikou ani univerzálnym riešením na všetko. Pri lokálnej prevádzke AI ponúka presvedčivý výkon, predvídateľné správanie a praktickú využiteľnosť. Testy s modelom Qwen 3.5 35B ukazujú, že dnes už aj otvorený model so stredným počtom parametrov dokáže písať zmysluplné tvorivé texty, generovať funkčný kód, riešiť matematické úlohy a analyzovať obrázky. To všetko lokálne, bez rizika úniku dát.
Stabilita pri súbežnom spracovaní úloh a vyrovnaná rýchlosť generovania tokenov naznačujú, že táto karta môže poslúžiť aj ako základ serióznej pracovnej stanice, nielen ako pomôcka pre nadšencov. Vzhľadom na vysokú cenu nejde o impulzívny nákup. Kto však vie, na čo ju potrebuje, tomu sa investícia vráti.
