Milyen GPU kell AI-hoz 2026-ban? LLM és Local AI videokártya választási útmutató

AI-hoz nem egyszerűen „erős videokártya” kell. A megfelelő AI GPU kiválasztását elsősorban az dönti el, hogy milyen modellt szeretnénk futtatni, mekkora VRAM szükséges hozzá, inference, fine-tuning vagy training a cél, milyen kvantálást használunk, és milyen szerverbe vagy munkaállomásba kerül a kártya.

LLM és Local AI feladatoknál sok esetben a GPU memória, vagyis a VRAM az első gyakorlati korlát. Ha a modell és a futtatás közben szükséges további adatok nem férnek el a GPU memóriájában, önmagában a magas számítási teljesítmény sem oldja meg a problémát. Ugyanakkor a VRAM mérete sem minden: számít a GPU architektúrája, a Tensor Core teljesítmény, a memória-sávszélesség, a támogatott numerikus formátumok, a PCIe kapcsolat, a fogyasztás, a hűtés és a teljes rendszer kialakítása is.

Ha konkrét kártyát keresel, az Interbolt AI GPU kategóriában professzionális NVIDIA gyorsítók érhetők el szerveres és workstation felhasználásra. A komplett AI infrastruktúrához az AI & Machine Learning hardver kategória ad további kiindulópontot.

Mitől függ, milyen AI GPU-ra van szükség?

1. VRAM: gyakran ez az első szűk keresztmetszet

Egy nagy nyelvi modell súlyainak először el kell férniük a GPU memóriájában. Nagyon leegyszerűsített elméleti közelítésként egy modell súlyai FP16/BF16 formátumban körülbelül 2 bájt, INT8 körül 1 bájt, 4 bites kvantálásnál pedig körülbelül 0,5 bájt memóriát igényelnek paraméterenként.

Ez azonban nem a teljes futási memóriaigény. Inference közben plusz memóriát foglalhat például a KV cache és a futtatókörnyezet; trainingnél pedig gradiensek, optimizer state-ek, aktivációk és ideiglenes tenzorok is megjelennek. A Hugging Face dokumentációja ezért külön kezeli a modell súlyait és a training közben szükséges további memóriaelemeket.

2. Kvantálás: ugyanaz a modell teljesen más VRAM-igényű lehet

A kvantálás az egyik legfontosabb technika Local AI és LLM inference esetén. A Hugging Face bitsandbytes dokumentációja szerint a 8 bites betöltés a modell memóriahasználatát körülbelül a felére csökkentheti, a 4 bites kvantálás pedig ennél is kisebb memóriaigényt tehet lehetővé.

Ezért önmagában az, hogy egy modell például 7B, 13B vagy 70B paraméteres, még nem mondja meg pontosan, hogy mekkora GPU kell hozzá. A modellformátum, a kvantálás, a context mérete, a batch size és a kiszolgálás módja együtt határozza meg a tényleges memóriaigényt.

3. Tensor Core, architektúra és memória-sávszélesség

Az AI workloadok jelentős része mátrixműveletekre épül, ezért a professzionális NVIDIA GPU-knál a Tensor Core generáció és a támogatott precíziók fontosabbak lehetnek, mint a hagyományos grafikus specifikációk. Az Ada Lovelace professzionális kártyák negyedik generációs Tensor Core-okat használnak, és FP8 gyorsítást is támogatnak.

A memória-sávszélesség szintén lényeges: egy GPU hiába rendelkezik elegendő VRAM-mal, ha az adott workload alatt a memória-hozzáférés válik szűk keresztmetszetté. AI kártya választásakor ezért a VRAM mennyisége mellett a memória alrendszerét is érdemes vizsgálni.

4. Fogyasztás, hűtés és form factor

AI szerver építésénél a fizikai kompatibilitás ugyanolyan fontos, mint a számítási teljesítmény. Egy 300 W-os, kétfoglalatos, aktív hűtésű workstation GPU egészen más követelményeket támaszt, mint egy 72 W-os, low-profile, egyfoglalatos datacenter gyorsító.

Ellenőrizni kell a PCIe slotot, a rendelkezésre álló PCIe lane-eket, a tápcsatlakozást, a tápegységet, a kártya hosszát és magasságát, a szerver légáramlását, valamint azt is, hogy a konkrét Dell, HPE vagy más platform támogatja-e a kiválasztott GPU-t.

Mennyi VRAM kell AI-hoz és LLM-hez?

Az alábbi táblázat gyakorlati iránymutatás. Nem merev kompatibilitási határ, mert ugyanaz a modell eltérő kvantálással és context beállítással teljesen más memóriaigényt mutathat.

Modellméret és elméleti súlymemória

Csak a modell súlyait számolva – futási overhead, KV cache és egyéb memória nélkül – a nagyságrend körülbelül így alakul:

Fontos: ezek közelítő, elméleti értékek csak a modell súlyaira. A tényleges futtatás több memóriát igényelhet. Hosszabb context, nagyobb batch size és párhuzamos kérések növelik a memóriaigényt.

Inference, fine-tuning vagy training? Nem ugyanaz a hardverigény

LLM inference

Inference során egy már betanított modellt használunk válaszadásra, dokumentumfeldolgozásra, kódgenerálásra, RAG rendszerre vagy más alkalmazásra. Itt jellemzően az a cél, hogy a modell elférjen a GPU memóriájában, és a kívánt válaszidővel, contexttel és párhuzamossággal fusson.

Local AI chatbothoz, belső vállalati asszisztenshez vagy RAG rendszerhez ezért gyakran a VRAM / teljesítmény / fogyasztás hármasa a legfontosabb.

LoRA és QLoRA fine-tuning

Fine-tuningnál a cél egy meglévő modell adaptálása saját adatokhoz vagy feladathoz. LoRA és QLoRA technikákkal nem feltétlenül kell a teljes modell minden paraméterét újratanítani. A 4 bites QLoRA különösen fontos, mert a modell alacsonyabb bitmélységű reprezentációja jelentősen csökkentheti a szükséges GPU memóriát.

Teljes training

Teljes trainingnél a hardverigény nagyságrendekkel magasabb lehet. A modell súlyain kívül gradiensek, optimizer state-ek, aktivációk és ideiglenes tenzorok is GPU memóriát foglalnak. A Hugging Face egyik memória-anatómiai példája egy 4 milliárd paraméteres modell mixed-precision trainingjéhez körülbelül 85 GB GPU-memóriaigényt mutat adott batch-konfiguráció mellett.

24 GB vagy 48 GB AI GPU?

Mikor elég a 24 GB?

A 24 GB-os kategória sok Local AI projekt számára jó kiindulópont. Ide tartozhatnak kisebb-közepes kvantált LLM-ek, RAG rendszerek, Stable Diffusion és más generatív képfeldolgozás, computer vision, AI fejlesztés és energiahatékony inference.

Két külön karakterű példa erre az NVIDIA RTX 4500 Ada és az NVIDIA L4. Mindkettő 24 GB GPU memóriát kínál, de teljesen más környezetre készült.

• NVIDIA RTX 4500 Ada: 24 GB GDDR6 ECC, 210 W maximális fogyasztás, PCIe Gen4 x16, aktív dual-slot workstation kialakítás.
• NVIDIA L4: 24 GB memória, 300 GB/s sávszélesség, 72 W TDP, low-profile, egyfoglalatos PCIe gyorsító szerveres és datacenter környezethez.

Az Interbolt kínálatában elérhető NVIDIA L4 24 GB Tensor Core GPU tipikusan olyan rack szerveres környezethez érdekes, ahol a fogyasztás, a helyigény és az inference-hatékonyság egyaránt fontos.

Mikor indokolt a 48 GB?

A 48 GB-os kategória akkor válik igazán értékessé, ha nagyobb LLM-eket szeretnénk egyetlen GPU-n tartani, hosszabb contextet használunk, nagyobb batch mérettel dolgozunk, vagy hosszabb távra szeretnénk nagyobb tartalékot.

Az Interbolt jelenlegi AI GPU kínálatában két 48 GB-os professzionális megoldás is szerepel:

• NVIDIA RTX A6000 48 GB – Ampere architektúra, ECC GDDR6, 300 W, aktív dual-slot kivitel, NVLink támogatás.
• NVIDIA RTX 6000 Ada 48 GB – Ada Lovelace architektúra, ECC GDDR6, negyedik generációs Tensor Core, 300 W, aktív dual-slot kivitel.

NVIDIA RTX A6000, RTX 6000 Ada és L4 – mire jók AI-ban?

NVIDIA RTX A6000 48 GB

Az RTX A6000 továbbra is érdekes AI-kártya, főleg a 48 GB ECC GDDR6 memória miatt. PCIe Gen4 x16 interfészt, 300 W maximális fogyasztást és aktív, kétfoglalatos kialakítást használ. Az A6000 támogatja a kétkártyás NVLink kapcsolatot is.

Ez olyan AI workstation vagy compute konfigurációban lehet előnyös, ahol a nagy VRAM mellett a multi-GPU lehetőség is fontos. Ugyanakkor két GPU memóriája nem minden alkalmazásban adódik össze automatikusan; a szoftvernek támogatnia kell a több GPU közötti modell- vagy adatfelosztást.

NVIDIA RTX 6000 Ada 48 GB

Az RTX 6000 Ada 48 GB ECC GDDR6 memóriával, PCIe Gen4 x16 kapcsolattal, 300 W-os maximális fogyasztással és negyedik generációs Tensor Core-okkal készül. Az NVIDIA kifejezetten AI training, AI inference, generatív AI, data science és professzionális workstation workloadokra is pozicionálja.

Ha a cél egyetlen workstation GPU-val nagy VRAM-kapacitás és újabb Tensor Core generáció, az RTX 6000 Ada erős kiindulópont.

NVIDIA L4 24 GB

Az L4 teljesen más filozófiát képvisel. 24 GB GPU memóriája, 300 GB/s memória-sávszélessége és mindössze 72 W TDP-je van, miközben egyfoglalatos, low-profile PCIe kártya.

Ezért rack szerveres inference, video AI, edge és energiahatékony datacenter feladatokra különösen érdekes. Egy 72 W-os L4-et nem érdemes pusztán ugyanazon szempontok szerint összehasonlítani egy 300 W-os workstation kártyával: a célkörnyezetük eltérő.

Workstation GPU vagy szerver/datacenter GPU?

A választásnál először azt kell eldönteni, milyen környezetben fog futni a rendszer.

Workstation GPU előnyei

• saját aktív hűtés;
• asztali vagy torony workstation környezetbe egyszerűbb integráció;
• DisplayPort kimenetek;
• professzionális grafikai és AI workloadok egy gépen;
• nagy VRAM-os modellek, például 48 GB-os RTX kategória.

Datacenter GPU előnyei

• szerveres form factor;
• jobb GPU-sűrűség bizonyos platformokban;
• energiahatékony inference;
• virtualizációs és szerveres használatra optimalizált környezet;
• rack szerveres légáramláshoz tervezett kivitel.

AI szerverhez az Interbolt rack szerver kínálatában érdemes olyan platformot választani, amely megfelelő PCIe bővíthetőséggel, tápegységgel és hűtéssel rendelkezik. Márkánként külön is böngészhetők a Dell PowerEdge rack szerverek és a HPE ProLiant rack szerverek.

Egy vagy több GPU?

Nagyobb modelleknél a multi-GPU rendszer növelheti az összes rendelkezésre álló számítási teljesítményt és memóriakapacitást, de fontos megérteni a korlátot:

2 × 24 GB GPU nem minden esetben viselkedik úgy, mint egyetlen 48 GB-os GPU.

A modellnek vagy a futtató frameworknek támogatnia kell a több GPU közötti felosztást. Egyes eszközök képesek a modell rétegeit vagy tensorait több GPU között elosztani, de ilyenkor a GPU-k közötti kommunikáció is hatással van a teljesítményre.

Ezért ha a legfontosabb követelmény az, hogy egy nagy modell egyszerűen és kiszámíthatóan elférjen, gyakran előnyösebb egyetlen nagyobb VRAM-os GPU. Ha viszont throughput, párhuzamos kiszolgálás vagy nagyobb training workload a cél, több GPU lehet a megfelelő irány.

Milyen CPU, RAM és SSD kell az AI GPU mellé?

CPU

Inference esetén a GPU végzi a legnagyobb számítási munkát, de a CPU továbbra is fontos a rendszerfolyamatokhoz, adat-előkészítéshez, tokenizáláshoz, storage kezeléshez és több GPU esetén a PCIe erőforrásokhoz.

Több GPU-s konfigurációnál különösen fontos a rendelkezésre álló PCIe lane-ek száma és a processzorplatform topológiája.

Rendszermemória

24 GB-os GPU mellett 64 GB rendszer-RAM sok fejlesztői és kisebb professzionális környezetben jó kiindulópont lehet. 48 GB-os GPU esetén 128 GB vagy több rendszer-RAM rugalmasabb konfigurációt adhat. Ez azonban nem merev szabály: a dataset, a CPU offload, a model loading és az alkalmazás határozza meg a tényleges igényt.

A kompatibilis ECC modulokhoz lásd az Interbolt szervermemória kínálatát.

SSD

AI modellek, datasetek és checkpointok gyorsan több száz gigabájt tárhelyet foglalhatnak. NVMe SSD használata előnyös lehet modellbetöltésnél, dataset kezelésnél és nagy I/O-terhelésű pipeline-oknál.

Szerveres háttértárhoz az enterprise SSD kínálat ad kiindulópontot.

Tápegység és hűtés

Egy 300 W-os GPU önmagában jelentős terhelést jelent. Két ilyen kártya már csak GPU-oldalon 600 W körüli maximális fogyasztást képviselhet. Ehhez hozzáadódik a CPU, memória, SSD-k, ventilátorok és egyéb komponensek fogyasztása.

Rack szervernél a hűtést nem szabad utólagos részletként kezelni. A szervernek megfelelő légáramlást kell biztosítania, és célszerű a gyártó által támogatott GPU konfigurációt használni.

Gyors AI GPU választási táblázat

Gyakori hibák AI GPU vásárlásakor

Csak a CUDA magok számát nézni

AI-nál a nyers compute önmagában nem elég. Ha a modell nem fér el a VRAM-ban, az erősebb GPU sem használható ki megfelelően.

A VRAM-ot merev modellméret-határként kezelni

A kvantálás, context és runtime overhead miatt ugyanaz a modell különböző konfigurációkban teljesen más memóriaigényű lehet.

Workstation és datacenter GPU-t ugyanúgy kezelni

Az aktív hűtésű dual-slot workstation kártya és az egyfoglalatos low-profile szerver GPU nem ugyanarra a gépházra és légáramlásra készült.

Nem ellenőrizni a szerver kompatibilitását

GPU vásárlás előtt ellenőrizni kell a slotot, a PCIe generációt és lane-eket, a tápot, a hűtést, a BIOS/firmware támogatást és a fizikai méretet.

Azt feltételezni, hogy „ha elfér, akkor gyors is lesz”

A modell betöltése csak az első lépés. A tényleges használhatóságot a token/s teljesítmény, latency, context, batch size és a párhuzamos kérések száma is meghatározza.

Melyik AI GPU-t válasszam?

A legjobb döntési sorrend:

1. Határozd meg a workloadot: LLM inference, RAG, fine-tuning, Stable Diffusion, computer vision vagy training.
2. Válaszd ki a modellt és a kvantálást.
3. Számold meg a szükséges VRAM-ot tartalékkal együtt.
4. Döntsd el, workstation vagy rack szerver lesz-e a platform.
5. Ellenőrizd a PCIe, táp, hűtés és fizikai kompatibilitást.
6. Csak ezután hasonlítsd össze az ár/teljesítményt.

Gyakori kérdések

Mennyi VRAM kell egy LLM futtatásához?

A modell méretétől, a kvantálástól, a context méretétől és a futtató környezettől függ. Egy 7B modell súlyai FP16-ban elméletileg körülbelül 14 GB-ot, 8 biten körülbelül 7 GB-ot, 4 biten körülbelül 3,5 GB-ot igényelnek, de a tényleges futás további memóriát használ.

Elég 24 GB VRAM Local AI-hoz?

Sok esetben igen. 24 GB-on számos kisebb és közepes kvantált LLM, RAG rendszer, képgenerálási és computer vision workload futtatható. Nagyobb modellek, hosszabb context vagy nagyobb párhuzamosság esetén viszont hamar szűk lehet.

Mire elég 48 GB VRAM?

48 GB jelentősen nagyobb mozgásteret ad nagyobb LLM-ekhez, hosszabb contexthez, nagyobb batch mérethez és professzionális AI workstation feladatokhoz. Egyetlen GPU-val egyszerűbb lehet olyan modellt futtatni, amely 24 GB-on már nem fér el kényelmesen.

RTX A6000 vagy RTX 6000 Ada jobb AI-ra?

Mindkettő 48 GB ECC GDDR6 memóriát kínál. Az RTX 6000 Ada újabb Ada Lovelace architektúrát és negyedik generációs Tensor Core-okat használ; az RTX A6000 egyik különleges előnye a kétkártyás NVLink támogatás. A döntést a workload, a meglévő platform és a több-GPU-s igény alapján érdemes meghozni.

NVIDIA L4 jó LLM inference-re?

Igen. Az NVIDIA az L4-et kifejezetten energiahatékony AI inference, video AI és szerveres workloadok gyorsítására pozicionálja. 24 GB memóriával és 72 W-os TDP-vel különösen érdekes lehet sűrű rack szerveres környezetben.

Összeadódik két GPU VRAM-ja?

Nem automatikusan. A szoftvernek támogatnia kell a modell több GPU közötti elosztását. Ezért 2 × 24 GB nem minden esetben helyettesít egyetlen 48 GB-os GPU-t.

Mennyi rendszer-RAM kell egy AI gépbe?

Nincs univerzális szám. 24 GB-os GPU mellett 64 GB RAM gyakran jó kiindulópont, míg 48 GB-os professzionális GPU-val 128 GB vagy több rendszer-RAM rugalmasabb lehet. Nagy dataset, CPU offload és több szolgáltatás további memóriát igényelhet.

Gaming vagy professzionális GPU jobb AI-ra?

Gaming GPU is lehet gyors AI-ra, de professzionális környezetben a nagy VRAM, ECC memória, enterprise driver, vGPU-támogatás, form factor, 24/7 üzem és gyártói szerver/workstation kompatibilitás sokszor fontosabb szempont.

Források és műszaki hivatkozások

• NVIDIA RTX 6000 Ada – hivatalos specifikáció
• NVIDIA RTX A6000 – hivatalos specifikáció
• NVIDIA RTX 4500 Ada – hivatalos specifikáció
• NVIDIA L4 – hivatalos specifikáció
• Hugging Face Transformers – bitsandbytes quantization
• Hugging Face Transformers – GPU memory usage

A cikkben szereplő VRAM- és modellméret-példák iránymutató jellegűek. A tényleges memóriaigény a konkrét modelltől, frameworktől, kvantálástól, contexttől, batch size-tól és futtatási módtól függ.