Egy AI-projekt* tervezése kapcsán az egyik legmeghatározóbb kérdés a modellválasztás kérdése. Kézenfekvő és gyors megoldás valamelyik nagy fejlesztő cég API-kulcsát használni, azonban ez hosszú távon számos problémát jelenthet.

Az egyik probléma az adatvédelem kérdése. Ügyfeleknél, vállalatok belső rendszereiben, de akár csak személyes otthoni használat esetén is előfordulhat, hogy valamilyen AI által feldolgozandó adatot nem szívesen engedünk ki a saját kezünkből. Emellett, habár kaphatunk egy legalább 60 napos figyelmeztetést a modell támogatásának megszüntetéséről, ez egy komplex rendszer esetén egyáltalán nem biztos, hogy elegendő a modell cserélésére. Továbbá a tokenköltségek sok, hosszú API-hívás esetén kifejezetten nagy tételt tehetnek ki. Emellett bizonyos esetekben a válaszadási sebesség lehet annyira fontos szempont, hogy a csúcsidőben előforduló hosszabb latency kivárását nem engedhetjük meg magunknak.

Ezekre a problémákra megoldás, ha saját eszközön futtatunk LLM-et, és azt építjük be egy rendszerbe. Ennek jelenleg a talán legnagyobb akadályozó tényezője az LLM-ek futtatásához szükséges GPU-k beszerzési ára. Az LLM-ek pontos és gyors futtatásához – különösen, ha magyarul jól tudó modellel szeretnénk dolgozni – szükség van legalább 16GB VRAM-ra, de minél több, annál jobb, erősebb modellt tudunk futtatni. Erre a legegyszerűbb megoldás egy erős GPU beszerzése, míg egy alternatíva több, egyenként gyengébb GPU-ból egy szerver összerakása. Ebben az esetben megoldandó technikai részlet a több GPU között a terhelés és az LLM rétegeinek elosztása. Jogos kérdésként merül fel az NPU használata, de ez a cikk a GPU-val működő rendszereket helyezi fókuszba.

Szerencsére léteznek már olyan framework-ök, amelyek lehetővé teszik az LLM-ek saját gépen futtatását, valamint olyan technikák, amelyek bevetésével a modellek kevesebb VRAM helyen is elférnek. Az egyik ilyen framework az Ollama, ami egyszerre ad lehetőséget egy alkalmazáson keresztül felhasználóbarát módon futtatni az LLM-eket, valamint fejlesztőknek saját szerver építésére.

Azonban a keretrendszer kiválasztása még talán az egyszerűbb kérdés. Ennél egy fokkal összetettebb kérdés, hogy milyen szempontokat érdemes figyelembe venni a modell kiválasztása során. Az első, triviális szempont az, hogy a modell férjen rá a rendelkezésre álló VRAM-ra. Az LLM-ek hatalmas, jellemzően több milliárd paraméterből álló neurális hálók, amelyeknek a súlyait a lehető leggyorsabb inferencia érdekében mind egyszerre kell betölteni. Ezek a súlyok a tanítás során jellemzően 16 bitet foglalnak el a memóriában – bizonyos értékek akár 32 bitet is elfoglalhatnak – amit a legtöbb felhasználó számára elérhető GPU nem tud eltárolni.

Ennek a problémának a megoldása a kvantálás, amikor bizonyos szempontok szerinti tömörítések után a modellek súlyait kevesebb biten tároljuk el. Ez azonban egy újabb kérdést vet fel, miszerint a rendelkezésre álló 2, 3, 4, 5, 6, 8 bites kvantálások közül melyiket érdemes kiválasztani. A tapasztalat azt mutatja, hogy habár értelemszerűen érdemes egy adott feladat minél jobb elvégzéséért a legnagyobb bitszámú lehetőséget választani, a 4 bites kvantálás az esetek többségében egy jó aranyközépút a pontosság és a memóriaigény között. Ha szükségünk van a feladat pontosabb elvégzésére és rendelkezésre áll az ehhez szükséges VRAM, akkor érdemes lehet nagyobb modellt keresni.

Egy másik fontos szempont a pontos, megoldandó feladat figyelembevétele. Mivel a lokálisan futó LLM-ek képességek terén, bár egyre jobbak, egy teljes, átfogó összehasonlításban elmaradnak a nagy cégek zászlóshajó modelljeitől. Azonban bizonyos feladatokban lehetséges, hogy felveszik a versenyt azokkal, pl.: a Qwen 3.8 27B modell kódolásban kifejezetten erős, míg gyors, rövid, „sekély” kategorizálási feladatban könnyen elmaradhat a nagy cégek modelljeihez képest. Szerencsére a lokális LLM-ek világa nagyon sokszínű és egy másik modell, pl.: Llama 3.1 8B – saját tapasztalat alapján – kifejezetten erős az ilyen típusú feladatban. Így habár nincs egy svájci bicska modell, ami minden problémát tökéletesen megold, a feladatok jól szétválasztásával lehet találni olyan modelleket, amelyek együttesen egymás gyengeségeit, hiányosságait elfedik, és „csapatban” felveszik a versenyt a csúcs modellekkel.

Egy következő nagyon fontos szempont pedig a license kérdése. A Hugging Face-en a legtöbb modell mellett megtalálható az, hogy milyen módon szabad használni. A modellek license-ei a nagyon megengedő, szinte bármilyen célra felhasználhatótól a nagyon szigorúig széles skálán terjednek. Jellemzően egyéni, nem bevételt termelő, „önszórakoztató” célra szinte minden license engedi a modellhasználatot. Az Apache 2.0 és MIT license-ek nagyon megengedőek, az ezzel rendelkező modellek szabadon használhatóak üzleti célokra is. Az Apache expliciten biztosítja a szabadalmi license-t, míg az MIT nem nyilatkozik erről, ez szempont lehet egy rendszer eladásánál/értékesítésénél. A Llama license esetében szabadon használható 700 millió havi felhasználóig, afölött külön meg kell egyezni a Metával. **

A Hugging Face alkalmas modelljelöltek hatalmas armadáját tárolja. Ezek közül nem könnyű kiválasztani a számunkra megfelelőt. Erősen ajánlott így egy, a célfeladatot kellően jól leképző, többlépcsős evaluation pipeline-t építeni, ahol az első lépcső a legkönnyebb és leggyorsabb, az utolsó a legnehezebb, leghosszabb. Ennek az az értelme, hogy a sok modell közül könnyen tudjuk kiszűrni azokat, amelyekre érdemes az éles tesztelés idejét, erőforrását rászánni, míg a gyengébb modelleket gyorsan kidobjuk a versenyből.

Összességében az LLM-ek lokális futtatása mellett sok érv szól, de a kiválasztásuk nagyon erősen hardver- és probléma függő. Magyar szempontból megjegyzendő, a tapasztalatunk szerint a 8 milliárd paraméter alatti modellek teljesítménye elmarad az elfogadhatótól, afölött viszont több is érdekes már. Tapasztalataink alapján az egyik legérdekesebb ilyen modell kis mérete és jó magyar nyelvtudása alapján a Bielik, őszintén tudjuk ajánlani kipróbálásra, annak ellenére, hogy a Hugging Face oldala szerint a magyar nincs a feltüntetett nyelvek között.

*Ebben a cikkben AI alatt a nagy számítási igényű modelleken (transformerek, LLM-ek) alapuló rendszereket értjük.

** Ez a szöveg egy rövid ismeretterjesztő a különböző license-ekről, semmilyen értelemben nem tekinthető jogi tanácsadásnak.

Szerző:
Máth Benedek
Data scientist