Erre hivatkoznak a trónkövetelők, az újabb modellek, és ezzel büszkélkednek az élenjárók. A nagyméretű nyelvi modellek (LLM-ek) robbanásszerű fejlődésen mentek keresztül, és ez megkívánta az objektív összehasonlítást is. Éppen ezért megjelentek az LLM rangsorok (leaderboardok), amelyek célja, hogy összehasonlítsák a különböző modellek teljesítményét, és segítsék a fejlesztőket a megfelelő modell kiválasztásában. De vajon mennyire megbízhatóak ezek a rangsorok? A cikkben áttekintjük az LLM leaderboardok fogalmát, működését, az értékelési metódusokat, valamint a rangsorok hátulütőit és a velük kapcsolatos problémákat.

Miért van szükség leaderboardokra?

Az LLM Leaderboard-platformok különböző értékelési benchmarkok alapján rangsorolják a nagyméretű nyelvi modelleket. Ezek a rangsorok összehasonlító képet adnak a vezető modellekről, bemutatva, hogy azok hogyan teljesítenek a nyelvi megértéstől kezdve a tartalomgenerálásig terjedő feladatokban. Az LLM Leaderboardok a kutatók, fejlesztők és felhasználók számára is referenciaként szolgálnak, hogy felmérjék a különböző LLM-ek képességeit és fejlesztési területeit. A rangsorok rendszeresen frissülnek, szerepük rendkívül fontos a generatív MI gyorsan fejlődő területein, például:

Benchmarking: a rangsorok lehetővé teszik a fejlesztők számára, hogy modelljeik teljesítményét standardizált adathalmazok és feladatok alapján mérjék, világos képet adva arról, hogy hogyan viszonyulnak az iparág többi szereplőjéhez.

Innováció ösztönzése: a modellek teljesítményének nyilvános bemutatásával a rangsorok növelik az átláthatóságot és a versenyt.

Standardizált értékelés: a rangsorok szabványosított mérőrendszert biztosítanak a különböző LLM-ek értékeléséhez, egységes kritériumot kínálva, amely biztosítja az értékelések méltányosságát és következetességét.

Az LLM leaderboardok működésének lépései

Benchmarkfeladatok kiválasztása: a leaderboard üzemeltetői kiválasztanak egy sor olyan nyelvi feladatot, amelyeken a modelleket értékelni fogják. Ezek a feladatok általában a nyelvi megértés, a szöveggenerálás, a fordítás, az érzelmi elemzés és a kérdésmegválaszolás különböző aspektusait fedik le.

Adathalmazok összeállítása: a feladatokhoz megfelelő adathalmazokat kell összeállítani. Ezek az adathalmazok általában nagy mennyiségű szöveges adatot tartalmaznak, és reprezentatívnak kell lenniük a modell által megoldandó valós problémákra.

Modellek futtatása a benchmarkokon: a fejlesztők beküldik modelljeiket az értékelésre, amelyeket a leaderboard üzemeltetői lefuttatnak a kiválasztott benchmarkokon.

Eredmények értékelése: a modellek eredményeit a benchmarkokon elért teljesítményük alapján értékelik. Az értékelés során különböző metrikákat használhatnak, mint például:

• Pontosság: a modell válaszának helyessége a referenciaadatokhoz képest.

• Perplexitás: azt méri, hogy a modell mennyire jól tudja megjósolni a következő tokent egy szövegben.

• ROUGE (Recall-Oriented Understudy for Gisting Evaluation) pontszám, amely az automatikus összegzés minőségét méri, összehasonlítva a modell által generált összegzést a referenciaösszegzéssel.

• Diverzitás: a modell által generált válaszok változatosságát méri.

• Emberi értékelés: emberi értékelők szubjektív véleményét veszik figyelembe a modell válaszának relevanciájáról, koherenciájáról és minőségéről.

A metrikák mellett az LLM-ek értékelésében szerepet kapnak olyan minőségi jellemzők is, mint a relevancia, a hallucinációra való hajlam vagy a toxicitás.

Az utolsó lépés mindezek után a rangsorolás, amelyben a modelleket az eredmények alapján sorrendbe állítják, és a leaderboardon közzéteszik a rangsort.

Toplista, de…

Az LLM Leaderboardok hasznosak lehetnek a modellek összehasonlításához és a fejlődés nyomon követéséhez, de fontos tisztában lenni a korlátaikkal és a velük kapcsolatos problémákkal.

A crowdsourced A/B preference testing során az emberi értékelők szavazatai torzítottak lehetnek a szubjektív preferenciák és az egyéni megítélés miatt. Például a legújabb tanulmányok kimutatták, hogy egyes LLM-ek emberi értékelései torzítottak a hosszúság szerint, ami azt jelenti, hogy az értékelők a hosszabb, nem feltétlenül jobb válaszokat részesítették előnyben.

Az LLM-ek túlzottan illeszkedhetnek a leaderboard benchmarkokhoz. Ez azt eredményezheti, hogy a modellek finomhangolása során a fejlesztők a rangsor javítására koncentrálnak ahelyett, hogy a modell általános teljesítményét optimalizálnák. A túlzott illeszkedés félrevezető lehet a lehetséges felhasználók számára, mivel a modell kiválóan teljesíthet a kontrollált tesztekben, miközben a valós feladatokban sokkal gyengébben.

Adatszennyezés, amely akkor fordul elő, ha a tanító adathalmazok tartalmaznak információkat a leaderboardokban használt teszthalmazokból. Ez mesterségesen felfújhatja a modell teljesítményét, mivel a modell felismerheti a tesztadatok részeit az értékelés során. A leaderboardoknak szigorúan el kell különíteniük a tanító és tesztelési adathalmazokat, és szigorú ellenőrzéseket kell végezniük az értékelési folyamat integritásának biztosítására.

A legújabb kutatások kimutatták, hogy az LLM leaderboardok rangsorolása rendkívül érzékeny lehet a benchmarkok apró változásaira. Például a kérdések sorrendjének vagy a feleletválasztós válaszlehetőségek sorrendjének megváltoztatása jelentős hatással lehet arra, hogy melyik LLM kerül a rangsor élére.

Van még hova fejlődni

Szakemberek számos javaslatot tettek már az LLM-ek megbízhatóbb értékelésére.

Először is, ahelyett, hogy általános benchmarkokat használnának, a fejlesztőknek olyan benchmarkokat kell létrehozniuk, amelyek relevánsak a modell konkrét felhasználási esetére.

A modellek teljesítményének átfogóbb értékeléséhez a fejlesztőknek több értékelési metrikát kell használniuk, ahelyett, hogy csak egyetlen metrikára támaszkodnának.

Az LLMOps, az MLOps specializált ága segíthet a fejlesztőknek az LLM-ek munkafolyamatainak automatizálásában és az adatszennyezés elkerülésében.

Az emberi értékelők bevonása az értékelési folyamatba segíthet a szubjektív szempontok, mint például a relevancia és a koherencia figyelembevételében.

A modelleket valós környezetben is tesztelni kell, hogy felmérjék a modell gyakorlati hasznosságát.

A legfontosabb Leaderboardok

Már most több platform kiemelkedik a többi közül, vagyis az LLM-ek fejlesztői leginkább ezekre hivatkoznak. Íme néhány ezek közül:

A Hugging Face Open LLM Leaderboardja a nyílt együttműködést és az átláthatóságot helyezi előtérbe az LLM-ek értékelésében. Számos adathalmazt és feladatot támogat, és ösztönzi a fejlesztők hozzájárulását, elősegítve a modellek sokféleségét és az értékelési módszerek folyamatos fejlesztését. A platform hat széles körben elfogadott benchmarkot használ az LLM-ek értékeléséhez, és kiszámítja az egyes modellek benchmarkjainak átlagát. Lehetővé teszi a modellek egyszerű szűrését a modell mérete, pontossága és egyéb attribútumok szerint.

Az Open LLM Leaderboard egy évvel ezelőtti indulása óta széles körben használt forrássá vált a gépi tanulási közösségben. A Hugging Face 2024 októberi közlése szerint az Open LLM Leaderboardot az elmúlt 10 hónapban több mint 2 millió egyedi felhasználó látogatta meg, és havonta mintegy 300 000 közösségi tag dolgozik rajta aktívan.

A Chatbot Arena Leaderboard a chatbotok komplex és árnyalt párbeszédek kezelésére való képességét teszteli, így hasznos a fejlesztők számára, akik a nyelv általi ember-számítógép interakció fejlesztésére összpontosítanak. Olyan benchmark-módszert alkalmaz, amely a konverzációs válaszok emberi értékelésére támaszkodik.

A Big Code Models Leaderboard a programozási nyelvek feldolgozására szánt modellek teljesítményét értékeli. A modelleket olyan feladatokon méri, mint kódgenerálás, dokumentáció és hibakeresés, betekintést nyújtva az egyes modellek szoftverfejlesztési környezetekben való hasznosságába. Az OpenAI által létrehozott, ember által írt programozási problémák adatkészletét használja, amelyet automatikusan lefordítanak több programozási nyelvre.

Végezetül, a CanAiCode Leaderboard rangsora a modelleket a programozással kapcsolatos feladatok kezelésére való képességük alapján osztályozza, a kódgenerálástól a különböző programozási nyelvekben felmerülő problémák megoldásáig. Ember által írt programozási interjúkérdéseket használ, és automatikusan teszteli az MI által generált kódot következtetési szkriptek és sandbox környezetek segítségével. Ez biztosítja az MI kódminőségének realisztikus tesztjét.