Forradalmi időket élünk a nyelvtechnológiában. (Ha olvasónk nem hinne ebben, és vizuális bizonyítékokat követelne, blogunkról ezt az írást ajánljuk.)

A nagy nyelvi rendszerek korát látjuk. A kísérletezés korát éljük. Az óriási adatmennyiséggel dolgozó, befolyásos, nagy – esetenként a kormányok által is támogatott – kutatóintézetek, cégek, műhelyek csatájával szembesülünk. A cél persze, mint minden rendes sci-fi regényben, az információs hatalom megszerzése. Ennek egyik, cikkünk témájába vágó eszköze: a mélytanuláson alapuló nyelvi rendszerek fejlesztése.

Eddig főleg a nyugati sikerekről hallottunk. Egyre ismertebbek az idetartozó nevek: az amerikai OpenAI GPT-3, a Microsoft-NVIDIA Megatron-Turing NLG, a Meta (Facebook) OPT-175B vagy a Google PaLM modellje. A legfrissebb, augusztus hetéből származó bejelentés viszont azt mondja, hogy kínai kutatók az eddigieknél is jobban teljesítő rendszert hoztak létre. 

A GLM-130B nevű rendszer 200 millió angol és 200 millió kínai tokent (szót vagy nyelvi elemet) tartalmaz. Ezzel nem számít rekordernek, de a tesztekben jobb teljesítményt mutatott a már említett, jól ismert amerikai megoldásoknál.

A projekt – ahogy a hasonlóaknál az MI világában már megszokhattuk – igencsak fiatal. 2021 decemberében a Thingsua Egyetem egy speciális kutatási részlegében brainstormingot tartottak. A jelen lévők olyan nyelvi rendszert szerettek volna létrehozni, mint a csak angol nyelvű, már népszerű GPT-3, amely a kínai nyelvet is kezelni tudja. A kezdeti nehézségek után az áttörést az informatikai és erőforrás-hátteret biztosító Zhipu.AI nevű startup cég segítsége jelentette. 

A GLM-130B jelentősége

Ahogy a bevezetőben már elhangzott, az informatikában jelentős három központ (USA, Kína, EU) jelentős forrást áldoz a mélytanulás elvén működő, emberek által létrehozott szövegek és képek gépi megvalósítására. A nyelvi modellek úgy képesek szövegeket alkotni, hogy a hatalmas adatbázis szövegei alapján tanított modell megjósolja, milyen szavak következhetnek egymás után egy mondatban, egy beszélgetés során vagy egy kódsorban. Olyan gépeket, informatikai megoldásokat kell elképzelni a jövőben, amelyek szinte a megszólalásig, a nevezetes (és persze nem teljesen feddhetetlen) Turing-teszten is átmenve emberi minőségű kommunikációt képesek megvalósítani: értik és megválaszolják a különböző nyelven feltett kérdéseket, vagy gombnyomásra emberszerű alkotásokat hoznak létre.

Minél nagyobb adatbázison, minél jobban megírt algoritmusokkal teszik ezt a kutatók, annál pontosabb kimeneti végeredményt kapnak. A következő felhasználási terület egyébként pont a hiányszakmának számító programozóknak támaszt konkurenciát: a GPT-3-ra épülő Copilot és Codex eszközök bizonyos fejlesztői környezetekben (például: Python, JavaScript, TypeScript, Ruby, Go) képesek a kódot kiegészíteni, vagyis a programozó helyett dolgozni. 

A kínaiaknak már erre is megvan a maguk válasza: a Huawei Noah’s Ark Lab és a Huawei Cloud együttműködésében a PanGu-Coder eszköz is használható ugyanarra, mint a Copilot. A nem elhanyagolható különbség viszont az, hogy ez utóbbi nemcsak szövegeken, hanem programsorokon is tanult, így a pontossága is valószínűleg jobb, mint nyugati társaié. 

Mindezek mellett elmondható, hogy izgalmas korszakban élünk, ahol hónapról hónapra újdonságokkal szembesülünk.

Érdemes nyitott szemmel járni, mert a nyelvi fejlesztések következményeit mi is tapasztalni fogjuk!

Aki szeretne feliratkozni a kipróbálók közé, IDE kattintson!