Hogyan tanult meg magyarul?

A Clementine-nál 2007 óta foglalkozunk magyar nyelvű szövegbányászattal SPSS-alapokon és fejlesztjük az erre épülő megoldásainkat. Számos hobbi, demó és pilot projekt után értünk el az első, éles üzemben működő alkalmazásunk bevezetéséig, de addig is nagyon sok tudást, adatot és szótárt halmoztunk fel, amelyek kifejezetten jól jönnek egy új eszköz tanításához és teszteléséhez.

A magyarítást az IBM Watson Explorer (WEX) nevű eszközével kezdtük, melynek alapjai gyakorlatilag „a szuperszámítógép Watson” alapjai is egyben.

Az első lépés volt, hogy megtanítottuk felismerni a magyar nyelvet.
A nyelvfelismerés a szövegbányászati feldolgozás nulladik lépése, így van ez a Watson esetében is: ahhoz, hogy tudja, hogy egy adott szövegre mely szabályokat, szótárakat kell alkalmaznia, először meg kell határoznia annak nyelvét.
A feladat megoldására számos megközelítés létezik. Minden nyelvre jellemző, hogy egyes szavak, speciális karakterek vagy karaktersorozatok gyakrabban fordulnak elő, mint más nyelvekben. A magyar nyelvre jellemző például a hosszú ékezetes karakterek alkalmazása (á, é, ő, stb), ám ezek hiánya nem jelenti azt, hogy biztosan nem magyar egy szöveg (gondoljunk egy fórumra, ahol a hozzászóló nem használ ékezeteket).
A feladatunk tehát az volt, hogy a magyar nyelvre jellemző karakter-, karaktersorozat-elosztást képezzük le egy szótár formájában.

A második lépés volt, hogy megtanítsuk „érteni” a magyar nyelvet.
Azaz, hogy megtanítsuk a magyar szövegeket mondatokra, szavakra bontani, a szavakat szótövezni és megállapítani a szófajukat. Mondhatjuk, hogy könnyű dolgunk volt: a Watson „csak” egy nagy, annotált tanítómintát várt el, amit mi az SPSS Modelerbe ágyazott CLEMTEXT megoldásunk – melynek alapja a Szegedi Tudományegyetem magyarlánc-alkalmazása – segítségével automatikusan elő tudtunk állítani. Persze kellett hozzá az évek során felhalmozott korpusz, ami főleg hírekből, blogbejegyzésekből állt össze, teljesen vegyes témában.
A korpuszunk több mint 9000 „dokumentumból”, 210 ezer mondatból állt. A stopszavak kiszűrése után a tanítómintánk több mint 38 ezer szótőt, kb. 110 ezer ragozott alakot és az ezekhez tartozó szófaji megjelölést tartalmazta.
A harmadik lépés, hogy megtanítsuk érteni az adott iparágat.
A Watson koncepciója bizonyos szempontból nagyon távol van az SPSS-nél megszokott működéstől, de alapjaiban azért sok a hasonlóság: szótárakra van szükségünk ahhoz, hogy definiáljuk, milyen típusú információt akarunk kinyerni a szövegből, ezek a szótárak pedig iparág-, domainspecifikusak.
Az elmúlt években számos szöveg-analitikai projektünk volt a legkülönbözőbb iparágakban, megtanultuk, hogy építsünk fel és szabjunk testre egy-egy iparági szótárat.  Most pedig megtanultuk, hogyan tanítsuk meg mindezt Watsonnak.

Kell még nyelvet tanulni?

Van, aki azt várja, hogy néhány éven belül már nem kell nyelvtanulással foglalkoznunk, elég lesz egy kis kütyü, ami a fülünkbe téve valós időben fordítja nekünk, amit külföldi beszélgetőpartnerünk mond. Amazonról már tulajdonképpen mai is megrendelhetünk egy olyan eszközt, ami képes angol és néhány nagyobb nyelv között ezt megvalósítani, de attól valószínűleg még messze vagyunk, hogy mondjuk az Adrián magyar és horvát nyelven ezt használhassuk.
A nagy szállítók nyelvtechnológiai alkalmazásai persze sok nyelven elérhetők – magyarul és horvátul is –, azonban ezek általános megoldások, amelyek az üzleti felhasználásban nem érik el a kívánt pontosságot. Nagy szerepe lesz tehát a jövőben is a nyelvre és az iparágakra tanítható, akár egyedi megoldásoknak.

 8/I. lapszámában jelent meg. A magazin ingyenesen megrendelhető a Ez az e-mail-cím a szpemrobotok elleni védelem alatt áll. Megtekintéséhez engedélyeznie kell a JavaScript használatát. e-mail címen.