Kérdeztél már a ChatGPT-től egy tünetet, egy jogi fogalmat, egy pénzügyi döntést? Ha igen, biztosan emlékszel erre az érzésre: a válasz részletes, folyékony, magabiztos volt. Szinte szakszerű, és a hangsúly a „szinte” szón van. A nagy nyelvi modellek (LLM-ek) ugyanolyan határozott hangon közölnek kitalált állításokat, mint valós tényeket, és képtelenek jelezni, mikor lépnek túl a tudásuk határán. Evidencia? Ha csak a közelmúlt néhány esetét nézzük, nem mindenkinek. Ezek a példák arra figyelmeztetnek mindenkit: csak óvatosan a mindentudó, havi 20 dolláros MI-modellünkkel!

Igaz történetek, valós következmények

2023-ban a Mata vs. Avianca-ügy komoly botrányt kavart az amerikai jogászkörökben. Steven Schwartz, a több mint három évtizedes tapasztalattal rendelkező ügyvéd ChatGPT segítségével készítette el bírósági beadványát; a dokumentum hat olyan precedenst tartalmazott, amelyek sosem léteztek. A bíróság 5000 dolláros bírsággal sújtotta a jogi képviselőket, az ügyet pedig elutasították.

Nem elszigetelt esetről van szó. A massachusetts-i ügyvédi felügyeleti szerv azóta nyilvánosan megrótt egy másik jogászt is fiktív hivatkozások bíróságra történő benyújtása miatt. Egyes esetekben a bírók megtiltották, hogy az érintett ügyvédek kiszámlázzák azokat az órákat, amelyeket az MI-vel generált hibák utólagos javításával töltöttek.

Az egészségügyi szféra veszteségei még súlyosabbak. 2023 tavaszán az Egyesült Államok legnagyobb étkezési zavarokkal foglalkozó nonprofit szervezete, a NEDA bevezette a Tessa nevű chatbotot, felváltva a telefonos segélyvonalát. A rendszer néhány napon belül veszélyes kalóriacsökkentési tanácsokat adott az anorexiával küzdő felhasználóknak, és le kellett állítani. Az ezt követő chatbot-tragédiák sora még riasztóbb képet mutat: fiatalok, akik érzelmi problémáikkal MI-avatárokhoz fordultak, és akiknél a technológia nem segített, hanem a bajt mélyítette.

Miért téved ennyire?

A hallucináció, vagyis az a jelenség, amikor az MI tényszerűnek hangzó, de kitalált információt generál, nem bug, hanem feature. Az LLM-ek valószínűségi alapon működő szó- (pontosabban: token) előrejelző rendszerek, amelyek arra vannak betanítva, hogy a szövegkörnyezethez legjobban illő következő szót adják ki. A valósnak hangzó és a valóban igaz közötti különbségre nincs belső ellenőrző rétegük.

Három korlát teszi ezt különösen veszélyessé. Az első a tudáshatár dátuma: a modell egy lezárt adathalmazon tanult, ezért nem ismeri a legfrissebb jogszabályokat, orvosi protokollokat vagy piaci változásokat. A második a kontextusfüggőség: egy rosszul megfogalmazott kérdés nem korrekcióra, hanem a hiba felerősítésére készteti az MI-t. A harmadik a „segítőkész, de téves" jelenség: a modellek arra vannak kondicionálva (tanítva), hogy mindenképpen válaszoljanak, így inkább meggyőző, de hamis választ adnak, minthogy beismerjék a tudásuk hiányát.

A számok is ezt mondják

A JAMA Pediatrics szakfolyóiratban publikált vizsgálatban a Cohen Children'sMedical Center orvosai 100 gyermekgyógyászati esetet vittek be a ChatGPT-3.5-be, az MI pedig 83%-os hibaarányt ért el. 72 esetben teljesen téves diagnózist adott. Egy 150 Medscape-esetet vizsgáló elemzés szerint a diagnosztikai pontosság alig haladta meg a véletlen szintjét: az AUC-érték csupán 66% volt.

A jogi területen a Stanford Egyetem kutatói azt mérték, hogy az általános célú LLM-ek a jogi kérdések megválaszolása során 58 és 82% közötti arányban hallucinálnak. A kifejezetten jogi célra fejlesztett prémium rendszereknél is 17 és 33% közötti hibaarányokat mértek független vizsgálatokban.

Szabályozás és felelősség

Az EU mesterséges intelligenciáról szóló rendelete (EU AI Act) eredetileg 2026. augusztus 2-ától tette kötelezővé a szigorú megfelelőségi szabályokat az egészségügyi és igazságszolgáltatási MI-alkalmazásokra. A jogalkotók közben reagáltak a piaci jelzésekre, és kitolták a határidőket. Az igazságszolgáltatási MI-alkalmazásokra 2027. december 2-ától, míg a szabályozott egészségügyi orvostechnikai eszközökbe épített MI-rendszerekre 2028. augusztus 2-ától válnak kötelezővé a szigorú megfelelőségi szabályok.

Az amerikai FTC 2024-ben Operation AI Comply nevű eljárást indított az MI-képességek félrevezető marketingje ellen.

Közben az MI-fejlesztők, köztük az OpenAI, a saját felhasználási feltételeikben (Terms of Service) egyértelműen rögzítik: a rendszer kimenetei nem minősülnek orvosi, jogi vagy pénzügyi tanácsadásnak, és a valóságtartalmukért nem vállalnak felelősséget. Ez technológia korlátainak beismerése.

Kérdezz bátran, döntsd el te

Az MI kiváló eszköz arra, hogy tájékozódj, kérdéseket fogalmazz meg, lehetőségeket térképezz fel,de nem mindenható, mindent tudó entitás. Nem alkalmas arra, hogy egy orvos, egy jogász vagy egy pénzügyi tanácsadó helyett döntsön. A technológia magabiztosan tévedhet, a következmény viszont a te életedre lesz hatással.