Egy MI-modell 95%-ot teljesít a benchmarkon, aztán az éles környezetben összeomlik. A chatbot tökéletesen válaszol a tesztkérdésekre, majd valódi felhasználókkal találkozva sértő szöveget generál. Az értékelés – az „eval" – talán a legkevésbé értett, de a legkritikusabb része a modern MI-fejlesztésnek. A techóriások kiélezett piaci versenyben vannak az újabb csúcsmodellekkel, de egyre világosabb: nem elég tudni, hogy egy rendszer papíron hogyan teljesít. Meg kell érteni, mit jelent ez a gyakorlatban.

Egy új és figyelemre méltó jelenség rajzolódik ki a Z generáció körében: a tinédzserek egyre nagyobb számban fordulnak mesterséges intelligencia alapú chatbotokhoz érzelmi támogatásért és barátságért. Ez azonban korántsem egyszerű technológiai szeszély, hanem egy mélyebb társadalmi válság tünete.