Az AI megbízhatósága
 
(2026 szeptember)


Elgondolkodtató, hogy a nagy nyelvi, LLM modellek fejlesztési iránya járható-e? Már nem csak az adatközpontok túlzott mérete (energia- és vízigénye, skálázhatósága) probléma, hanem a LLM-ek megbízhatósága is. A modellek a hálón ellenőrizhetetlen műveleteket hajtanak végre, melyek saját magukra nézve is veszélyesek lehetnek, más platformokra pedig egyértelműen károsak. Bizottságokat hoznak létre a nem megengedett műveletek és beavatkozások, eszközök korlátozására, de a valódi megoldás máshol lesz. A technika felődéstörténetében először fordul elő, hogy egy nem tudjuk pontosan, hogy egy általunk készített gépben mi történik. Talán az AI fejlesztése új, a LeCun -féle irányban fog történni, és közepes méretű és ellenőrizhető (nyílt kódú) működésű modelleket fognak építeni, melyeknek az ügynökei piacképes applikációk lesznek, asztali gépen futtathatóak lesznek. 
A Meta szerint a biztonsági és adaptációs (alignment) feladatokat minden kutatólaboratóriumnak a napi működés szerves részeként kell kezelnie, nem pedig különálló feladatként, vagy a fejlesztések lassításának indokaként. A Meta stratégiai irányváltása szerint a nyílt súlyú (open-weight) modellek és a szuperintelligenciának nevezett koncepció mellett kötelezte el magát. A nyílt súlyú modellek esetében a betanított paramétereket közzéteszik, így azokat bárki szabadon letöltheti, futtathatja és módosíthatja. Míg az Anthropic és az OpenAI vezetői rendszeresen figyelmeztetnek a rekurzív önfejlesztés kockázataira –  amikor a mesterséges intelligencia saját magánál fejlettebb utódrendszereket hoz létre, valamint az egzisztenciális fenyegetésekre. LeCun éles kritikája szerint a mai nagy nyelvi modellek (LLM-ek) nem intelligensek, csupán szövegminták alapján valószínűségeket számolnak. Úgy véli, a mai AI-rendszerek még egy átlagos házimacska valóságértelmezési, ok-okozati és fizikai tájékozódási szintjét sem érik el. A tiszta szövegalapú tanításból hiányzik a fizikai világ megtapasztalása. Yann LeCun számára a nyílt forráskód (open-source) nem csupán egy fejlesztési módszertan, hanem a mesterségesintelligencia-stratégia legfontosabb tartóoszlopa és filozófiája. A jövő emberi tudását közvetítő MI-rendszerek nem koncentrálódhatnak néhány tech-óriás kezében, és a nyílt forráskóddal biztosítják, hogy a világ különböző kultúrái, nyelvei és kisebb vállalkozásai saját magukra formálhassák az MI-t, ahelyett, hogy egy zárt, kaliforniai központú értékrendet kényszerítenének mindenkire.
 
(Gemini: a Yann LeCun által fémjelzett JEPA, Joint Embedding Predictive Architecture, modellcsalád fejlesztése jelenleg az alábbi fázisban van:
• Világmodell stabilitása: sikerült áttörést elérni a korábbi „reprezentációs összeomlás” (representation collapse) problémáján.
• Önfelügyelt tanulás: a modellek már stabilan képesek negatív minták összehasonlítása nélkül, diszkrét látens térben előrejelezni a jövőbeli állapotokat.
• Kereskedelmi és gyakorlati fázis: a technológia kezd beépülni a Meta fejlettebb, multimodális AI-rendszereibe és képalkotó dekódereibe.
• Erőforrás-optimalizálás: a legújabb változatok (pl. LeWorldModel architektúrák) már kisebb hardverigénnyel, akár egyetlen GPU-n is hatékonyan taníthatóak.
• Célkitűzés: a fejlesztés végső iránya továbbra is a valódi józan ésszel és fizikai világérzékeléssel rendelkező, autonóm AI-ágensek létrehozása.)
 
A hagyományos szoftverekkel ellentétben, amelyek determinisztikus szabályok szerint működnek (adott bemenetre mindig ugyanazt a kimenetet adják), az AI-rendszerek működése valószínűségi, ami elvi és alapvető működés különbség, és új megközelítést igényel a minőségbiztosítás, a tesztelés és a kockázatkezelés terén. Logikai szabályok beépítésével valamennyire csökkenthetőek a valószínűségi működés okozta hibák. A megbízhatóság mérésének vannak csapdái, a benchmarkokkal (Gemini válaszok), "adatszennyezés"-sel mérik. A modellek tesztelésére használt feladatok (pl. vizsgakérdések) gyakran bekerülnek a tanítóadatok közé, és a válaszok annyira jók, amennyire a kérdések. A modell nem logikusan gondolkodik, hanem  „magol”, nem szűri ki a vizsgakérdéseket. Statisztikai jelenség: a laboratóriumi körülmények között mért 99%-os pontosság a valós, kiszámíthatatlan környezetben erősen visszaesik.
Az általános, egyszerűbb feladatoknál az AI megbízhatósága jó, az összetett, szaktudást igénylő területeken a tévedési és hallucinációs arány (amikor az AI magabiztosan valótlan adatokat talál ki) jelentős kockázat. A legfrissebb kutatások – köztük a Stanford AI Index mérései – alapján az alábbi főbb statisztikák jellemzik az AI megbízhatóságát:
1. Hallucinációs és tévedési arányok feladattípus szerint: az iparági mérések (például a Vectara és független benchmarkok adatai) világosan elkülönítik a megbízhatóságot a kontextus bonyolultsága alapján:
Egyszerű szövegek összegzése (Dokumentum-szintű): 0,7% – 5% Ha a modelleknek egy meglévő, a promptban megadott szöveget kell összefoglalniuk, a megbízhatóságuk kimagasló. A legjobb frontier modellek (pl. GPT-4o, Gemini 2.0 Flash) hallucinációs rátája ezen a téren lecsökkent 1% alá.
Nyílt végű ténybeli kérdések (Általános tudás): 15% – 25%
Amikor az AI-nak a saját belső „tudására” kell hagyatkoznia egy-egy tény felidézésekor, a hibaarány megugrik. A legújabb modellek átlagosan a kérdések 15-25%-ában adnak pontatlan választ.
Szakterület, jogi és orvosi feladatok: 17% – 88% , ami a legkritikusabb terület. Célzott rásegítés (mitigáció) nélkül az AI-alapú klinikai esetösszefoglalók 64%-a tartalmazott kitalált információkat, míg a bonyolultabb jogi kutatások és hivatkozások lekérdezésekor a hallucinációs ráta 58% és 88% között mozgott.
2. A "Reasoning" (következtető) modellek paradoxona
A fejlett, logikai gondolkodásra és lépésenkénti elemzésre kiképzett modellek (mint az OpenAI o-szériája vagy a DeepSeek R1) kiválóan teljesítenek matematikában és programozásban, ugyanakkor a tények felidézésekor 2-3-szor hajlamosabbak hallucinálni, mint a hagyományos modellek, aminek az oka, hogy a bonyolult gondolkodási lánc (Chain-of-Thought) során hajlamosak "túlgondolni" valamit, és eltávolodni a valós forrásadatoktól.
3. Vállalati tapasztalatok és kockázatok
A McKinsey és kapcsolódó globális IT-biztonsági felmérések szerint a technológia gyakorlati megbízhatósága
Az AI-t használó vállalatok 47%-a számolt be arról, hogy hoztak már meg üzleti döntést téves vagy hallucinált AI-adat alapján.
Gyártási hibák: az élesben futó vállalati AI-rendszerek szoftveres hibáinak 82%-át a modellek hallucinációi okozzák.
Kockázati észlelések: a cégvezetők és IT-döntéshozók 74%-a a pontatlanságot jelöli meg az AI alkalmazásának első számú kockázataként.
Incidensek növekedése: az igazolt AI-hibák és adatbiztonsági incidensek száma a globális adatbázisokban egy év alatt 55%-kal növekedett (éves szinten több száz komoly esetet regisztrálva).
Vállalati szinten a meglévő adatok rendszerezése, egységesítése és tudatos kezelése olyan fontos, mint az AI alkalmazása, hogy közben megőrizzék érzékeny adataik és informatikai rendszereik biztonságát, ami az üzleti, ami az üzleti és szervezeti átalakulás része.
 
A tisztán szöveges alapú asszisztencia vagy kódolási részfeladatok során az AI pontossága elérheti a 85-95%-ot, tényadatok ellenőrzése nélkül a mai napig nem létezik olyan modell a piacon, amely 100%-ig megbízható lenne.  A statisztikák alapján az AI-t jelenleg asszisztensként, de nem önálló döntéshozóként célszerű kezelni, és a kritikus területeken elengedhetetlen az emberi felülvizsgálat (human-in-the-loop). AI-ügynök ellenőrzés: léteznek infrastrukturális és fenntarthatósági korlátok. A hibrid rendszerek és folyamatos ellenőrző AI-ügynökök futtatása megtöbbszörözi a modellek energia- és hardverigényét, ami gazdasági korlátot szab az ellenőrzés megbízhatóságnak. A hardver megbízhatósága ma már a tápegységek és a hűtés megbízhatóságából számítható. Mai alaklmazási % 10% körüli, ezután várható a felfutás.
 
 A következő AI-generáció fejlesztése
 AI-modell tanít AI-modellt, a modell által írt kóddal: az Anthropic szerint kódbázisuk több mint 80 százalékát már a Claude írja!
(A GÉPI KÓDOLÁST TESZTELÉS* NÉLKÜL ALKALMAZNI: HIBA! HA EGY MÁSIK AI-ÜGYNÖKKEL TESZTELIK, NEM NŐ A MEGBÍZHATÓSÁG: 20-30%-os  EMBERI JELENLÉT SZÜKSÉGES!) 
A kutatási munka nagy hányadát végzik önálló kódíró AI-ügynökök. Várhatóan a 80%-os részt 70-75%-ban fogják maximálni,
az automatizált tesztrendszerek (CI/CD) és a statikus kódanalízis (SAST) esetén* is. A rekurzív önfejlesztésnek (recursive self-improvement) nevezett technika miatt az iparág több szereplője a fejlesztések lassítását, leállítását sürgeti, mert az ellenőrzési és biztonsági képességek nem tartanak lépést az exponenciális fejlődéssel. A látványos számok mögött a gyors kódolás áll, és nem valódi autonóm önfejlesztés, míg a nyílt végű kutatási feladatokban az AI-ügynökök még alul teljesítenek.

A megbízhatósági problémák egyik eredete az input. Az AI-modellek az input adatokból tanulnak. Ha a bemeneti adatok torzítottak (bias), hiányosak vagy elavultak, a rendszer hibás következtetéseket von le.  Angolul  "Garbage in, garbage out" elvnek nevezik, a "Szemét be, szemét ki" elv. A 'Fekete Doboz' (Black Box) jelenség miatt a mélytanulási modellek (pl. neurális hálózatok) belső döntési mechanizmusai átláthatatlanok a fejlesztők számára, tehát a "szemét", a hibás bemenő adat következményei megjelennek a kimeneten. Komoly kockázatot jelent a hallucináció a nagy nyelvi modellek (LLM) esetében, ekkor a rendszerek magabiztosan valótlan tényeket állítanak, nem létező forrásokat vagy hibás programkódokat generálnak, ami félrevezeti a felhasználókat.
(Hasonlat: Egy fekete a macska a sötétben, ami lehet, hogy nincs is ott. Lehet, hogy nem is macska! És még drága is! Biztos, hogy jó az AI fejlesztés iránya?
A Yann LeCun által javasolt Joint Embedding Predictive Architecture (JEPA) és a látens terek kiolvasása lehetővé teszi valós, jövőbeli fizikai események és absztrakt következmények megjóslását, aminek szigorú korlátai vannak. A JEPA lényege az, hogy a mesterséges intelligencia ne a világ minden apró, lényegtelen részletét próbálja meg pixelről pixelre, vagy tokenenként megtippelni, hanem legalább a valóság egy absztrakt, látens reprezentációját hozza létre. Ebben a térben az AI modell a világ működésének belső fizikai és logikai szabályait (egy „világmodellt”) tanul meg, ami alapján képes egy következö állapotot megjósolni. Kiolvasás: a látens térből úgynevezett „szondákkal” (probing) vagy dekóderekkel nyerhetőek ki információk. A látens reprezentáció tartalmazza a valóság strukturált mintáit, és egy rácsatolt lineáris réteggel vagy kis neurális hálózattal számszerűsíthető jóslatokat lehet kiolvasni a térből. Racionális döntéshozatal és tervezés: LeCun víziója szerint a látens térben történő jóslás teszi lehetővé az autonóm AI-ügynökök számára a tervezést. A modell a látens térben „lejátssza” a lehetséges jövőbeli forgatókönyveket -talán a kiolvasott diszkrét jóslatok alapján is működhet a szimuláció, pl. egy videójáték motorrá alakíthatóak-, és kiválasztja a legjobb cselekvési tervet anélkül, hogy a valóságban hibázna. Van diszkretizált látens tér változata "Latent Vector Quantization, Codebook learning" néven, és még olcsó is a pixeles-tokenes  AI-hez viszonyítva!)  
 
Kockázatok és társadalmi hatások: a hibás, megbízhatatlan AI-működés következményei a felhasználási területtől függően a
kellemetlenségtől a katasztrófákig terjedhetnek. Az autonóm járművek, az orvosi diagnosztika és a pénzügyi hitelezés területén a hibák emberi életekbe vagy nagy anyagi veszteségekbe kerülhetnek.
 
A megbízhatóság növelésének módszerei: az AI-szoftverek robusztusságának biztosításához a mérnökök több technikát alkalmaznak. A statisztikai modelleket felváltják a hibrid rendszerek, amelyek a logikai szabályokat ötvözik a gépi tanulással. A jövő AI-fejlesztésének alapelve, hogy a gyorsaság mellett a megbízhatóság és az ellenőrizhetőség is egyenrangú prioritást kapjon.

Magyarázható AI (XAI - Explainable AI)
Olyan módszerek és eszközök fejlesztése, amelyek átláthatóvá teszik a modellek döntési folyamatait, segítve a fejlesztőknek a hibák azonosítását. Az XAI három alappillére:
1. Átláthatóság (Transparency): a modell felépítésének, tanulási folyamatának és az adatok feldolgozásának nyomon követhetősége.
2. Értelmezhetőség (Interpretability): annak a lehetősége, hogy egy ember megértse a modell belső működését, és azonosítsa a döntéshozatal alapjait.
3. Megmagyarázhatóság (Explainability): azoknak a tényezőknek vagy jellemzőknek a bemutatása, amelyek egy egyedi esetben a döntéshez (pl. egy hitelkérelem elutasításához vagy orvosi diagnózishoz) vezettek.
 
Főbb megközelítések és technikák az XAI területén: a megoldásokat alapvetően két nagy csoportra oszthatjuk annak függvényében, hogy mikor és hogyan keletkezik a magyarázat:
- White-box modellek, amelyek szerkezetüknél fogva érthetőek és átláthatóak az ember számára. Pl. lineáris regresszió, döntési fák (Decision Trees), szabályalapú rendszerek.
- Post-hoc (utólagos) magyarázatú modellek: összetett, zárt modellek (fekete dobozok) kimeneteit elemzik, és magyarázzák meg utólagosan, külső algoritmusok segítségével, pl, .SHAP (Shapley Additive exPlanations), LIME (Local Interpretable Model-agnostic Explanations), kontrafaktuális elemzések.
Az XAI térnyerését a kockázatkezelés és a szigorodó jogi szabályozások, és ennek okai biztosítják.
- Bizalom és validálás: a szakértők (orvosok, mérnökök, pénzügyi elemzők) csak akkor hagyatkozhatnak az AI-re a kritikus fontosságú területeken, ha ellenőrizni tudják annak logikáját.
- Torzítások kiszűrése (Fairness), és a jogszabályoknak való megfelelés (Compliance): az olyan szabályozások, mint az EU mesterséges intelligenciáról szóló törvénye (AI Act) vagy a GDPR „magyarázathoz való joga”, kötelezővé teszik az automatizált döntések indokolhatóságát. A technológiai megoldások mellett a jogi szabályozás is kulcsszerepet játszik a megbízhatóság kikényszerítésében. Az Európai Unió Mesterséges Intelligencia Aktusa (EU AI Act) például kockázati szintek szerint kategorizálja az AI-alkalmazásokat. A nagy kockázatú rendszerekre szigorú megfelelőségi, átláthatósági és megbízhatósági teszteket ír elő a piacra lépés előtt.
 
XAI módszerek:
- Folyamatos monitorozás és adateltolódás-kezelés: a valós világ adatai folyamatosan változnak (data drift). A modelleket a kibocsátás után is monitorozni kell, és szükség esetén újra kell tanítani friss adatokon.

- 'Human-in-the-loop' (emberi ellenőrzés): olyan hibrid rendszerek kialakítása, ahol a kritikus fontosságú döntéseket az AI javaslata alapján egy emberi szakértő hagyja jóvá.
 
-  Logikai szabályok beépítésével valamennyire csökkenthetőek a valószínűségi működés okozta hibák.
 
 
 
 
 *
Egy AI-modell által kóddal tanított másik AI-modell kódbázisának megbízhatósága nem lineárisan, hanem exponenciálisan vagy lépcsőzetesen romlik ahogy növekszik az AI által generált kód aránya. A jelenséget a kutatásokban gyakran „modell összeomlásnak” (model collapse) nevezik, ahol a generált hibák és torzítások felerősödve öröklődnek. A megbízhatóság változása az egyes szinteken az alábbiak szerint alakul:
 
50%-os AI-aránynál a kódbázis felét még humán fejlesztők írták. A megbízhatóság nagymértékben függ az emberi felügyelettől. Ha az AI-kódot tapasztalt fejlesztők vizsgálják felül, akkor a rendszer stabil maradhat. Megjelenik a „csendes hibák” (silent bugs) kockázata, de az emberi jelenlét még képes kiszűrni a logikai hibákat és a biztonsági réseket.
70%-os AI-arány a kontroll elvesztésének a kezdete. A humán fejlesztők már nem képesek a teljes AI-kódot sorról sorra átlátni, a felülvizsgálat felületessé válik. Elszaporodnak az egymásra épülő, rejtett függőségek. Ha az AI-modell olyan kódot javít vagy egészít ki, amit korábban szintén AI írt, felhalmozódnak a finom logikai tévedések. A biztonsági rések (pl. nem megfelelő input-validáció) száma megugrik.
80%-os AI-aránynál halmozódik a degradáció (Compound Degradation) A megbízhatóság szintje már alacsony. Mivel a tanító és a tanított modell is mesterséges, a kód elkezd „generikussá” és redundánssá válni. Az AI hajlamos a legvalószínűbb, de nem feltétlenül a legoptimálisabb megoldásokat választani. Megjelenik a kód-hallucináció. A rendszer olyan függvényeket vagy könyvtárakat próbálhat meghívni, amelyek nem léteznek, vagy elavultak. A hibakeresés (debugging) nehézzé válik, mert a humán fejlesztők már nem értik a kód kontextusát és mögöttes logikáját.
90%-os AI-aránynál teljes modell összeomlás és instabilitás veszélye. A megbízhatóság szintje már kritikus, a modell megbízhatatlan. A kód egy önmagát ismétlő, másolt hibákból álló „fekete dobozzá” válik. Rendszerszintű összeomlások lehetségesek. A kódbázis alkalmatlanná válik a skálázásra vagy a változó üzleti logikák követésére. A biztonsági kockázat maximális, mivel a modellek hajlamosak a korábban elkövetett biztonsági hibákat szabványos mintaként ismételgetni és felerősíteni.
Az automatizált tesztrendszerek (CI/CD) és a statikus kódanalízis (SAST) bevezetése radikálisan megváltoztatja a romlási görbét. E rendszerek egy digitális védőhálót képeznek az AI által generált kód körül, mivel objektív szabályok és tesztek alapján szűrik ki a hibákat, függetlenül attól, hogy a kódot ember vagy gép írta. Bár a megbízhatóság csökkenése ekkor is jelen van, de a csökkenés enyhe.
50%-os AI-aránynál magas és kontrollált a megbízhatóság. A statikus elemzők (pl. SonarQube, ESLint) azonnal megtalálják a tipikus AI-hibákat (pl. fel nem használt változók, rossz típuskezelés). A CI/CD pipeline-ban futó egységtesztek (Unit Tests) garantálják, hogy az AI-kód funkcionálisan azt teszi, amit kell. A kódbázis stabil maradhat, az AI jelenléte növeli a produktivitást, és nem rontja a minőséget.
70%-os AI-aránynál kezelhetőek a kockázatok. A tesztrendszer hatása: az emberi kódértékelés (Code Review) már elbukna, de a gépi ellenőrzés még jól működik.  A statikus analízis kiszűri a biztonsági réseket (pl. SQL injection lehetőségek, amiket az AI hajlamos bent hagyni). A gyenge pont a tesztlefedettség (Test Coverage). Ha az AI úgy ír új kódot, hogy ahhoz nem készül automatikusan teszt (vagy a teszteket is az AI írja, ami validációs hurokhoz vezet), akkor a rejtett logikai hibák elkezdenek átcsúszni a rendszeren. Végeredményben közepes, de stabil a megbízhatóság, amennyiben a tesztlefedettséget szigorúan (pl. minimum 80%-on) tartják.
80%-os AI-aránynál a „Teszthallucináció” és az Architektúra eróziója történik. A tesztrendszer hatására a statikus kódanalízis zöldet jelez (mert a kód szintaktikailag helyes és nincsenek benne ismert anti-patternek), a CI/CD lefut, a kód mégis rossz irányba változik. Ha a kód 80%-át AI írja, a tesztek jelentős részét is az AI fogja generálni. Ha az AI félreértette a logikát, akkor egy olyan tesztet fog írni, ami a saját hibás logikáját igazolja vissza (a teszt sikeres lesz, de a szoftver hibás). A statikus elemzők nem látják a felépítési (architekturális) káoszt. A kód egyre bonyolultabbá, redundánsabbá válik ("spagetti kód"), amit a tesztek nem jeleznek. Végeredményben közepes-alacsony a megbízhatóság. A rendszer működik, de a módosítása vagy új funkciók hozzáadása rendkívül kockázatossá válik.
90%-os AI-aránynál a tesztrendszer hatása, az automatizált rendszerek már csak lassítani tudják az összeomlást, megakadályozni nem. A kód annyira eltávolodik a humán logikától, hogy a meglévő statikus szabályrendszerek (amiket emberek írtak embereknek) már nem képesek értelmezni az AI által létrehozott absztrakt struktúrákat. Ha egy teszt elbukik a CI/CD-ben, a javítást is az  AI végzi, ami gyakran nem a hiba okát szünteti meg, hanem "körbeírja" azt, még tovább bonyolítva a kódot. A végeredmény alacsony megbízhatóság. a fejlesztési sebesség lelassul a folyamatosan elbukó tesztek javítgatása miatt.
 
Hogyan lehet kitolni a határokat? (Best Practices)
Ha az AI-arány magas, a hagyományos CI/CD-t és kódanalízist fel kell készíteni.
- Szigorú elhatárolás (Sandboxing): az AI által írt tesztek nem validálhatnak AI által írt üzleti logikát. A kritikus teszt eseteket (End-to-End, integrációs tesztek) embereknek kell megírniuk.
- Mutációs tesztelés (Mutation Testing): olyan fejlett tesztrendszerek használata, amelyek szándékosan hibákat injektálnak a kódba, hogy ellenőrizzék: az AI által írt tesztek valóban észreveszik-e a hibát, vagy csak "vakon" sikeresek.
- AI-specifikus linterek: olyan statikus elemzők használata, amelyeket kifejezetten az LLM-ek (Large Language Models) tipikus kódolási hibáinak és biztonsági réseinek (pl. elavult API-k használata) kiszűrésére optimalizáltak.
 
**
Szándékos kijátszás, biztonsági kockázatok
A véletlen hibákon (torzítás, hallucináció) túlmenően a megbízhatóságot a külső támadások is veszélyeztetik:
- Adatmérgezés (Data Poisoning): rosszindulatú szereplők szándékosan manipulált adatokat juttatnak a tanítóhalmazba, hogy az MI hibásan működjön.
- Adverzális támadások (Adversarial Attacks): olyan minimális, emberi szemmel láthatatlan módosítások a bemeneten (pl. egy stoptáblára ragasztott matrica), amelyek teljesen félrevezetik az önvezető rendszereket.
- Prompt injekció (Prompt Injection): a felhasználók rejtett utasításokkal rábírhatják az LLM-eket a biztonsági korlátok áthágására.