Az AI megbízhatósága
 
(2026 szeptember)


Az AI (mesterséges intelligencia) és a gépi tanulás alapú szoftverek rohamos elterjedésével a megbízhatóság kérdése a  legfontosabb kihívásává vált. A hagyományos szoftverekkel ellentétben, amelyek determinisztikus szabályok szerint működnek (adott bemenetre mindig ugyanazt a kimenetet adják), az AI-rendszerek működése valószínűségi, ami alapvető működés beli különbség, és új megközelítést igényel a minőségbiztosítás, a tesztelés és a kockázatkezelés terén. Logikai szabályok beépítésével valamennyire csökkenthetőek a valószínűségi működés okozta hibák. A megbízhatóság mérésének vannak csapdái, a benchmarkok (Gemini válaszok).
A rendszerek megbízhatóságát "adatszennyezés"-sel mérik. A modellek tesztelésére használt feladatok (pl. vizsgakérdések) gyakran bekerülnek a tanítóadatok közé. A modell nem logikusan gondolkodik, hanem csak „magol”, nem szűri ki a vizsgakérdéseket.
Statisztikai csalás: a laboratóriumi körülmények között mért 99%-os pontosság a valós, kiszámíthatatlan környezetben erősen visszaeshet.
Léteznek infrastrukturális és fenntarthatósági korlátok is. A hibrid rendszerek és folyamatos ellenőrző ügynökök futtatása megtöbbszörözi a modellek energia- és hardverigényét, ami gazdasági korlátot szab az ellenőrzés megbízhatóságnak. A hardver megbizhatósága ma már a tápegységek és a hűtés megbízhatóságából számítható.
 
 A következő AI-generáció fejlesztésénél AI-modell tanít AI-modellt, a modell által írt kóddal. Az Anthropic szerint kódbázisuk több mint 80 százalékát már a Claude írja (AMIT TESZTELÉS* NÉLKÜL ALKALMAZNI: HIBA! HA EGY MÁSIK AI-ÜGYNÖKKEL TESZTELIK, NEM NŐ A MEGBÍZHATÓSÁG. Pl. 0.99 x 0.99 = 0.9801 -re csökkenhet a megbízhatóság, ha az eredeti
ügynökök 0.99 valószínűségűek voltak, még a kódhibák javítása mellett is), pedig a kutatási munka egyre nagyobb hányadát végzik önálló kódíró AI-ügynökök. Várhatóan a 80%-os részt 70-75%-ban fogják maximálni, az automatizált tesztrendszerek (CI/CD) és a statikus kódanalízis (SAST) esetén* is. A rekurzív önfejlesztésnek (recursive self-improvement) nevezett techmika miatt az iparág több szereplője a fejlesztések lassítását, leállítását sürgeti, mert az ellenőrzési és biztonsági képességek nem tartanak lépést az exponenciális fejlődéssel. A látványos számok mögött a gyors kódolás áll, és nem valódi autonóm önfejlesztés, míg a nyílt végű kutatási feladatokban az AI-ügynökök még alul teljesítenek.

A megbízhatósági problémák egyik eredete az input. Az AI-modellek az input adatokból tanulnak. Ha a bemeneti adatok torzítottak (bias), hiányosak vagy elavultak, a rendszer hibás következtetéseket von le.  Angolul  "Garbage in, garbage out" elvnek nevezik, a "Szemét be, szemét ki" elv. A 'Fekete Doboz' (Black Box) jelenség miatt a mélytanulási modellek (pl. neurális hálózatok) belső döntési mechanizmusai átláthatatlanok a fejlesztők számára, tehát a "szemét", a hibás bemenő adat következményei megjelennek a kimeneten. Komoly kockázatot jelent a hallucináció a nagy nyelvi modellek (LLM) esetében, ekkor a rendszerek magabiztosan valótlan tényeket állítanak, nem létező forrásokat vagy hibás programkódokat generálnak, ami félrevezeti a felhasználókat.
(Hasonlat: Egy fekete a macska a sötétben, ami lehet, hogy nincs is ott, és lehet, hogy nem is macska! És még drága is! Biztos, hogy jó a fejlesztés iránya?
A Yann LeCun által javasolt Joint Embedding Predictive Architecture (JEPA) és a látens terek kiolvasása lehetővé teszi valós, jövőbeli fizikai események és absztrakt következmények megjóslását, aminek szigorú korlátai vannak. A JEPA lényege az, hogy a mesterséges intelligencia ne a világ minden apró, lényegtelen részletét próbálja meg pixelről pixelre, vagy tokenenként megtippelni, hanem legalább a valóság egy absztrakt, látens reprezentációját hozza létre. Ebben a térben az AI modell a világ működésének belső fizikai és logikai szabályait (egy „világmodellt”) tanul meg, ami alapján képes egy következö állapotot megjósolni. Kiolvasás: a látens térből úgynevezett „szondákkal” (probing) vagy dekóderekkel nyerhetőek ki információk. A látens reprezentáció tartalmazza a valóság strukturált mintáit, és egy rácsatolt lineáris réteggel vagy kis neurális hálózattal számszerűsíthető jóslatokat lehet kiolvasni a térből. Racionális döntéshozatal és tervezés: LeCun víziója szerint a látens térben történő jóslás teszi lehetővé az autonóm AI-ügynökök számára a tervezést. A modell a látens térben „lejátssza” a lehetséges jövőbeli forgatókönyveket -talán a kiolvasott diszkrét jóslatok alapján is működhet a szimuláció, pl. egy videójáték motorrá alakíthatóak-, és kiválasztja a legjobb cselekvési tervet anélkül, hogy a valóságban hibázna. Van diszkretizált látens tér változata "Latent Vector Quantization, Codebook learning" néven, és még olcsó is a pixeles-tokenes  AI-hez viszonyítva!)  
 
Kockázatok és társadalmi hatások: a hibás, megbízhatatlan AI-működés következményei a felhasználási területtől függően a
kellemetlenségtől a katasztrófákig terjedhetnek. Az autonóm járművek, az orvosi diagnosztika és a pénzügyi hitelezés területén a hibák emberi életekbe vagy nagy anyagi veszteségekbe kerülhetnek.
 
A megbízhatóság növelésének módszerei: az AI-szoftverek robusztusságának biztosításához a mérnökök több technikát alkalmaznak. A statisztikai modelleket felváltják a hibrid rendszerek, amelyek a logikai szabályokat ötvözik a gépi tanulással. A jövő AI-fejlesztésének alapelve, hogy a gyorsaság mellett a megbízhatóság és az ellenőrizhetőség is egyenrangú prioritást kapjon.

Magyarázható AI (XAI - Explainable AI)
Olyan módszerek és eszközök fejlesztése, amelyek átláthatóvá teszik a modellek döntési folyamatait, segítve a fejlesztőknek a hibák azonosítását. Az XAI három alappillére:
1. Átláthatóság (Transparency): a modell felépítésének, tanulási folyamatának és az adatok feldolgozásának nyomon követhetősége.
2. Értelmezhetőség (Interpretability): annak a lehetősége, hogy egy ember megértse a modell belső működését, és azonosítsa a döntéshozatal alapjait.
3. Megmagyarázhatóság (Explainability): azoknak a tényezőknek vagy jellemzőknek a bemutatása, amelyek egy egyedi esetben a döntéshez (pl. egy hitelkérelem elutasításához vagy orvosi diagnózishoz) vezettek.
 
Főbb megközelítések és technikák az XAI területén: a megoldásokat alapvetően két nagy csoportra oszthatjuk annak függvényében, hogy mikor és hogyan keletkezik a magyarázat:
- White-box modellek, amelyek szerkezetüknél fogva érthetőek és átláthatóak az ember számára. Pl. lineáris regresszió, döntési fák (Decision Trees), szabályalapú rendszerek.
- Post-hoc (utólagos) magyarázatú modellek: összetett, zárt modellek (fekete dobozok) kimeneteit elemzik, és magyarázzák meg utólagosan, külső algoritmusok segítségével, pl, .SHAP (Shapley Additive exPlanations), LIME (Local Interpretable Model-agnostic Explanations), kontrafaktuális elemzések.
Az XAI térnyerését a kockázatkezelés és a szigorodó jogi szabályozások, és ennek okai biztosítják.
- Bizalom és validálás: a szakértők (orvosok, mérnökök, pénzügyi elemzők) csak akkor hagyatkozhatnak az AI-re a kritikus fontosságú területeken, ha ellenőrizni tudják annak logikáját.
- Torzítások kiszűrése (Fairness), és a jogszabályoknak való megfelelés (Compliance): az olyan szabályozások, mint az EU mesterséges intelligenciáról szóló törvénye (AI Act) vagy a GDPR „magyarázathoz való joga”, kötelezővé teszik az automatizált döntések indokolhatóságát. A technológiai megoldások mellett a jogi szabályozás is kulcsszerepet játszik a megbízhatóság kikényszerítésében. Az Európai Unió Mesterséges Intelligencia Aktusa (EU AI Act) például kockázati szintek szerint kategorizálja az AI-alkalmazásokat. A nagy kockázatú rendszerekre szigorú megfelelőségi, átláthatósági és megbízhatósági teszteket ír elő a piacra lépés előtt.
 
XAI módszerek:
- Folyamatos monitorozás és adateltolódás-kezelés: a valós világ adatai folyamatosan változnak (data drift). A modelleket a kibocsátás után is monitorozni kell, és szükség esetén újra kell tanítani friss adatokon.

- 'Human-in-the-loop' (emberi ellenőrzés): olyan hibrid rendszerek kialakítása, ahol a kritikus fontosságú döntéseket az AI javaslata alapján egy emberi szakértő hagyja jóvá.
 
-  Logikai szabályok beépítésével valamennyire csökkenthetőek a valószínűségi működés okozta hibák.
 
 
 
 
 *
Egy AI-modell által kóddal tanított másik AI-modell kódbázisának megbízhatósága nem lineárisan, hanem exponenciálisan vagy lépcsőzetesen romlik ahogy növekszik az AI által generált kód aránya. A jelenséget a kutatásokban gyakran „modelleomlásnak” (model collapse) nevezik, ahol a generált hibák és torzítások felerősödve öröklődnek. A megbízhatóság változása az egyes szinteken az alábbiak szerint alakul:
 
50%-os AI-aránynál a kódbázis felét még humán fejlesztők írták. A megbízhatóság nagymértékben függ az emberi felügyelettől. Ha az AI-kódot tapasztalt fejlesztők vizsgálják felül, akkor a rendszer stabil maradhat. Megjelenik a „csendes hibák” (silent bugs) kockázata, de az emberi jelenlét még képes kiszűrni a logikai hibákat és a biztonsági réseket.
70%-os AI-arány a kontroll elvesztésének a kezdete. A humán fejlesztők már nem képesek a teljes AI-kódot sorról sorra átlátni, a felülvizsgálat felületessé válik. Elszaporodnak az egymásra épülő, rejtett függőségek. Ha az AI-modell olyan kódot javít vagy egészít ki, amit korábban szintén AI írt, felhalmozódnak a finom logikai tévedések. A biztonsági rések (pl. nem megfelelő input-validáció) száma megugrik.
80%-os AI-aránynál halmozódik a degradáció (Compound Degradation) A megbízhatóság szintje már alacsony. Mivel a tanító és a tanított modell is mesterséges, a kód elkezd „generikussá” és redundánssá válni. Az AI hajlamos a legvalószínűbb, de nem feltétlenül a legoptimálisabb megoldásokat választani. Megjelenik a kód-hallucináció. A rendszer olyan függvényeket vagy könyvtárakat próbálhat meghívni, amelyek nem léteznek, vagy elavultak. A hibakeresés (debugging) nehézzé válik, mert a humán fejlesztők már nem értik a kód kontextusát és mögöttes logikáját.
90%-os AI-aránynál már megvan a teljes modelleomlás és instabilitás veszélye. A megbízhatóság szintje már kritikus, a modell megbízhatatlan. A kód egy önmagát ismétlő, másolt hibákból álló „fekete dobozzá” válik. Rendszerszintű összeomlások lehetségesek. A kódbázis alkalmatlanná válik a skálázásra vagy a változó üzleti logikák követésére. A biztonsági kockázat maximális, mivel a modellek hajlamosak a korábban elkövetett biztonsági hibákat szabványos mintaként ismételgetni és felerősíteni.
Az automatizált tesztrendszerek (CI/CD) és a statikus kódanalízis (SAST) bevezetése radikálisan megváltoztatja a romlási görbét. E rendszerek egy digitális védőhálót képeznek az AI által generált kód körül, mivel objektív szabályok és tesztek alapján szűrik ki a hibákat, függetlenül attól, hogy a kódot ember vagy gép írta. Bár a megbízhatóság csökkenése ekkor is jelen van, de a csökkenés enyhe.
50%-os AI-aránynál magas és kontrollált a megbízhatóság. A statikus elemzők (pl. SonarQube, ESLint) azonnal megtalálják a tipikus AI-hibákat (pl. fel nem használt változók, rossz típuskezelés). A CI/CD pipeline-ban futó egységtesztek (Unit Tests) garantálják, hogy az AI-kód funkcionálisan azt teszi, amit kell. A kódbázis stabil maradhat, az AI jelenléte növeli a produktivitást, és nem rontja a minőséget.
70%-os AI-aránynál kezelhetőek a kockázatok. A tesztrendszer hatása: az emberi kódértékelés (Code Review) már elbukna, de a gépi ellenőrzés még jól működik.  A statikus analízis kiszűri a biztonsági réseket (pl. SQL injection lehetőségek, amiket az AI hajlamos benthagyni). A gyenge pont a tesztlefedettség (Test Coverage). Ha az AI úgy ír új kódot, hogy ahhoz nem készül automatikusan teszt (vagy a teszteket is az AI írja, ami validációs hurokhoz vezet), akkor a rejtett logikai hibák elkezdenek átcsúszni a rendszeren. Végeredményben közepes, de stabil a megbízhatóság, amennyiben a tesztlefedettséget szigorúan (pl. minimum 80%-on) tartják.
80%-os AI-aránynál a „Teszthallucináció” és az Architektúra eróziója történik. A tesztrendszer hatására a statikus kódanalízis zöldet jelez (mert a kód szintaktikailag helyes és nincsenek benne ismert anti-patternek), a CI/CD lefut, a kód mégis rossz irányba változik. Ha a kód 80%-át AI írja, a tesztek jelentős részét is az AI fogja generálni. Ha az AI félreértette a logikát, akkor egy olyan tesztet fog írni, ami a saját hibás logikáját igazolja vissza (a teszt sikeres lesz, de a szoftver hibás). A statikus elemzők nem látják a felépítési (architekturális) káoszt. A kód egyre bonyolultabbá, redundánsabbá válik ("spagetti kód"), amit a tesztek nem jeleznek.Végeredményben közepes-alacsony a megbízhatóság. A rendszer működik, de a módosítása vagy új funkciók hozzáadása rendkívül kockázatossá válik.
90%-os AI-aránynál a tesztrendszer hatása, az automatizált rendszerek már csak lassítani tudják az összeomlást, megakadályozni nem. A kód annyira eltávolodik a humán logikától, hogy a meglévő statikus szabályrendszerek (amiket emberek írtak embereknek) már nem képesek értelmezni az AI által létrehozott absztrakt struktúrákat. Ha egy teszt elbukik a CI/CD-ben, a javítást is az AI végzi, ami gyakran nem a hiba okát szünteti meg, hanem "körbeírja" azt, még tovább bonyolítva a kódot. A végeredmény alacsony megbízhatóság. A fejlesztési sebesség lelassul a folyamatosan elbukó tesztek javítgatása miatt.
 
Hogyan lehet kitolni a határokat? (Best Practices)
Ha az AI-arány magas, a hagyományos CI/CD-t és kódanalízist fel kell készíteni.
- Szigorú elhatárolás (Sandboxing): az AI által írt tesztek nem validálhatnak AI által írt üzleti logikát. A kritikus teszt eseteket (End-to-End, integrációs tesztek) embereknek kell megírniuk.
- Mutációs tesztelés (Mutation Testing): olyan fejlett tesztrendszerek használata, amelyek szándékosan hibákat injektálnak a kódba, hogy ellenőrizzék: az AI által írt tesztek valóban észreveszik-e a hibát, vagy csak "vakon" sikeresek.
- AI-specifikus linterek: olyan statikus elemzők használata, amelyeket kifejezetten az LLM-ek (Large Language Models) tipikus kódolási hibáinak és biztonsági réseinek (pl. elavult API-k használata) kiszűrésére optimalizáltak.
 
**
Szándékos kijátszás, biztonsági kockázatok
A véletlen hibákon (torzítás, hallucináció) túlmenően a megbízhatóságot a külső támadások is veszélyeztetik:
- Adatmérgezés (Data Poisoning): rosszindulatú szereplők szándékosan manipulált adatokat juttatnak a tanítóhalmazba, hogy az MI hibásan működjön.
- Adverzális támadások (Adversarial Attacks): olyan minimális, emberi szemmel láthatatlan módosítások a bemeneten (pl. egy stoptáblára ragasztott matrica), amelyek teljesen félrevezetik az önvezető rendszereket.
- Prompt injekció (Prompt Injection): a felhasználók rejtett utasításokkal rábírhatják az LLM-eket a biztonsági korlátok áthágására.