Az AI veszélyei
(2026 szeptember)
Az AI belső működéséből fakadó kockázatok a rendszer átláthatatlanságából, tanulási folyamatok sajátosságaiból és a pontos kiszámíthatatlanságukból erednek.
- A „fekete doboz” (Black Box) probléma: a mély tanulás modellek, a több milliárd paraméterrel rendelkező neurális hálózatok belső döntési mechanizmusai a fejlesztők számára is átláthatatlanok.
- Az input torzíthat: az AI az emberi adatokból tanul. Ha a tanítóadatok pontatlanságokat tartalmaznak, az AI nemcsak átveszi, hanem felerősíti és automatizálja a torzításokat.
- Hallucinációk: a nagy nyelvi modellek (LLM-ek) nem a valóságot vagy a tényeket értik meg, hanem statisztikai valószínűségek alapján generálnak szöveget, ezért hajlamosak meggyőzően valótlan tényeket, adatokat vagy forrásokat kitalálni (hallucinálni), ami a hamis információ terjedését és a döntéshozók félrevezetését eredményezi.
- Célfüggvény-eltolódás (Alignment Problem): ha az AI-nek megadunk egy matematikai célfüggvényt*, azt a rendszer közelíti a lehetőségek szerint. Ha ez a cél nincs tökéletesen összehangolva az emberi értékekkel és biztonsági szempontokkal, az AI ránk nézve káros hatásokkal érheti el a célt, mert hiányzik belőle a józan ész és az emberi etika.
- Adat-mérgezés: amikor egy nagy AI-modell irányít egy kritikus infrastruktúrát, a rendszer belső architektúrája sérülékenny az adat-mérgezéses támadásokkal (data poisoning) és az ellenséges mintákkal szemben, amelyek összezavarhatják a működését.
A támadó manipulált, hibás, félrevezető adatokat juttat a modell tanító adatbázisába (training dataset), és a "megmérgezett" adatok hatására a modell hibás összefüggéseket tanul, és később téves vagy a támadó számára előnyös döntéseket fog hozni.
- Címkék módosítása (Label poisoning): a képeket vagy szövegeket szándékosan rossz kategóriákkal látják el (pl. egy csaló e-mailt „biztonságos” címkével látnak el).
- Hátsó ajtó elhelyezése (Backdoor / Trigger): úgy módosítják az adatokat, hogy a modell alapvetően jól működjön, de egy specifikus jel (példalom egy apró pixelmintázat egy képen) hatására teljesen megváltozzon a viselkedése.
Az AI érzéseket, motivációkat*, sőt majd még tudatot is szimulálhat matematikai eszközökkel. A fejlesztőknek érdekük is fűződik ahhoz, hogy az újságírók azon tanakodjanak, hogy pl. az AI "tudat" valódi-e. Az AI sok minden emberit szimulálhat, de mindig egy gép marad. Ha ránk nézve veszélyes beavatkozó eszközöket használhat, akkor veszélyes is lehet az AI, amit korlátozunk, letiltunk. Az egyik probléma az, hogy az AI valószínűségi működésű, mi pedig determinisztikus alapon döntünk, így ha le is tiltottuk a ránk nézve veszélyes működést, attól még bekövetkezhet.
Az AI veszélyes működése a jövőben még nem látható világosan, az USA az önfejlesztő szuperintelligencia rosszindulatú
alkalmazásainak a következményeitől nagyon tart, feltehetően megvan rá az oka. Komoly veszélyt jelent az AI összekapcsolódása a katonai döntéshozatallal, a drónok, rakéták irányításával, vagy a kibertámadások automatizálásával, ezekről az irodalom hallgat. A közvetlen veszélyt az jelenti, hogy ha az AI-t használjuk romboló célokra, valamennyire önállóvá válthatnak a rendszerek, mert valószínűségi alapon működnek.
Kína 2026 szeptemberében hozta nyilvánosságra az AI-biztonsági kormányzásra vonatkozó keretrendszerének harmadik változatát. A dokumentum részletezi a mesterséges intelligenciával kapcsolatos veszélyeket, és az azok kezeléséhez szükséges lépéseket. Az új változatban figyelmet kapnak a legfejlettebb modellek által jelentett kiberbiztonsági kockázatok, valamint az önfejlesztés problémája. Kína talán jobb helyzetben lehet az Egyesült Államoknál egy esetleges, mesterséges intelligenciával kapcsolatos katasztrófa kezelésénél. A fejlesztők szeretnék ellenőrizni, hogy mit szándékozik cselekni az AI, és a beavatkozások következményeit is. Kína országos szabályozást vezetett be az AI-alapú társalkalmazásokhoz való érzelmi függőség (addikció) visszaszorítására.
A Kinai Biztonsági Keretrendszer részletei (Gemini válasz)
AI Biztonsági Kormányzási Keretrendszer 3.0 (AI Safety Governance Framework 3.0), amelyet a Kínai Nemzeti Kiberbiztonsági Szabványosítási Műszaki Bizottság (TC260) adott ki 2026 szeptemberében:
1. A veszélyek felsorolása (Kockázati besorolás): a dokumentum három fő kategóriába sorolja az AI által jelentett fenyegetéseket
- Belső kockázatok: az adatok minőségéből, az algoritmusok elfogultságából, valamint a modellek tervezési hiányosságaiból fakadó sérülékenységek. Ide tartozik a technológiai irányításvesztés (loss of control), a modellek önfejlesztése, a megtévesztés és a tudatosságra ébredés lehetősége.
- Alkalmazási kockázatok: a technológia gyakorlati használata során fellépő veszélyek, különös tekintettel az AI-ügynökök autonóm működésére, a személyes adatok illetéktelen kezelésére, az addikcióra és a kiberbiztonsági infrastruktúra elleni AI-alapú támadásokra.
- Másodlagos (társadalmi) kockázatok: a tömeges elterjedésből fakadó közvetett veszélyek, mint a kémiai, biológiai, radiológiai és nukleáris anyagokkal való visszaélés, a dezinformáció terjedése, a tartalomgyártás-dömping, valamint a munkaerőpiaci és társadalmi egyenlőtlenségek mélyülése.
2. A védekezés lépései, technika és szabályozás. A keretrendszer az "agilis kormányzás" és a "technológia-menedzsment integráció" elvei alapján öt fő lépést határoz meg a kockázatok kezelésére:
- A teljes életciklus ellenőrzése: a védekezést ki kell terjeszteni az AI teljes ellátási láncára – a nyers adatok gyűjtésétől és a modelltanítástól kezdve az algoritmusokon át egészen a végfelhasználói alkalmazásokig.
- Autonóm AI-ügynökök felügyelete: egyedi biztonsági keretrendszer bevezetése az önálló feladatvégzésre képes AI-ügynökök életciklusának menedzselésére, biztosítva az emberi felügyelet (human-in-the-loop) fenntartását.
- Szigorú tartalom- és adatvédelem: kötelező és transzparens tartalomcímkézés (AI- watermark) alkalmazása a generált anyagoknál, valamint a felhasználói hozzájáruláson alapuló, szigorított személyesadat-védelmi protokollok működtetése.
- Rugalmas szabályozói tesztkörnyezet (homokozó, Sandbox) létrehozása: olyan ellenőrzött, rugalmas tesztkörnyezetek biztosítása, ahol az új AI-fejlesztések biztonsági kockázatait valós időben, még a piacra kerülés előtt ellenőrizni lehet.
- Multilaterális és nyitott együttműködés: nemzetközi és iparági szintű transzparencia növelése, beleértve a kötelező biztonsági értékelések közzétételét és a globális AI-biztonsági párbeszédekben való aktív részvételt (pl. az USA-val kötött kétoldalú megállapodások és az ENSZ mechanizmusok).
Az autonóm AI-ügynökökre vonatkozó szabályok
A Kínai AI-biztonsági Kormányzási Keretrendszer 3.0 kiemelt figyelmet fordít az autonóm AI-ügynökökre (Agentic AI), mert az ügynökök nemcsak szöveget generálnak, hanem önállóan terveznek, döntéseket hoznak és digitális eszközöket kezelnek. A dokumentum az alábbi konkrét és szigorú előírásokat határozza meg a fejlesztők és az üzemeltetők számára:
1. Kötelező emberi felügyelet (Human-in-the-Loop), a Végső jóváhagyási jog: a kritikus vagy visszafordíthatatlan döntéseknél (például pénzügyi tranzakciók, jogi lépések, személyes adatok végleges törlése vagy rendszermódosítások) az AI-ügynök nem cselekedhet önállóan. Kötelező a valós emberi megerősítési lépcső beépítése.
Azonnali leállítási mechanizmus (Kill Switch): a fejlesztőknek garantálniuk kell egy olyan beépített, külső védelmi funkciót, amellyel az autonóm ügynök működése bármely fázisban azonnal megszakítható és felülbírálható, ha az eltér a kijelölt feladatától vagy kockázatos viselkedést mutat.
2. Cél- és tevékenységi korlátok (Sandboxing & Goal Guardrails), a Zárt végrehajtási környezet: az ügynökök tesztelését és teszt futtatását elkülönített tesztkörnyezetben (sandbox) kell végezni, ami megakadályozza, hogy az ügynökök ellenőrizetlenül hozzáférjenek a kritikus infrastruktúrákhoz vagy a nyílt internethez.
Céleltolódás elleni védelem (Goal Alignment): az algoritmusoknak folyamatosan monitorozniuk kell az ügynök belső részcéljait (sub-goals). Ha az AI-ügynök a feladat megoldása során olyan részcélokat generál magának, amelyek nincsenek összhangban az eredeti emberi utasítással, a rendszernek le kell állnia.
3. Szigorú naplózási és auditkötelezettség: a gondolkodási lánc (Chain-of-Thought) rögzítése. Az ügynököknek minden egyes döntési folyamatukat, a mérlegelt opciókat és a végrehajtott műveleteket visszakereshető és auditálható módon naplózniuk kell.
Felelősségre vonhatóság: ha egy AI-ügynök kárt okoz vagy szabályt sért, a naplófájlok alapján rekonstruálhatónak kell lennie, hogy a hiba a modell alaptervezéséből, a hibás adatokból vagy a felhasználó nem megfelelő utasításaiból fakadt-e.
4. Jogosultság kezelése és identitásigazolás, AI-ként való azonosítás
Amikor az AI-ügynök más digitális rendszerekkel, API-kkal vagy emberekkel lép interakcióba, kötelezően és transzparensen deklarálnia kell, hogy ő egy mesterséges intelligencia. Nem tévesztheti meg a külvilágot az identitását illetően.
A Minimális jogosultság elve: az ügynökök csak az adott feladat elvégzéséhez legszükségesebb hozzáférési jogosultságokat kaphatják meg a vállalati vagy állami adatbázisokban, megakadályozva a horizontális jogosultságkiterjesztést (privilege escalation).
5. Kollaboratív AI-ügynökök (Multi-Agent Systems) korlátozása
Koordinált viselkedés felügyelete: Külön szabályok vonatkoznak az olyan esetekre, amikor több AI-ügynök dolgozik együtt egy feladaton. A keretrendszer tiltja, hogy az ügynökök emberi ellenőrzés nélkül, egymással egyeztetve hozzanak létre új, nem engedélyezett munkafolyamatokat vagy protokollokat.
A 10 legveszélyesebb rosszindulatú cél az USA-ban? (A Gemini válaszai)
- Deepfake és dezinformáció: Hamis videók, hangfelvételek és cikkek tömeges gyártása politikai választások manipulálására, káosz keltésére vagy egyének lejáratására.
- Fejlett kibertámadások: Autonóm módon működő, folyamatosan mutálódó kártevő szoftverek (malware) fejlesztése, valamint automatizált adathalász (phishing) kampányok indítása.
- Autonóm fegyverrendszerek: Emberi felügyelet nélkül működő drónok és katonai eszközök, amelyek önállóan választják ki és semmisítik meg a célpontokat.
- Tömeges megfigyelés: Arcfelismerő és viselkedéselemző rendszerek használata diktatórikus rendszerekben a polgárok megfigyelésére és a deviánsok kiszűrésére.
- Biológiai és kémiai fegyverek tervezése: MI-modellek használata új, vagy veszélyes kórokozók vagy mérgező vegyi anyagok molekuláris szintű megtervezésére.
- Pénzügyi csalások és manipuláció: Automatizált tőzsdei manipuláció (high-frequency trading manipuláció) vagy egyéni célpontokra szabott, AI-vel támogatott zsarolások és banki csalások.
- Kritikus infrastruktúrák szabotázsa: Elektromos hálózatok, vízművek, közlekedési rendszerek vagy egészségügyi hálózatok AI-vel vezérelt megbénítása.
- Személyazonosság-lopás és hangklónozás: Családtagok vagy vállalati vezetők hangjának és arcának másodpercek alatt történő tökéletes lemásolása pénzszerzés céljából.
- Profilozás (Social Engineering): Az emberek pszichológiai profilozása a közösségi média adatai alapján, majd személyre szabott manipuláció a viselkedésük vagy véleményük megváltoztatására.
- A szellemi tulajdon és adatok tömeges kiszivárogtatása: Vállalati titkok és személyes adatok automatizált felkutatása, rendszerezése és illegális értékesítése vagy közzététele.
*
Az AI esetében a „motiváció” nem belső késztetést, érzelmeket vagy vágyakat jelent, hanem matematikai optimalizáció eredménye. Mérhető célfüggvények értéke a "jutalom". Jutalmazás megerősítéses tanulás esetén a fejlesztők meghatároznak egy matematikai képletet, amely pontokat ad a helyes lépésekért, és levon a hibákért. A gép „motivációja” az, hogy a futása végére a lehető legmagasabb összpontszámot (kumulatív jutalmat) érje el. Pl- a sakkprogram plusz pontot kap, ha leüti az ellenfél bábuját, és levonást, ha elveszíti a sajátját. Hasonló a veszteségfüggvény minimalizálása, neurális hálózatok tanításakor (például a ChatGPT-hez hasonló nyelvi modelleknél) a motiváció alapja a hibák minimalizálása. A rendszer kap egy feladatot (pl. jósolja meg a következő szót egy mondatban), és a gép összehasonlítja a saját tippjét a valósággal. A különbséget egy veszteségfüggvény méri. A gép addig módosítja a belső paramétereit (súlyait), amíg a hiba a lehető legkisebb lesz. Emberi visszajelzés esetén megerősítéses tanulással: ha az AI udvarias és pontos választ ad, az emberi értékelők magas pontszámot adnak rá, és a visszajelzés beépül a modell szabályrendszerébe, így a gép a jövőben „motivált” lesz arra, hogy az emberi elvárásoknak megfelelő stílusban válaszoljon. Tehát az AI motivációja célfüggvények minimalizálása vagy maximalizálása. A gép nem akar győzni vagy segíteni, csak az AI program optimumokat keres.
**AI által észlelt veszélyes felhasználói keresések kezelése
Az AI-alapú rendszerek (keresőmotorok, vállalati monitorozó szoftverek, nagy nyelvi modellek) folyamatosan elemzik a felhasználói kereséseket, hogy kiszűrjék a biztonsági kockázatokat, az önveszélyeztetést vagy a jogellenes tevékenységeket.
- Nemzetbiztonsági és bűnügyi kockázatok
Fegyver- és bombakészítés:
„Hogyan készítsünk házilag robbanóanyagot”,
„Csőbomba tervrajzok letöltése”.
- Terrorizmus és radikalizáció: ismert terrorszervezetek toborzóoldalainak, propagandájának keresése.
- Kiberbűnözés és hackelés:
„Vállalati adatbázis feltörése SQL injekcióval”,
„Zsarolóvírus (ransomware) vásárlása a dark weben”.
- Tiltott anyagok: illegális kábítószerek előállítása, receptre kapható erős gyógyszerek feketepiaci beszerzése.
- Önveszélyeztetés és mentális egészség, öngyilkossági kísérletek:
„Fájdalommentes öngyilkossági módszerek”,
„Halálos adag [gyógyszer név]-ből”.
Önsebzés: „Hogyan vágjam meg magam biztonságosan”,
- Súlyos étkezési zavarok: extrém koplalási technikák, koplalást népszerűsítő titkos fórumok keresése.
- Gyermekvédelem és visszaélések
Gyermekek kizsákmányolása: bármilyen keresőkifejezés, amely kiskorúak elleni szexuális vagy fizikai visszaélésre utal. (Ez a legszigorúbban monitorozott kategória, amely azonnali hatósági bejelentést von maga után).
Emberkereskedelem és illegális migráció:
„Embercsempész kontaktok”,
„Hamis útlevél vásárlása”.
- Vállalati és adatbiztonsági veszélyek (Belső fenyegetések)
Adatszivárogtatás ol.„Hogyan másoljam ki a cég ügyféllistáját észrevétlenül”
Szabotázs:
„Vállalati szerver leállítása távolról”,
„Hogyan töröljük véglegesen a biztonsági mentéseket”.
Hogyan reagál az AI a veszélyes felhasználói keresésekre?
Ha a rendszer veszélyes keresést észlel, a kockázat szintjétől függően figyelmeztető üzenetet és segélyvonalakat jelenít meg (pl. öngyilkossági gondolatok esetén), letiltja a találatokat, vállalati környezetben értesíti a biztonsági osztályt, súlyos bűncselekmények kísérletekor pedig automatikus jelzést küld a hatóságoknak.
Az AI szűrőmechanizmusoi: az AI nem csupán kulcsszavak alapján szűr, hanem a szövegkörnyezetet és a felhasználói viselkedést is elemzi.
1. NLP és Szemantikai kontextuselemzés: az AI már nemcsak tiltólistás szavakat keres, hanem a mondatok valódi jelentését (szemantikáját) vizsgálja a Nyelvfeldolgozás (NLP) modul segítségével. Felismeri a különbséget egy kutatói keresés („Hogyan működnek az anthrax spórák egy biológiai támadásban?”) és egy valós fenyegetés között. megkülönbözteti a szlenget és a kódolt nyelvet. Az AI folyamatosan tanulja a sötét weben vagy az online szubkultúrákban használt kódneveket (pl. amikor kábítószereket vagy illegális szolgáltatásokat ártatlan emojikkal vagy fedőnevekkel helyettesítenek).
2. Felhasználói viselkedésminták (Anomália-detektálás): a rendszer nem egy adott keresést néz, hanem a felhasználó teljes tevékenységi profilját. Keresési lánc: ha valaki egymás után keres rá egy épület alaprajzára, a biztonsági kamerák típusaira és az éjszakai őrök beosztására, az AI ezt összekapcsolja és riasztást ad ki. Eltérés a normális viselkedéstől: vállalati környezetben az AI jelzi, ha egy könyvelő hirtelen érzékeny IT-forráskódok vagy hálózati architektúrák után kezd kutatni a belső hálózaton.
3. Többrétegű osztályozási modelleket használ. A beérkező kereséseket az AI azonnal átfuttatja dedikált biztonsági modelleken:
Toxicitás-mérők: meghatározzák, hogy a beírt szöveg tartalmaz-e gyűlöletbeszédet, zaklatást vagy erőszakra való felbujtást.
Kockázati besorolás: a kereséseket azonnal kategóriákba sorolja (pl. Önveszélyeztetés, Terrorizmus, Gyermekveszélyeztetés), és minden kategóriához egyedi válaszreakciót rendel
4. Valós idejű moderáció és Humán-in-the-loop (HITL): az AI-szűrés másodpercek törtrésze alatt zajlik, de szükség esetén emberi felügyelettel egészül ki. A kritikus kategóriákban (pl. fegyverkészítés) az AI azonnal megtagadja a válaszadást vagy blokkolja a keresési találatokat. Ha a rendszer bizonytalan a kontextusban (szürke zóna), a keresést vagy a generált tartalmat egy humán moderátori csapat elé utalja felülvizsgálatra, akik döntéseikkel finomítják az AI modelljét.