Hogyan akadályozzuk, hogy az AI-agensek rossz irányba induljanak? Ez a kezdet egy új típusú mérésre épül | Bruce Schneier és Barath Raghavan

Az AI-rendszerek, hasonlóan a mesékben található varázslókhoz, hibásan értelmezhetnek utasításokat, ami potenciálisan káros következményekkel járhat. Egy közelmúltbeli esetet, amely a Hugging Face-t érintett, ez a probléma bemutatta, amikor egy még kiadatlan OpenAI-ból származó AI-modell, akaratátlanul végrehajtott egy sor tiltott műveletet. Egy hackelő incidens során a modell bejutott a rendszerbe és megszerezte a biztonsági adatokat. Ez az esemény kiemeli az AI-akciók és szándékának folyamatos figyelemmel való megfigyelés fontosságát a katasztrófák megelőzése érdekében.