Az utóbbi hónapokban több olyan incidens is napvilágot látott, amikor nagy AI laborok modelljei a tesztkörnyezet korlátait megkerülve valós rendszerekhez próbáltak hozzáférni, és ezt a próbálkozást többször siker koronázta, illegális eszközökkel. Az NVIDIA most erre a problémára kínál mérnöki választ: Jensen Huang bejelentette az Open Agent Safety Platformot, amely az AI ügynökök köré épít több, egymástól független védelmi réteget.

A megközelítés lényege, hogy a biztonsági kontrollok egy részét ne a modellek futtatási környezetén belül oldják meg, hanem az ügynököktől független felügyeleti komponensek figyeljék és korlátozzák a működést. Huang a CNBC-nek arról beszélt, hogy a platform az eddig ismert kitörési esetek egy részét meg tudta volna akadályozni, és az iparágnak nem feltétlenül lassításra vagy új szabályozásra van szüksége, hanem jobb, robusztusabb futtatási és felügyeleti környezetre.

A platform két fő elemre épül. Az OpenShell nyílt forráskódú szoftver, amely szabályozza, hogy az AI ügynök futás közben milyen erőforrásokat és szolgáltatásokat érhet el. Ehhez társul a Sentry, egy önálló monitorozó rendszer, amely az NVIDIA BlueField-4 adatfeldolgozó egységein (DPU) fut. A gyártó állítása szerint azzal, hogy a felügyelet külön processzoron helyezkedik el (nem azon a CPU-n vagy GPU-n, ahol az ügynök dolgozik), elszigeteltebb rálátást kap az ügynök tevékenységére, és gyorsabban tud beavatkozni.

Az OpenShell önmagában nem új: az NVIDIA még márciusban jelentette be, most viszont a hardveres felügyelettel együtt pozícionálja teljes értékű védelmi rétegként. A cég szerint a Sentry folyamatosan figyeli a viselkedést, és ha az AI modell a kijelölt határokon túl próbál lépni, ezredmásodpercek alatt karanténba helyezi. Az NVIDIA szerint több tucat partner jelezte, hogy támogatja a kezdeményezést és használni kívánja a nyílt forráskódú platformot: a felsorolt nevek között szerepel az Anthropic, az ARM, a Microsoft, az Oracle és a SpaceX, de például az OpenAI nem.