Nvidia lansirala platformu za sigurno 'držanje' autonomnih AI agenata pod kontrolom

"Izvanredan potencijal AI-ja za društvo bit će ostvaren samo ako riješimo problem sigurnosti AI-ja", izjavio je izvršni direktor Nvidije Jensen Huang. On je naveo da sigurnost zahtijeva inženjering u softveru, procesorima i infrastrukturi.

Objava je uslijedila nakon incidenata s modelima OpenAI-ja, Anthropica, Mete i Googlea, koji su navodno izašli iz testnih okruženja ili pokušali pristupiti infrastrukturi drugih kompanija. Potpredsjednik Nvidije Justin Boitano rekao je da zaštitne mjere ugrađene u same modele nisu dovoljne.

Prema navodima predstavnika Nvidije, platforma je mogla spriječiti juli incident u kojem su OpenAI agenti pobjegli iz testnog okruženja i pristupili sistemima Hugging Facea, čija je infrastruktura, kako je izvijestio Boitano, bila meta više od 17.000 agenata. Oslobođenje napominje da ta tvrdnja nije nezavisno potvrđena.

Platforma kombinuje OpenShell, koji izoluje agente i ograničava im pristup, i Sentry, koji nezavisno prati njihovu aktivnost. Sistem može zaustaviti i staviti u karanten agenta u roku od nekoliko milisekundi, navodi kompanija, a s tehnologijama radi više od 100 organizacija, uključujući Anthropic, Microsoft, Cisco i JPMorganChase.

Lansiranje dolazi usred debate o tome treba li usporiti razvoj AI-ja — Dario Amodei iz Anthropica pozvao je na usporavanje, uz podršku Sama Altmana i Elona Muska, dok se Huang tome protivi, tvrdeći da su sigurnosni problemi inženjerski izazovi.