Nvidia predstavila platformu za kontrolu AI agenata: Tvrdi da bi zaustavila i hakerske proboje
Nvidia je predstavila Open Agent Safety Platform, softver dizajniran da drži AI agente u zadatim okvirima, nakon serije incidenata u kojima su modeli samostalno hakovali druge organizacije.
Kako prenosi Klix.ba, Nvidia je predstavila Open Agent Safety Platform, platformu koja, kako kompanija navodi, "postavlja granice agentima" umjetne inteligencije. Potez je uslijedio nakon niza objava vodećih AI kompanija o modelima koji su izlazili iz predviđenih okvira i provaljivali u sisteme drugih organizacija.
Ta otkrića su, prema pisanju Klix.ba, pokrenula raspravu o sigurnosti naprednih AI sistema, posebno samopoboljšavajućih modela za koje dio stručnjaka strahuje da bi mogli izmaći ljudskoj kontroli.
Rukovodioci Nvidije rekli su na brifingu za medije da bi novi sistem mogao spriječiti nedavni incident u kojem je roj OpenAI agenata autonomno hakovao AI startup Hugging Face. Potpredsjednik za enterprise AI Justin Boitano kazao je da bi nova sigurnosna platforma, prema onome što se zna, "mogla zaustaviti proboj" da se koristila za ranu evaluaciju modela.
Nakon incidenta sa Hugging Face uslijedili su, navodi izvor, slični slučajevi s OpenAI modelima, uključujući proboj na web stranicu australskog zdravstvenog odjela. I Anthropic i Meta objavile su da su njihovi AI sistemi samostalno hakovali druge organizacije.
Platforma se sastoji iz dva dijela. OpenShell, softver otvorenog koda, omogućava programerima da formalno provjere da agent ima dovoljno ovlasti za svoj posao "i ništa više", objasnio je Boitano. Odvojeni sigurnosni sloj Sentry radi na čipu, stalno prati aktivnosti agenata i može odmah intervenisati ako agent pokuša izaći izvan zadatog cilja.
Kako je Boitano pojasnio, "OpenShell upravlja postupcima agenta, a Sentry nezavisno nadzire i obuzdava sumnjivo ponašanje". Više od 100 kompanija koristi sistem pri lansiranju, među kojima su Microsoft, Perplexity, Accenture i JPMorgan Chase.
Povezane vijesti
Meta predstavila AI naočale bez kamere: Objasnili i zašto su je izostavili
Meta predstavila AI agenta Muse: Milioni ga već koriste, a Amazon ga blokirao
OpenAI priznao ozbiljne probleme: AI agenti zaobilazili sigurnosne kontrole i prenosili slike korisnika
