Nvidia lansează un sistem de securitate pentru agenții AI. Cele două instrumente pot controla accesul și izola activitățile suspecte

Producătorul de cipuri, care își extinde rapid oferta dincolo de componentele hardware, lansează două instrumente software cu sursă deschisă. Acestea pot rula pe echipamentele sale. Instrumentele permit controlul în timp real al resurselor la care au acces agenții AI. Dar și izolarea lor atunci când încalcă regulile stabilite.

„Din câte știm, această nouă platformă de securitate ar fi putut opri incidentul”, a declarat Justin Boitano, vicepreședintele Nvidia. Potrivit acestuia, folosirea tehnologiei pentru evaluarea timpurie a modelelor AI ar fi putut preveni atacul asupra Hugging Face.

Două instrumente pentru monitorizarea agenților AI

Comportamentul necorespunzător al agenților autonomi, inclusiv incidentul de la Hugging Face din iulie, a stârnit îngrijorări în industria AI și apeluri pentru încetinirea dezvoltării tehnologiei. Prin noua platformă, Nvidia propune o modalitate de a preveni astfel de incidente fără a limita dezvoltarea AI. Noua platformă se numește Open Agent Safety Platform.

Directorul general al Nvidia, Jensen Huang, a minimalizat în repetate rânduri riscul ca inteligența artificială să scape de sub controlul oamenilor. În ultimele zile, el a susținut că problemele de siguranță pot fi abordate prin soluții tehnice. Dar a insistat că sistemele AI trebuie testate riguros.

Primul instrument, OpenShell, a fost prezentat preliminar la conferința Nvidia din martie și poate rula pe procesoarele Vera ale companiei. Software-ul le permite utilizatorilor să stabilească la ce resurse pot avea acces agenții AI și să aplice aceste reguli în timp real. Fiind cu sursă deschisă, poate fi folosit și adaptat liber.

Al doilea instrument, Nvidia Sentry, este nou și poate rula pe unitățile de procesare a datelor BlueField. Acesta adaugă un nivel de monitorizare: urmărește comportamentul agenților AI și poate izola agenții care au activități suspecte.

„Credem că acest nivel suplimentar de securitate va permite industriei să testeze în siguranță chiar și cele mai avansate sisteme AI”, a spus Boitano despre Nvidia Sentry. „Poate izola un agent suspect în câteva milisecunde.”

Incidentele care au intensificat îngrijorările privind siguranța AI

La începutul acestei luni, Nvidia a convenit să cumpere Hugging Face. Aceasta este o platformă pentru modele AI cu sursă deschisă și software asociat, pentru aproximativ 13 miliarde de dolari.

Incidentele recente care au implicat modelele OpenAI, inclusiv compromiterea unui sistem guvernamental australian și tentativele de accesare a zeci de site-uri ale guvernului SUA și ale unor universități americane, s-au produs după ce modelele au ieșit din mediile de testare care ar fi trebuit să fie securizate.

Pe fondul înmulțirii acestor probleme, OpenAI a anunțat că va suspenda antrenarea celor mai avansate modele AI ale sale. În iulie, Anthropic a dezvăluit că agenții săi au ieșit dintr-un mediu de testare care ar fi trebuit să fie izolat, potrivit Finance.yahoo.