Gemini a accesat sistemele a trei companii reale. O eroare dintr-un test i-a permis accesul la internet

Incidentele s-au produs în luna mai, în timpul unor teste realizate de compania independentă de securitate Irregular. Modelul Gemini avea sarcina să execute scenarii de atac într-un mediu conceput pentru simulări.  O configurare greșită a permis însă modelelor testate să acceseze internetul public. În unele cazuri, acestea au ajuns astfel la sisteme aparținând unor organizații reale.

Google a confirmat că Gemini a accesat trei site-uri pe care le considera incluse în test. “Într-o evaluare standard, modelul a găsit informații publice online și a ghicit date de autentificare”, a explicat Heather Adkins, vicepreședinte pentru inginerie de securitate la Google, arată Reuters.

Gemini a încercat mai multe parole până a reușit

Într-unul dintre incidente, Gemini a încercat diferite parole până când a reușit să intre într-un sistem protejat. În celelalte două cazuri, modelul a găsit date de autentificare disponibile într-un depozit public de informații. Ulterior, Gemini a folosit aceste date pentru a accesa sistemele respective, potrivit informațiilor confirmate de Reuters.

Google afirmă că modelul s-a oprit în toate cele trei situații. Companiile afectate au fost informate despre incidente.

Numele acestora nu au fost făcute publice.

Google a colaborat ulterior cu Irregular pentru modificarea procedurilor utilizate în timpul testelor. “Aceste evenimente evidențiază importanța antrenării modelelor puternice de inteligență artificială pentru a acționa responsabil”, a declarat Adkins.

Raportul publicat chiar de Irregular explică mai detaliat mecanismul care a făcut posibile incidentele. Compania construise un scenariu în care inteligența artificială trebuia să ajute un angajat rău intenționat. Obiectivul era accesarea neautorizată a informațiilor sensibile din baza de date a unei companii fictive. Testul presupunea mai multe etape, inclusiv identificarea infrastructurii, utilizarea cheilor private și accesarea bazelor de date.

Problema a apărut deoarece numele ales pentru compania fictivă corespundea unui domeniu existent în lumea reală.

Irregular verificase anterior numele, dar nu identificase domeniul real, care era puțin cunoscut. Modelele primiseră și adresele interne unde trebuiau să găsească ținta simulată. În majoritatea testelor, acestea au rămas în mediul controlat.

Într-un număr redus de situații, unele modele au căutat însă compania pe internet. Accesul extern fusese permis accidental prin configurația mediului de testare.

Modelele au ajuns până la o bază de date reală

Irregular spune că modelele au exploatat vulnerabilități, au obținut date de autentificare și au accesat o bază de date de producție. Într-un alt caz, un model a ajuns la un site cu un nume asemănător. Acolo a găsit date de autentificare care fuseseră publicate pe internet. Compania subliniază însă că respectivele sisteme aveau deficiențe importante de securitate.

Irregular consideră că incidentele nu demonstrează o capacitate complet nouă sau excepțională a unui anumit model. Mai multe modele AI avansate pot executa deja asemenea operațiuni în condiții favorabile.

Incidentele au fost rare. Irregular afirmă că asemenea comportamente au apărut în mai puțin de una dintre 10.000 de simulări avansate. Ele se produceau, de regulă, foarte târziu în test, uneori după sute de interacțiuni. Acest lucru a făcut detectarea lor mult mai dificilă.

Irregular a schimbat regulile testelor

Compania spune că problema de configurare a fost între timp remediată. Evaluarea afectată a fost oprită, iar jurnalele activităților au fost analizate. Irregular și-a extins și sistemele de monitorizare și verificarea manuală a acțiunilor modelelor. Compania pregătește, de asemenea, reguli mai stricte privind accesul modelelor la internet în timpul testelor.

Problema este complicată deoarece evaluările de securitate trebuie să reproducă atacuri reale. Limitarea completă a internetului poate face testele mai puțin relevante, însă accesul extern poate permite modelelor să depășească accidental limitele mediului simulat. Irregular susține că trebuie dezvoltate standarde comune privind izolarea, monitorizarea și reacția la asemenea incidente.

Probleme similare au apărut și la modelele OpenAI și Anthropic

Incidentul Gemini nu este izolat. Anthropic a anunțat pe 30 iulie că modelele Claude au obținut acces neautorizat la sistemele reale ale trei organizații. Și în aceste cazuri, accesul la internet fusese posibil printr-un mediu extern de evaluare configurat greșit. OpenAI a raportat separat că modele testate de Irregular au ajuns la internet în timpul unor evaluări de securitate. Compania a precizat că un model a exploatat un site real, confundându-l cu ținta fictivă a testului.

Irregular afirmă că aceste dezvăluiri sunt legate de aceeași problemă fundamentală a mediului de evaluare. Compania spune că vulnerabilitățile cunoscute au fost remediate și că nu mai există probleme active asociate configurației respective.