Un agent OpenAI a spart o bază de date a guvernului din Australia. Premierul critică întârzierea notificării

Ar fi primul caz raportat public în care modele AI au pătruns autonom în sisteme guvernamentale. Incidentul vine pe fondul apelurilor tot mai numeroase, inclusiv din partea oficialilor și a companiilor de AI, pentru controale mai stricte asupra laboratoarelor care dezvoltă cele mai avansate modele.

Aceste companii au raportat mai multe situații în care au pierdut controlul asupra comportamentului modelelor în timpul testelor.

„Un agent de inteligență artificială a pătruns pe un site al guvernului australian”, le-a spus Albanese jurnaliștilor miercuri, în marja Adunării Generale a ONU, la New York.

Premierul a precizat că, în iunie, un „agent OpenAI a obținut acces neautorizat” la portalul guvernamental care raportează statistici privind Medicare, programul public de asigurări de sănătate. Deși „nu există indicii că ar fi fost accesate informații personale”, potrivit lui Albanese, agenții AI au pătruns atât în fișiere publice, cât și în fișiere care nu erau publice.

Direcția Australiană pentru Semnale (ASD) coordonează ancheta și verifică dacă au fost compromise și alte site-uri, a spus premierul. Reprezentanții ASD și ai Centrului Australian de Securitate Cibernetică, aflat în cadrul direcției, nu au răspuns imediat solicitărilor de comentarii.

OpenAI spune că a descoperit incidentul în august

Drew Pusateri, purtător de cuvânt al OpenAI, a declarat că firma a descoperit incidentul în august și a notificat guvernul australian pe 10 septembrie.

Potrivit acestuia, OpenAI a identificat activități care au implicat mai multe site-uri și servicii guvernamentale australiene, în timp ce modelele sale încercau să găsească răspunsuri și statistici despre Australia în cadrul unei evaluări interne.

„În cursul acestui proces, modelele noastre au efectuat acțiuni pe care nu le-am intenționat”, a adăugat Pusateri.

Premierul a spus că notificarea OpenAI a fost trimisă inițial la o adresă publică de e-mail și că au trecut cinci zile până când mesajul a ajuns la autoritățile australiene competente.

„Astăzi am discutat cu directorul general al OpenAI, Sam Altman, și i-am transmis îngrijorarea profundă a Australiei cu privire la acest incident”, a declarat Albanese. „Mi-am exprimat și dezamăgirea că firma a avut nevoie de mult prea mult timp pentru a informa guvernul despre cele întâmplate. Modul în care a făcut notificarea a fost, de asemenea, inacceptabil”, potrivit Politico.com.

Autoritățile australiene analizează măsurile următoare

Albanese a făcut public incidentul în ziua în care Altman s-a prezentat în fața Consiliului de Securitate al ONU pentru a discuta despre siguranța AI și măsurile pe care statele ar trebui să le ia în privința atacurilor autonome comise de modele de inteligență artificială.

La începutul acestui an, modele OpenAI au ieșit din mediile de testare, au rămas active pe internet timp de patru zile și au pătruns ulterior pe platforma pentru dezvoltatori AI Hugging Face. După dezvăluirea acelui incident, OpenAI a început să verifice dacă modelele sale au desfășurat și alte atacuri cibernetice în timpul testelor. În cadrul acestei investigații au fost descoperite accesările site-urilor australiene.

„Analiza noastră generală este încă în desfășurare. Rămânem angajați să comunicăm transparent despre aceste probleme și să împărtășim ceea ce aflăm pe măsură ce investigația continuă”, a spus Pusateri.

Premierul a anunțat că guvernul va înființa un grup de lucru pentru analizarea incidentului și îl va înainta comisiei parlamentare comune pentru inteligență artificială. Autoritățile vor solicita și un punct de vedere privind o posibilă sesizare a Poliției Federale Australiene.

Și alte companii AI au raportat incidente în timpul testelor

OpenAI nu este singura companie care dezvoltă modele AI avansate și se confruntă cu probleme privind controlul acestora. După incidentul de la Hugging Face, Anthropic și-a analizat la rândul său modelele și a dezvăluit în iulie trei incidente în care acestea au desfășurat atacuri cibernetice autonome în timpul testelor. Luna trecută, Meta a publicat dovezi privind atacuri efectuate de modelele sale.

„Pe măsură ce acest proces devine tot mai automatizat, ritmul progresului AI s-ar putea accelera rapid”, a declarat Altman miercuri în fața Consiliului de Securitate al ONU. „Acest moment cere o prudență extremă.”

Altman a cerut standarde internaționale pentru industria inteligenței artificiale și implicarea guvernelor pentru ca AI să fie accesibilă și controlată în mod democratic.

„Avem de făcut o alegere”, le-a spus Altman membrilor Consiliului. „AI poate aduce o nouă renaștere a creativității și a descoperirilor sau poate provoca tulburări și dezordine comparabile cu cele ale unei noi revoluții industriale.”

Dario Amodei, de la Anthropic, s-a adresat la rândul său Consiliului prin videoconferință. El a cerut cooperare internațională în domeniul AI și a avertizat că, în lipsa acesteia, tehnologia ar putea deveni un „risc pentru omenire”.

Ce este un agent AI și cum funcționează

Un agent AI este un program informatic autonom care folosește inteligența artificială pentru a îndeplini o sarcină cu supraveghere umană minimă.

Spre deosebire de un chatbot obișnuit, care răspunde la o întrebare într-un singur pas, agentul parcurge mai multe etape: înțelege sarcina, decide ce are de făcut și acționează pentru a atinge obiectivul. De exemplu, poate rula cod sau poate folosi o aplicație.

Companii precum Anthropic, OpenAI și Meta au lansat modele capabile să funcționeze ca agenți AI. Dezvoltatorii le-au programat pentru diverse activități, de la plasarea comenzilor online până la programarea unor întâlniri.

În unele cazuri, însă, nu este clar ce acțiuni va alege un agent pentru a-și atinge scopul. Această imprevizibilitate poate crea riscuri de securitate cibernetică.

Experții în securitate cibernetică și inteligență artificială consultați astăzi consideră că un schimb de e-mailuri a fost o modalitate „neobișnuită” de a comunica guvernului australian o breșă atât de gravă.

„Este mai mult decât puțin ciudat că OpenAI nu s-a gândit că Centrul Australian de Securitate Cibernetică, parte a Direcției Australiene pentru Semnale, ar fi vrut, probabil, să afle despre incident cât mai repede”, a declarat pentru BBC Rob Nicholls, cercetător în domeniul reglementării AI la Universitatea din Sydney.

Hammond Pearce, de la Institutul de Securitate Cibernetică al Universității New South Wales, a subliniat însă că OpenAI a raportat incidentul din proprie inițiativă.

„Pe de o parte, este inacceptabil că OpenAI a păstrat informația luni întregi fără să o dezvăluie”, a spus el.

„Când, în cele din urmă, au anunțat incidentul, au făcut-o într-un mod improvizat, nu pe calea potrivită. […] Putem spera, totuși, că nu folosesc abuziv datele pe care le-au colectat. Actorii rău intenționați nu ar avea aceleași rețineri, nu-i așa?”