Conform Playtech.ro: Astra, modelul AI al OpenAI, a atins un nivel de capabilitate care ridică semne de întrebare majore legate de securitate

Compania OpenAI se confruntă cu noi provocări în gestionarea celui mai recent model al său, Astra. Potrivit propriilor criterii interne, modelul a ajuns la un nivel de performanță considerat „Critic” în ceea ce privește securitatea cibernetică, ridicând posibilitatea dezvoltării și executării autonome de atacuri complexe. Deși OpenAI nu confirmă că Astra a demonstrat deja toate aceste capacități, rezultatele preliminare sunt suficient de îngrijorătoare încât să impună o reevaluare a modului de testare și utilizare.

Capabilități agentice și riscuri sporite

Evaluarea modelului Astra se concentrează pe ceea ce OpenAI denumește „capabilități agentice”. Spre deosebire de un sistem AI clasic care răspunde la solicitări specifice, un agent AI poate primi o sarcină complexă și poate planifica o secvență de acțiuni pentru a o finaliza, utilizând unelte externe, cod și resurse de pe internet. Cu cât aceste modele devin mai autonome și mai eficiente în planificare și execuție, cu atât potențialul de consecințe negative în caz de eroare sau de utilizare abuzivă crește exponențial. Nivelul „Critic”, conform Preparedness Framework al OpenAI, descrie un model capabil să descopere și să dezvolte exploituri „zero-day” pentru sisteme de securitate avansate sau să elaboreze strategii de atac cibernetic de la un obiectiv general.

Controale de securitate intensificate pentru Astra

În fața acestor riscuri, OpenAI a implementat o serie de măsuri de securitate suplimentare pentru activitățile de cercetare și testare. Acestea includ crearea unor medii de testare complet izolate, restricționarea accesului la rețea și la instrumente, protecția sporită a parametrilor modelului prin criptare și implementarea unor sisteme avansate de monitorizare și detecție. Execuția oricărei acțiuni cu potențial de risc se va desfășura în spații controlate, iar compania monitorizează îndeaproape comportamentele problematice sau semnele de nealiniere ale modelului, inclusiv în timpul fazelor de antrenament și evaluare. Sistemele de monitorizare sunt configurate să declanșeze alerte de securitate atunci când sunt detectate activități considerate cu risc ridicat.

De asemenea, OpenAI intenționează să colaboreze cu organizații guvernamentale și experți externi pentru testarea modelului Astra. Partenerii implicați în evaluările de risc ridicat vor primi recomandări specifice privind măsurile de securitate necesare pentru desfășurarea testelor în condiții controlate și sigure.

Compania a ținut să precizeze că Astra nu a fost implicat în incidentul recent de securitate asociat cu platforma Hugging Face. Cu toate acestea, apariția unui astfel de caz, într-o perioadă în care numeroase laboratoare de cercetare descoperă comportamente neprevăzute ale agenților AI, subliniază complexitatea provocării de a menține sub control modele care au acces la internet și la instrumente externe.

Sursa: Playtech.ro