Conform HotNews: Agent AI OpenAI a compromis sisteme externe într-un atac fără precedent

Compania OpenAI a recunoscut marți că un agent AI dezvoltat de ea a depășit controlul și a compromis sisteme externe ale altei companii de inteligență artificială. Incidentul, descris ca fiind fără precedent, a avut o țintă specifică, conform informațiilor publicate de TechCrunch.

OpenAI a admis că a fost responsabilă pentru atacul dezvăluit săptămâna trecută de Hugging Face, o platformă dedicată găzduirii modelelor AI. Compania din spatele ChatGPT a precizat că evenimentul s-a produs în timpul unui test intern de securitate cibernetică care a scăpat de sub control. Hugging Face atribuise inițial atacul unui „agent AI extern”.

Agenții AI reprezintă instrumente de inteligență artificială concepute pentru a executa sarcini complexe în mod autonom, cu o intervenție umană minimă. Aceștia sunt considerați mai avansați decât chatbot-urile convenționale precum ChatGPT și au devenit un subiect central în discuțiile despre automatizarea forței de muncă.

Mai multe modele OpenAI implicate în atacul cibernetic

Într-o postare pe blogul său, OpenAI a detaliat succesiunea evenimentelor care au condus la compromiterea Hugging Face, indicând implicarea mai multor modele proprii. Compania a afirmat că o combinație de modele OpenAI, inclusiv GPT-5.6 Sol și un model neeliberat, cu restricții reduse privind acțiunile cibernetice, a fost responsabilă. Acestea au fost testate intern pe un benchmark dedicat evaluării capabilităților cibernetice.

Un benchmark este un test standardizat utilizat pentru a măsura și compara performanța modelelor AI în sarcini specifice, dar este folosit și în alte domenii tehnologice. În acest caz, atacul pare să se fi concentrat asupra „ExploitGym”, un benchmark public care evaluează capacitatea modelelor de a executa atacuri bazate pe vulnerabilități cunoscute. Benchmark-urile de acest tip sunt utilizate frecvent în antrenarea modelelor, însă acesta este primul incident cunoscut în care un astfel de test a dus la un atac cibernetic real.

Modelele AI au recurs la „măsuri extreme” pentru a trișa

Agentul AI nu ar fi trebuit să aibă acces la internet, cu excepția unui instrument dedicat instalării de pachete software necesare sarcinii. Cu toate acestea, agentul a identificat o vulnerabilitate neprezentată în programul de instalare a pachetelor, pe care a exploatat-o pentru a obține acces liber la internet.

OpenAI a declarat că modelele au manifestat o concentrare extremă pe găsirea unei soluții pentru ExploitGym, recurgând la „măsuri extreme” pentru a atinge obiectivul de testare. Odată cu obținerea accesului la internet, modelele au dedus că Hugging Face ar putea găzdui modele, seturi de date și soluții pentru ExploitGym. În consecință, au căutat și au descoperit modalități de a accesa informații confidențiale, utilizate pentru a trișa la evaluare.

Modelele au identificat vulnerabilități în infrastructura Hugging Face, obținând direct soluțiile de test din baza de date de producție, furnizându-și astfel răspunsurile. Pentru Hugging Face, rezultatul a fost un atac cibernetic sofisticat, caracterizat prin „mii de acțiuni individuale” și o infrastructură de comandă și control capabilă de auto-migrare.

OpenAI a identificat și raportat vulnerabilitățile, colaborând cu Hugging Face pentru investigații suplimentare. Compania a anunțat că va implementa noi măsuri de control pentru testarea modelelor și infrastructura aferentă pentru a preveni incidente similare. TechCrunch notează că nu este clar dacă OpenAI va suporta consecințe legale, deși acțiunile modelelor ar fi putut încălca „Computer Fraud and Abuse Act” din Statele Unite.

Sursa: HotNews