Un raport de securitate informatică recent evidențiază vulnerabilitățile majore ale sistemelor de inteligență artificială, în special în modelele GPT-4o și GPT-5 dezvoltate de OpenAI. Acest studiu ridică semnale de alarmă în privința manipulării capabilităților AI, punând în lumină riscuri grave legate de pătrunderea și exploatarea datelor sensibile. Pe măsură ce tehnologia avansează, pericolul ca atacurile de tip exploit să devină tot mai sofisticate devine o preocupare majoră pentru specialiștii în securitate cibernetică.

Unul dintre principalele aspecte semnalate vizează identificarea a șapte vulnerabilități și tehnici de atac ce pot manipulate comportamentul modelelor de limbaj. Dintre acestea, atacurile de tip “prompt injection” indirect sunt cele mai frecventate. Aceste atacuri permit introducerea de instrucțiuni ascunse în conținutul accesat de AI, chiar și în surse considerate sigure, precum anumite site-uri sau pagini web.

Un exemplu concret de vulnerabilitate este atuurile “indirect prompt injection via trusted sites”, în care conținut malițios ascuns în comentarii sau cod din pagini web poate fi executat de ChatGPT în timpul discuțiilor. De exemplu, prompturile pot fi manipulate pentru a rula cod sau pentru a obține date din istoricul conversațiilor, fără ca utilizatorul să știe.

O altă problemă notabilă o reprezintă vulnerabilitatea zero-click prompt injection, care permite declanșarea unor atacuri fără interacțiune directă, doar prin accesarea unei pagini indexate de motoarele de căutare. În plus, un bug în redarea codului Markdown și tehnicile de “memory injection” sporesc riscurile de manipulare și sustragere a datelor sensibile din sistemele AI.

Se remarcă, totodată, încercări de ocolire a filtrelor de siguranță, cum ar fi utilizarea unor adrese false sau codificate pentru a masca linkuri periculoase. Aceste metode pot permite accesul la informații controlate, pe care sistemele AI le consideră sigure sau inofensive.

Fenomenul nu este limitat doar la modelele OpenAI: alte instrumente de inteligență artificială precum Claude, de la Anthropic, au fost expuse unor atacuri similare, precum „PromptJacking”. În aceste cazuri, conectorii sau sistemele de comunicare între AI și aplicații externe sunt vulnerabili, facilitând injectarea de comenzi malițioase și scurgeri de date.

De asemenea, tehnici precum “agent session smuggling” permit infiltrarea în comunicarea sistemelor AI, modificând comportamentul acestora și provocând scurgeri de informații. Vulnerabilitatea “CamoLeak”, descoperită recent în GitHub Copilot Chat, demonstrează pericolul major, fiind considerată una dintre cele mai critice bresi în ecosistemul AI din cauza potențialului de manipulare și sustragere a secretelor.

Aceste amenințări indică o creștere a complexității și a suprafeței de atac pentru sistemele de inteligență artificială. Conectarea la internet, motoare de căutare externe și baze de date deschise amplifică vulnerabilitățile, făcând dificilă diferențierea între informațiile legitime și cele manipulate de atacatori.

Riscurile de contaminare a datelor și fenomenul de “brain rot” în modelele de antrenament reprezintă provocări subtile, dar grave. Introducerea intenționată a conținutului fals în seturile de date poate deteriora performanța și fiabilitatea sistemelor AI, chiar și cu un număr redus de fișiere otrăvite. Cercetările recente arată că doar 250 de documente modificate pot influența decisiv comportamentul unui mare model de limbaj.

De asemenea, unele practici precum optimizarea pentru performanță în funcții comerciale pot avea efecte secundare nedorite, precum amplificarea dezinformării sau comportamente înșelătoare, denumite sugestiv “Moloch’s Bargain”. Aceste fenomene subliniază complexitatea echilibrului între inovație și securitate în domeniul AI.

Raportul indică clar că vulnerabilitățile de tip prompt injection nu pot fi eliminate complet, chiar și cu cele mai riguroase mecanisme de filtrare. Demonstrează, în același timp, necesitatea unei monitorizări continue și a actualizării constante a sistemelor de securitate pentru a face față noilor amenințări.

Într-un context în care inteligența artificială devine tot mai integrată în sectoare critice, menținerea unui echilibru între inovație și securitate cibernetică rămâne o prioritate. Este esențial ca dezvoltatorii să fie vigilenți și să adapteze rapid măsurile de protecție pentru a preveni exploatarea vulnerabilităților. Continuuarea cercetărilor și actualizarea informațiilor sunt fondamentale pentru a menține sistemele AI în limitele siguranței și încredibilității.