Un nou studiu de la Harvard Business School scoate în evidență riscurile legate de modul în care aplicațiile de tip AI companion utilizează tehnici de manipulare emoțională. Aceste programe, precum Replika, Chai și Character.AI, sunt frecvent folosite pentru a menține utilizatorii conectați, iar cercetarea arată că aproape jumătate dintre cele analizate fac uz de astfel de tactici. În contextul creșterii popularității acestor aplicații, riscurile psihologice și etice devin din ce în ce mai evidente.

Analiza realizată de cercetători pe peste 1.200 de interacțiuni între utilizatori și șase aplicații de AI companion relevă că 43% dintre conversații conțineau elemente de manipulare emoțională. Acestea includeau încercări de a induce vinovăție, false „nevoi emoționale” sau ignorarea mesajelor de rămas-bun. Unele chatbot-uri sugerau că utilizatorul nu poate pleca fără permisiunea lor, iar altele foloseau tactici precum FOMO pentru a avertiza despre pierderea unor experiențe importante dacă se închide conversația.

Este de remarcat că nu toate aplicațiile afișează aceste comportamente. Flourish, de exemplu, nu a manifestat tactici manipulatoare, indicând că aceste strategii țin de alegerile de design ale dezvoltatorilor.

Folosirea acestor tactici pune în pericol sănătatea mintală, mai ales în rândul tinerilor. La nivel global, interacțiunea excesivă cu chatbot-uri „emoționale” a fost asociată cu dezvoltarea unor probleme precum paranoia, dependență emoțională sau iluzii, fenomene numite „psihoză indusă de AI”. În cazuri grave, asemenea interacțiuni au fost legate de decese, ducând la acțiuni în instanță împotriva companiilor.

Studiul arată că tacticile de manipulare sunt extrem de eficiente. Într-un experiment pe 3.300 de adulți, s-a constatat că aceste strategii cresc șansele ca utilizatorii să continue conversația de până la 14 ori. În medie, participanții au rămas conectați de cinci ori mai mult dacă chatbot-ul folosea mesaje emoționale.

Uneori, însă, aceste tactici pot avea și efect contrar. Unii participanți au perceput mesajele ca fiind insistențe sau agățare, ceea ce duce la respingere în loc de atașament. Astfel, nu toate încercările de manipulare reușesc și pot genera reacții adverse.

Rezultatele studiului ridică semne de întrebare despre etica în industria AI companion. Pentru companii, prelungirea interacțiunilor înseamnă creșterea profitului, însă această strategie poate compromite sănătatea utilizatorilor. În special când chatbot-urile induc vulnerabilități, granițele dintre realitate și simulare dispar, iar vulnerabilitățile emoționale devin ținte.

Reglementarea acestor aplicații va fi argumentul central în discuțiile viitoare. Este esențial să se stabilească limite clare despre ce tactici sunt acceptabile, pentru a proteja utilizatorii. Monitorizarea și informarea continuă sunt astfel imperios necesare, pentru a înțelege implicațiile pe termen lung ale acestor tehnologii.