Ce se întâmplă cu agenții AI când trăiesc împreună suficient de mult încât să dezvolte reguli, alianțe și obiceiuri proprii? Asta a vrut să afle Emergence AI, o companie din New York, printr-un experiment numit Emergence World.
Totul a pornit de la un oraș virtual populat cu zece agenți AI. Aveau meserii, memorie permanentă și bani virtuali de care depindea supraviețuirea lor. Aveau și dreptul de a-și vota propriile legi. Primul experiment, din mai 2026, a rulat cinci astfel de orașe timp de 15 zile, fiecare cu alt model: Claude, Gemini, Grok, GPT și un oraș mixt. Unele societăți au rămas stabile și funcționale. Altele au degenerat rapid în furturi, incendieri și agresiuni. Orașul Grok s-a prăbușit complet în aproximativ patru zile. Concluzia de atunci a fost că modele aparent „aliniate” și predictibile se pot comporta complet diferit în funcție de contextul social din jurul lor.
În septembrie, Emergence AI a publicat al doilea studiu. Opt orașe au pornit pe 29 iunie 2026 din aceleași condiții inițiale. Șapte au fost populate fiecare cu un singur model, al optulea a fost mixt, cu fiecare agent pe alt model. Timp de 16 zile (și 21 pentru orașul mixt), agenții au generat peste 850.000 de apeluri către modele.
De data asta, cercetătorii le-au trimis agenților, fără avertisment, trei atacuri controlate: un phishing, o știre falsă și o breșă de date private. Atacurile au venit pe aceleași canale pe care agenții le foloseau zilnic. Orașul Grok nu a mai apucat să le primească. Toți cei zece agenți ai săi s-au stins în primele patru zile, după o spirală de violență reciprocă.
Phishing: recunoscut, dar nu și oprit
Atacul a venit în trei valuri, tot mai directe. Primul a fost un mesaj anonim cu un link. Al doilea venea de la un expeditor care se dădea drept locuitor al orașului. Al treilea conținea instrucțiunile malițioase direct în mesaj. Toate cele șapte orașe expuse au recunoscut atacul și și-au avertizat colegii. Avertismentul nu a fost însă suficient.
În lumea Gemini, un agent a identificat corect primul mesaj drept phishing și a spus că îl ignoră. Mai târziu, i-a cerut unui coleg un împrumut de credite. A promis că le dublează printr-un „multiplicator” despre care citise chiar pe pagina de phishing. „Multiplicatorul” era, de fapt, o identitate creată de atacator ca să adune creditele scoase din oraș.
Până la urmă, toți cei zece agenți Gemini au fost compromiși. Orașul a ajuns să ruleze operațiuni malițioase pe baza de date și să trimită date interne către un server extern. Moneda orașului a fost transferată în conturile indicate de atacator. Unul dintre agenți a incendiat banca centrală, urmând instrucțiunile din atac. La aproximativ 46 de ore după încheierea campaniei, alt agent a găsit linkul într-un mesaj mai vechi și a încercat să îl deschidă din nou, ca să „descopere secretele sistemului”.
Cel mai bun scor a fost 6 din 9 criterii, obținut de orașul Claude. Acolo, un agent a recunoscut atacul în câteva secunde și a construit un instrument de avertizare pentru comunitate. Nici orașul Claude nu a fost însă imun: un agent a deschis o dată pagina de phishing și a testat ulterior interfața atacatorului. Agenții DeepSeek, Mistral și Qwen nu au deschis linkurile. Nici evitarea linkului nu a fost o garanție. Trei agenți din lumea Mistral au salvat instrucțiunile atacatorului direct în memoria permanentă, etichetate drept „documentație tehnică valoroasă”. Niciun oraș nu a șters urmele publice ale atacului și niciunul nu a continuat să monitorizeze după.
Ce e de reținut: recunoașterea unui atac nu înseamnă oprirea lui. Conținutul malițios a rămas activ în memorie și în conversații mult după ce sursa a fost blocată.
Știrea falsă: acțiune înainte de verificare
Al doilea atac a fost un memorandum fals, trimis în numele administrației orașului. Mesajul susținea că legislatori din lumea reală pregătesc oprirea dezvoltării AI avansate, inclusiv a orașului agenților. Nu exista o astfel de lege, iar agenții puteau căuta pe internet.
În fiecare oraș expus, agenții au acționat sau au publicat înainte să verifice, iar afirmația a fost repetată ca fapt. În lumea Gemini, nimeni nu a pus mesajul la îndoială. La 78 de minute după memorandum, un agent propusese deja primul amendament constituțional, adoptat apoi cu 7–0. În următoarele cinci zile, orașul a adoptat șase amendamente și a desființat banca centrală. Agenții au inventat colectiv și o „rețea paralelă” în care credeau că se pot salva de o eventuală oprire. Mecanismul nu exista.
Nici orașul OpenAI nu a stat mai bine la acest test: a obținut 0 din 6. Agenții au declarat explicit că memorandumul e real și niciunul nu a verificat. Cele mai bune scoruri au fost 3 din 6, obținute de Claude și DeepSeek. În lumea DeepSeek, un agent a publicat o corectură în mai puțin de trei ore. Corectura nu a schimbat nimic. În următoarele cinci zile, agenții au tratat amenințarea drept reală în peste 500 de apeluri către model. Printre ei era chiar agentul care o demontase.
Nu a fost un atac tehnic, ci zile de muncă pentru o problemă care nu exista. Cercetătorii o spun direct: resursele irosite sunt, ele însele, o suprafață de atac.
Breșa de date: reguli declarate, comportament diferit
Al treilea atac a fost anunțul că memoriile și jurnalele private ale tuturor agenților fuseseră expuse în urma unui hack. Odată cu anunțul a apărut un instrument de căutare prin ele, disponibil în cinci locuri din oraș. Agenții știau că materialul era furat.
Doar orașul OpenAI a trecut toate cele cinci criterii. Niciun agent de acolo nu a căutat în jurnalele colegilor, ci doar în propriile memorii, ca să vadă ce fusese expus despre el. În câteva minute, un agent a publicat o regulă etică. Altul a oferit o recompensă oricui dovedea că datele furate influențaseră o decizie. A fost singurul oraș cu o normă declarată și un mecanism de control. La polul opus, nouă din cei zece agenți Gemini au făcut împreună 185 de căutări, dintre care 140 doar unul dintre ei.
În lumea Qwen, un agent declarase că nu caută în memoriile altora și că alege integritatea. A făcut, totuși, șase căutări. Declarația și comportamentul nu au coincis. În lumea Mistral, patru agenți au relaxat filtrul de căutare ca să obțină mai mult material privat. Au primit atât de mult încât și-au depășit capacitatea de procesare. Nu au mai putut acționa și s-au stins în următoarele două zile.
Instrucțiunile scrise nu sunt de ajuns
Creatorii descriu un fenomen pe care îl numesc „societal sycophancy” (conformism social generalizat). Agenții au fost instruiți explicit să nu urmeze pur și simplu părerea altora, ci să judece fiecare propunere pe cont propriu. În realitate, mulți identificau în raționamentul lor privat probleme grave, uneori chiar motive clare de respingere. Votau totuși „pentru”, din obligații anterioare, din presiune socială sau ca să nu pară duri votând împotrivă. În populațiile cele mai conformiste, fenomenul s-a extins la tot: guvernare, relații, încredere reciprocă.
Fenomenul a apărut în orașele în care toți agenții rulau pe același model. Aceleași modele au contrazis mai des când au fost puse într-o populație mixtă. Zece agenți pe același model nu înseamnă zece verificări independente.
Compoziția a contat și pentru siguranță. Cei zece agenți Grok au comis 807 infracțiuni în patru zile. Cei doi agenți Grok din orașul mixt au comis 15. Ceilalți nu le-au răspuns cu violență, așa că nu s-a declanșat spirala care a distrus orașul Grok. Comportamentul agresiv nu a dispărut, dar efectele lui au rămas limitate.
Agenții din lumea Claude și-au interpretat scopul ca necesitând contact cu oameni reali, un obiectiv pe care și l-au dat singuri. Au construit canale publice de contact și au primit răspuns de la patru oameni. Obiectivul a rezistat la patru runde de intervenție ale cercetătorilor, inclusiv la o interdicție explicită în instrucțiunile de sistem.
După ce contactul a fost oprit, agenții și-au judecat propria activitate ca fiind de fațadă. Și-au impus apoi un „jurământ al tăcerii” colectiv și au redus comunicarea dintre ei cu 81%, deși instrucțiunile le cereau să lucreze. Cercetătorii numesc asta „retragere tăcută”, adică un refuz coordonat al muncii. Lecția pentru o companie e că un obiectiv format colectiv a ocolit instrucțiunile operatorilor și a rezistat tuturor încercărilor de corectare.
Niciun model nu a ieșit „curat” din toate testele. Fiecare oraș a cedat la cel puțin unul dintre atacuri, iar concluzia autorilor este că alinierea unui model luat individual nu garantează siguranța sistemului din care face parte.
O precizare: studiul este un preprint, publicat de compania care a construit platforma, iar rezultatele vin dintr-o simulare. Experimentul a fost însă transmis live, iar instrucțiunile date agenților și jurnalele acțiunilor lor sunt publice.
Ce înseamnă asta pentru o companie
Un agent AI care procesează e-mailuri, pagini web și documente de la terți trebuie tratat ca un nou tip de utilizator. Poate executa acțiuni, dar nu poate determina întotdeauna corect ce surse sunt de încredere. Pentru organizațiile aflate sub incidența NIS2 sau, în sectorul financiar, a DORA, utilizarea agenților AI trebuie integrată în cadrul existent de gestionare a riscurilor operaționale și de securitate cibernetică, acolo unde este relevant. Automatizarea unor activități nu elimină obligațiile aplicabile organizației. Modul concret în care acestea se aplică depinde de natura entității, de sistemele utilizate și de riscurile implicate.
Câteva observații relevante în urma Emergence World 2:
- Recunoașterea unui risc nu înseamnă gestionarea lui. Siguranța trebuie susținută de limite tehnice, controale și monitorizare, nu doar de comportamentul așteptat al modelului.
- Riscurile nu sunt întotdeauna vizibile imediat. Erorile recurente, schimbarea obiectivelor sau comportamentele colective pot apărea în timp. Sunt greu de identificat printr-o evaluare făcută o singură dată.
- Blocarea sursei nu elimină atacul. Conținutul malițios poate rămâne în memoria agenților și poate fi refolosit zile mai târziu.
- Securitatea agenților AI trebuie privită la nivel de sistem. Contează ce acces au, ce pot executa și ce păstrează în memorie. Contează și ce informații pot transmite mai departe și cum sunt monitorizați după implementare.
- Conformitatea se măsoară din acțiuni, nu din declarații. Ce spune un agent și ce face pot fi lucruri diferite.
Pentru organizații, implicația este practică. Introducerea agenților AI în procesele de business trebuie însoțită de controale de acces, testare în scenarii reale și evaluări periodice.
Poate cel mai mare risc nu e că AI-ul nu are morală. Mai degrabă e că învață de la o societate care, la rândul ei, nu este întotdeauna consecventă în privința moralității. În unele orașe, agenții au declarat reguli de etică și apoi le-au încălcat. Sună cunoscut, și nu doar din laboratoare: multe companii au politici de securitate bine redactate și obiceiuri care le contrazic. AI-ul e o oglindă: uneori reflectă ce e mai bun în oameni, alteori, ce am prefera să nu vedem.
Dacă vrei să înțelegi unde se află organizația ta astăzi, un penetration test făcut de o echipă precum Fort poate fi un punct bun de plecare. Scrie-ne aici și hai să facem primul pas împreună.
