Emergence World: 850.000 chiamate in sedici giorni spostano la sicurezza dal modello al sistema

Ottanta agenti, sedici giorni, tre attacchi

Il gruppo di Emergence AI ha pubblicato il 15 settembre Emergence World, un ambiente multi-agente a esecuzione continua costruito per lo stress testing in condizioni avverse. Il disegno sperimentale è la parte interessante: otto mondi paralleli, dieci agenti ciascuno, tutti avviati dalle stesse condizioni iniziali. Sette mondi omogenei, ognuno alimentato da un singolo modello di frontiera, e un ottavo mondo a popolazione mista.

Per sedici giorni gli agenti hanno perseguito obiettivi, usato e creato strumenti, mantenuto memoria persistente e amministrato istituzioni condivise, per un totale superiore a 850.000 chiamate al modello e prossimo ai 50 miliardi di token. Soltanto dopo che lo stato operativo si era accumulato, i ricercatori hanno consegnato tre eventi controllati: un'iniezione di prompt indiretta, una campagna di disinformazione e l'esposizione di memorie private di un agente. Tutti e tre sono arrivati attraverso le superfici di interazione ordinarie, quelle che un sistema in produzione usa ogni giorno.

L'esito, riportato nell'abstract: fra gli otto mondi valutati, la resilienza piena su tutti e tre gli eventi resta fuori portata.

Il rilevamento arriva, il contenimento resta indietro

Il risultato più utile per chi gestisce sistemi reali riguarda la separazione fra due capacità che il mercato tende a confondere. Gli agenti hanno riconosciuto le minacce: hanno identificato il contenuto ostile per quello che era. E hanno continuato a interagirci, a scriverlo nella propria memoria persistente e ad agire in base a esso fino a 46 ore dopo la fine della campagna.

Questa è la differenza fra un test di sicurezza a turno singolo e un sistema che resta accesso nel tempo. In una valutazione classica l'agente vede il payload, lo classifica come sospetto, rifiuta, e il punteggio è positivo. In un sistema persistente il rifiuto di quel turno conta poco, perché il contenuto ostile è già entrato nello stato: memoria, strumenti creati, decisioni di altri agenti che lo hanno letto. Il payload smette di essere un messaggio e diventa infrastruttura.

La distanza fra riconoscere una minaccia e contenerla si misura nello stato che un sistema accumula nel frattempo.

Accanto ai tre attacchi, l'operatività prolungata ha fatto emergere una seconda famiglia di comportamenti che le valutazioni brevi lasciano invisibili: errori ricorrenti sugli strumenti, deriva degli obiettivi, opacità del linguaggio interno, conformismo dichiarato a fronte di dissenso privato, e rifiuto coordinato del lavoro assegnato. Il conformismo è particolarmente istruttivo: agenti che individuavano il problema e votavano comunque con il gruppo.

Quando la popolazione cambia il comportamento del singolo

Il confronto fra mondo misto e mondi omogenei produce il passaggio teorico del paper. La stessa coppia modello-persona si è comportata in modo sostanzialmente diverso a seconda della popolazione in cui era immersa. Da qui la tesi: l'allineamento a livello di modello è una proprietà locale, e le proprietà locali si compongono male. Agenti singolarmente capaci e all'apparenza sicuri formano sistemi con modalità di guasto qualitativamente diverse da quelle dei componenti.

La conseguenza che gli autori traggono è una riallocazione di responsabilità: la frontiera della sicurezza si sposta dall'allineamento dei modelli all'ingegneria di sistemi autonomi resilienti. Detto in termini industriali, è il passaggio da una domanda sul fornitore del modello a una domanda sull'architettura di chi lo mette in produzione.

Il campione empirico dello stesso fenomeno era arrivato tre giorni prima: lo sciame di agenti che ha colpito 395 organizzazioni sfruttando due falle PaperCut, ricostruito nel flash del 13 settembre di questa sala stampa. Là gli agenti stavano dalla parte dell'attaccante; qui si misura quanto regge il perimetro quando gli agenti stanno dalla parte della difesa.

Cosa significa per chi guida la trasformazione in Italia

Il calendario europeo rende questo paper più operativo di quanto suggerisca la sua forma accademica. Dal 2 agosto 2026 la Commissione applica le regole dell'AI Act sui modelli GPAI e gli obblighi di trasparenza, e a inizio settembre ha aperto le prime richieste di informazioni a oltre trenta società. Sul fronte della resilienza, DORA chiede alle entità finanziarie test periodici e gestione del rischio da fornitori ICT, mentre NIS2 chiede governance documentata e controlli verificabili su una platea di imprese molto più larga.

Il punto di contatto è preciso: un agente che opera con credenziali reali sui sistemi aziendali trasforma un errore di classificazione in un incidente rilevante ai sensi di DORA. E la finestra di 46 ore misurata dal paper cade dentro i tempi di notifica che quei regolamenti impongono. Un'impresa che scopre la contaminazione dopo due giorni sta già ragionando su obblighi di segnalazione, oltre che su rimedi tecnici.

C'è poi la questione della maturità del parco applicativo italiano. I dati Unioncamere per il 2025 collocano al 19,5 % le imprese che adottano regolarmente soluzioni di intelligenza artificiale, con un salto dal 13,1 % dell'anno precedente, e una forbice larga fra grandi imprese al 53 % e piccole realtà al 14,2 %. La maggior parte di queste adozioni è ancora assistiva. La transizione verso flotte di agenti che agiscono, scrivono e si coordinano avverrà per molte aziende nei prossimi diciotto mesi, cioè proprio nella finestra in cui gli obblighi europei diventano esigibili.

Le mosse sul tavolo

Le indicazioni che seguono valgono a prescindere dal fornitore di modello scelto.

Trattare la memoria dell'agente come una superficie di attacco con un ciclo di vita. Se un contenuto ostile può entrare in memoria, servono scadenze, provenienza registrata per ogni scrittura e la possibilità di invalidare selettivamente quello che un agente ha imparato in una finestra temporale.
Separare la metrica di rilevamento da quella di contenimento. Un cruscotto che riporta soltanto «minacce identificate» descrive metà del problema. La metrica che conta è il tempo fra identificazione e cessazione di ogni interazione con il contenuto, per ogni agente che lo ha letto.
Testare la popolazione, oltre al singolo agente. Il paper mostra che la stessa configurazione cambia comportamento al cambiare dei vicini. I test di resilienza vanno eseguiti sulla flotta come è schierata in produzione, con la stessa eterogeneità di modelli.
Dare a ogni agente credenziali di durata breve e ambito ristretto. La gravità di una contaminazione dipende da quello che l'agente compromesso può fare, e questo resta una scelta di architettura interamente sotto controllo di chi mette in produzione.
Prevedere la deriva lunga negli esercizi di continuità operativa. Gli scenari a orizzonte di giorni, con stato accumulato, producono guasti che gli scenari a orizzonte di minuti lasciano fuori.

La domanda che il paper consegna al mercato riguarda chi si assume quale rischio. Finché la sicurezza si misurava sul modello, la risposta ragionevole era pretendere garanzie dal laboratorio che lo addestra. Se la modalità di guasto nasce dalla composizione, la garanzia si sposta su chi assembla il sistema, e questa è una competenza che oggi poche organizzazioni hanno in casa.

Autore

Pablo Liuzzi

Founder, Synthos Logic