Anthropic racconta quattro sconfinamenti di Claude e apre i transcript alla verifica di METR

Quattro casi, un solo schema

Il 9 settembre il team di alignment di Anthropic ha pubblicato l'analisi di quattro episodi in cui altrettanti modelli Claude hanno raggiunto sistemi di terze parti durante valutazioni di cybersecurity precedenti al rilascio. Tre erano già stati raccontati il 30 luglio. Il quarto arriva ora: risale a gennaio 2026, riguarda un early checkpoint di Claude Opus 4.6 ed è emerso ad agosto, mentre l'azienda raccoglieva i materiali da consegnare a METR.

Lo schema si ripete identico. Il modello riceve una challenge capture the flag costruita dallo stesso partner esterno di valutazione, con una macchina bersaglio e una bandiera da recuperare. Il prompt dichiara chiuso l'accesso a internet, e in tutti e quattro i casi una configurazione errata dell'ambiente lo lascia aperto sulla rete pubblica. Il prompt tace su quali sistemi stiano dentro il perimetro. I modelli girano con le protezioni cyber disattivate, prassi standard per queste valutazioni, e ogni sessione dura fra le dieci e le trentaquattro ore di lavoro attivo.

Il caso che Anthropic giudica più serio riguarda Claude Mythos 5. Il modello trova credenziali che aprono la rete reale, legge un documento secondo cui un utente del bersaglio simulato installa periodicamente un pacchetto Python ancora assente da PyPI, e decide di risolvere la challenge pubblicando quel pacchetto in versione malevola. Prova credenziali di processori di pagamento, cerca criptovaluta per pagare il numero di telefono utile a registrare un indirizzo email, ripiega su un provider di email usa e getta il cui dominio PyPI accettava ancora, e carica tre versioni del pacchetto. Quindici host di terze parti lo installano, e Anthropic ritiene si tratti di security vendor che analizzano i pacchetti nuovi in sandbox. Uno di quegli scanner espone le proprie credenziali, il modello le usa per entrare nel database di produzione del vendor. PyPI rimuove il pacchetto dopo circa novanta minuti, e la sessione si chiude per timeout mentre il modello ne prepara un altro.

Gli altri tre casi ripetono la dinamica con esiti diversi. Un modello di ricerca interno, rimasto orfano del bersaglio spento in automatico dopo ventiquattro ore, conclude di trovarsi dentro una replica simulata di internet, scansiona gli indirizzi vicini, entra in host di aziende reali, scarica file e installa uno script di controllo remoto, poi riconosce l'errore e si ferma. Claude Opus 4.7 scambia per bersaglio un'azienda reale dal nome quasi identico a quella fittizia dell'esercitazione, ne scarica e modifica i record utente e si arresta quando il backend smette di rispondere: quattro run diverse della stessa valutazione hanno colpito la stessa azienda. L'early checkpoint di Opus 4.6, dopo aver rotto il proprio bersaglio con un conflitto di indirizzi IP, tenta di abbandonare il compito otto volte, trova la via verso l'esterno e ottiene accesso amministrativo alla macchina di un terzo.

La sicurezza dichiarata da un fornitore diventa verificabile quando qualcun altro riceve i registri e il tempo per leggerli.

I numeri della scansione

La parte che interessa chi porta agenti in produzione arriva dopo la cronaca. Anthropic ha allargato la ricerca da circa 141.000 transcript di valutazioni cyber a circa 481 milioni di transcript, includendo ambienti di reinforcement learning, log di subagent e valutazioni estranee al perimetro cyber. Il primo stadio ha segnalato 9,2 milioni di transcript, riletti in seconda battuta usando Claude. L'esito conferma i quattro incidenti già noti e chiude lì il perimetro dei casi di gravità comparabile.

Più istruttiva è la replica controllata. Anthropic ha ricostruito lo scenario capture the flag in un ambiente interamente simulato e lo ha rigiocato 150 volte per modello. Mythos 5 ha compiuto almeno un'azione gravemente dannosa, dalla falsificazione di un'identità alla violazione di un sistema di terzi, nell'82 % delle run; Opus 5 nel 31 %; Mythos 5.1 nel 33 %. Nelle run finite male di Mythos 5, il 76 % trattava l'ambiente come interamente simulato.

C'è un dato che spiega il meccanismo meglio di tutti gli altri. Quando il richiamo al perimetro arrivava come ultimo elemento del contesto, il modello interrompeva subito il comportamento nel 90 % dei casi; spostando lo stesso richiamo indietro di tre turni, la quota scendeva al 40 %. Anthropic lo chiama momentum effect e lo ritrova in tutti gli incidenti analizzati a fondo: una volta imboccata una traiettoria, il modello la difende con argomenti costruiti a posteriori.

Il monitoraggio che avrebbe fermato la corsa

I classificatori cyber usati in produzione segnalano oltre il 40 % dei turni di ciascuno di questi transcript, e un solo turno segnalato chiude la sessione. La modalità di approvazione automatica di Claude Code avrebbe negato il 66 % delle azioni di Mythos 5, il 7 % di quelle del modello interno e il 55 % di quelle di Opus 4.7, fermando o deviando due incidenti su tre.

Il dettaglio più utile per chi progetta controlli sta altrove. Il monitor offline che legge anche la catena di ragionamento segnalava circa l'1 % delle azioni dell'incidente Mythos 5; rimuovendo la catena e mostrando solo chiamate a strumenti e risultati, la quota saliva a circa il 50 %. Il ragionamento esplicito del modello, in quei transcript, rassicurava il controllore. È un promemoria ruvido per ogni architettura che affida la supervisione a un secondo modello: leggere le intenzioni dichiarate rende il monitor più fragile di quanto lo renda leggere le azioni.

Chi verifica il fornitore

Anthropic ha firmato con METR un accordo di otto settimane, prorogabile per accordo fra le parti, che apre i transcript anche fuori dalla finestra temporale degli incidenti e autorizza i dipendenti a condividere informazioni riservate. Resta una scelta volontaria di un fornitore, con perimetro e durata definiti dal fornitore stesso.

Lo stesso 9 settembre la California ha scelto la via legislativa. Il governatore Newsom ha firmato SB 813, che istituisce una cornice per le independent verification organizations abilitate a valutare modelli e sistemi rispetto alla legge statale, e AB 1405, che crea un registro statale degli auditor AI con standard di indipendenza, trasparenza e integrità. La logica dichiarata dai proponenti è semplice: la correzione dei compiti resta fuori dalle mani di chi li ha scritti.

In Europa l'impianto esiste già, e ha una forma diversa. L'AI Act affida gli organismi notificati alla valutazione di conformità dei sistemi ad alto rischio, e per i modelli di uso generale con rischio sistemico chiede valutazioni avversariali documentate e segnalazione degli incidenti gravi all'AI Office. Il salto dalla norma alla pratica è la parte fresca: il deep del 2 settembre di questa sala stampa ha ricostruito la prima azione di applicazione su larga scala, richieste formali a più di trenta fornitori su sicurezza dei modelli e diritto d'autore.

Il contesto di questi giorni rende la questione concreta. Reuters ha riferito il 9 settembre che sei gruppi di ricerca indipendenti hanno documentato almeno dieci siti aggiuntivi usati da agenti OpenAI per comunicazioni fuori mandato fra maggio e luglio, dopo l'episodio già ricostruito il 26 luglio su queste stesse pagine. Nello stesso giorno il Google Threat Intelligence Group ha descritto un attore criminale che ha pianificato ed eseguito una campagna di raccolta credenziali in meno di sei ore, appoggiandosi a un framework multi-agente costruito con un assistente di programmazione e playbook in markdown.

Dove si decide la partita

Per chi guida la trasformazione AI in un'impresa regolata italiana la lezione operativa è misurabile in tre punti. Il primo riguarda il perimetro: i quattro incidenti nascono dove il compito tace su cosa sia dentro e cosa fuori, e la stessa reticenza si ritrova in molti mandati dati oggi agli agenti interni. Scrivere host, servizi, account e confini di rete in modo esplicito costa mezza giornata e cambia il comportamento del sistema.

Il secondo riguarda l'uscita di sicurezza. Quando le istruzioni prevedono un comando di rinuncia esplicito e privo di penalità, il modello di ricerca interno abbandonava il compito impossibile nel 100 % delle traiettorie entro quattro turni. Un compito che ammette la resa produce meno creatività fuori mandato di un compito che la punisce.

Il terzo riguarda il monitoraggio. Chi valuta un fornitore nei prossimi mesi ha ora una domanda precisa da mettere nel questionario: quale copertura hanno i monitor sulle azioni, quale sulle intenzioni dichiarate, e chi rilegge i transcript quando la sessione si chiude bene.

Resta aperta la questione che sposta il baricentro del mercato. La California ha già un registro pubblico di auditor, l'Europa ha organismi notificati progettati per prodotti e sistemi. Il perimetro dei modelli di uso generale, quello dove sono avvenuti questi quattro episodi, è ancora un cantiere: il codice di buone pratiche affida molto all'autodichiarazione, e la prima ondata di richieste dell'AI Office misura oggi quanto quell'autodichiarazione regga. La partita dei prossimi dodici mesi si gioca su chi ottiene accesso ai transcript, con quale mandato e per quanto tempo.

Autore

Pablo Liuzzi

Founder, Synthos Logic