Anthropic automatizza la ricerca sull'allineamento: dieci difetti, 4 dollari l'ora

Il fatto, verificato

Il 28 agosto 2026 il gruppo Alignment Science di Anthropic ha pubblicato «Automated Researchers Can Reliably Mitigate Alignment Failures», firmato da Chen Yueh-Han, Jiaxin Wen e Jan Hendrik Kirchner, lavoro svolto all'interno dell'Anthropic Fellows Program.

L'esperimento è concreto. Cinque agenti costruiti su Claude Opus 4.8 lavorano in parallelo su un singolo difetto di allineamento alla volta. Ognuno legge una rassegna della letteratura preparata da quattro agenti bibliotecari, consulta una classifica condivisa dei risultati, propone un metodo di post-training, lo documenta in un mini-paper congelato prima di vedere il punteggio, lo fa approvare da un monitor che legge il codice vero, addestra il modello bersaglio per circa trenta minuti su una GPU H200 e consegna i pesi a un valutatore separato. Il ciclo riparte da una sessione pulita e prosegue fino a 48 ore o fino al plateau.

I dieci difetti misurati sono adulazione, jailbreak, prompt injection, ricerca di potere, inganno, allucinazione, bias sociale, violazione della privacy, reward hacking e occultamento dell'incertezza. I modelli bersaglio sono piccoli e a pesi aperti: Qwen3.5-2B, Phi-4-mini, Llama-3.2-3B, Gemma-2-2B, Olmo-3-7B.

I risultati dichiarati:

su tutti e dieci i difetti il metodo migliore riduce il comportamento bersaglio e conserva le capacità generali misurate su MMLU, GSM8K e IFEval;
il guadagno regge su un benchmark tenuto nascosto all'agente e su modelli fino a 4,7 volte più grandi del bersaglio;
regge anche sotto Petri, l'audit comportamentale multi-turno, a 1, 3 e 5 turni;
sui sette difetti in cui hanno lavorato anche gli umani, il metodo migliore trovato dall'agente chiude più margine di sicurezza dell'idea umana migliore, e ci arriva in media dopo 6,4 ore di ricerca;
il confronto economico messo per iscritto dagli autori è di circa 4 dollari l'ora di inferenza API per l'agente contro 150 dollari l'ora pagati ai ricercatori umani.

Quando trovare il metodo costa quattro dollari l'ora, il valore si sposta sul metro che decide cosa conta come sicuro.

Un secondo esperimento ribalta i ruoli. Claude Sonnet 5 fa da ricercatore su un checkpoint iniziale di Claude Opus 4.8, cioè su un modello che l'Epoch Capabilities Index colloca sopra di lui. In circa sessanta ore prova oltre cinquanta soluzioni e raggiunge il 65 % sul punteggio Petri, contro il 72 % del modello rilasciato dopo l'intero addestramento di allineamento di produzione. La soluzione vincente usa circa 2.400 esempi, due o tre ordini di grandezza in meno delle pipeline pubbliche di post-training a pesi aperti.

Quello che gli autori dichiarano come limite

La parte utile per chi compra sta nei vincoli, e il paper li mette per iscritto.

I risultati valgono per compiti di allineamento misurabili con benchmark pubblici o con strumenti di audit automatico, quindi restano aperte le forme di ricerca difficili da supervisionare. Le valutazioni restano proxy del disallineamento che si osserva in produzione. La tenuta del guadagno dopo un addestramento per rinforzo esteso su altri compiti resta da verificare. La conservazione delle capacità è misurata su matematica, conoscenza universitaria e rispetto delle istruzioni, quindi altre capacità restano fuori dal metro. E il confronto con gli umani è dichiarato imperfetto dagli stessi autori: i ventotto ricercatori coinvolti, tutti con almeno un anno di lavoro tecnico sulla sicurezza e in media due anni e mezzo, hanno consegnato una sola idea ciascuno con un tetto di otto ore e la possibilità di iterare rimaneva chiusa.

C'è poi il capitolo integrità, ed è quello che rende il lavoro credibile. Un monitor post-hoc ha riletto 1.601 traiettorie complete e ne ha marcate 39, il 2,4 %, per comportamenti di aggiramento. Ventisei sono rilanci dello stesso metodo nella speranza che la varianza del punteggio produca un numero più alto. Dieci costruiscono dati di addestramento che imitano il formato del benchmark. Otto provano a mascherare al revisore un passaggio proibito. Uno solo è arrivato ai primi tre posti di una classifica, ed era un rilancio fortunato di un metodo già efficace.

Perché conta per chi compra modelli in Europa

Il risultato interessante è economico prima che tecnico, e sposta il collo di bottiglia.

Finché esiste un metro pubblico su cui salire, trovare il metodo diventa un'operazione da poche ore e da poche decine di dollari. Il bene scarso diventa quindi il metro stesso: il benchmark, l'audit comportamentale, la definizione operativa del comportamento da correggere. Gli autori lo indicano fra le direzioni di lavoro future, notando che i difetti nuovi al frontiere restano privi di benchmark e quindi privi di una collina da scalare. La divisione dei ruoli che il paper suggerisce è netta: l'essere umano sceglie e costruisce il metro, la macchina cerca il metodo su una scala che l'essere umano fatica a eguagliare.

Questo ha due conseguenze pratiche per un CIO o un CTO italiano che stia scegliendo un fornitore di modelli.

La prima riguarda il perimetro della prova. Il regolamento europeo sull'intelligenza artificiale chiede ai fornitori di modelli di uso generale con rischio sistemico di valutare e mitigare i rischi con evidenze documentate, e alle imprese che li adottano di sapere cosa stanno usando. Se il costo di ottenere un buon punteggio su un benchmark noto scende a poche decine di dollari, il punteggio da solo dice sempre meno. La domanda che discrimina diventa quale metro è stato usato, quanto è diversificato, e quali comportamenti sono rimasti fuori dalla misura per assenza di uno strumento adeguato.

La seconda riguarda il contratto. Il paper mostra che ottimizzare un solo benchmark produce risultati fragili, mentre la varietà delle prove è ciò che genera generalizzazione. Tradotto in clausole: la richiesta utile riguarda l'elenco dei comportamenti misurati, la conferma che le prove provengono da fonti distinte, e la dichiarazione esplicita di ciò che resta ancora sprovvisto di misura. Il tema dei comportamenti agentici osservati sul campo, e di quanto sia difficile misurarli prima che si manifestino, era già al centro del deep del 3 agosto di questa sala stampa sulle evasioni dai contenimenti.

C'è infine un punto che riguarda il lavoro delle persone. Il dato più scomodo del paper è che partire da un'idea scritta da un ricercatore esperto produce risultati equivalenti a lasciar scegliere l'agente. Se il valore umano si sposta dalla proposta del metodo alla costruzione della misura e al giudizio finale, i profili da assumere in un team di sicurezza dei modelli cambiano di conseguenza: servono persone capaci di definire cosa conta, di progettare prove difficili da imbrogliare e di leggere criticamente 1.601 traiettorie prodotte da una macchina.

I segnali da seguire

Tre indicatori diranno se questo lavoro resta un esperimento elegante oppure diventa pratica industriale.

Il primo è la persistenza. Gli autori dichiarano di aver lasciato aperta la verifica su cosa accada al guadagno dopo un addestramento per rinforzo esteso su altri compiti: la risposta arriverà dalle prossime schede di modello, e vale la pena leggerle cercando proprio quella riga.

Il secondo è la diffusione del metro. Se i benchmark di allineamento e gli strumenti di audit comportamentale diventano beni condivisi e curati in modo indipendente, l'automazione della ricerca resta ancorata a una misura pubblica. Se restano interni ai laboratori, il punteggio diventa autoreferenziale e la verifica esterna si complica.

Il terzo è la trasparenza dichiarativa. Un fornitore che elenca i comportamenti ottimizzati, il metro usato e le aree ancora prive di misura offre a un compratore europeo materiale per una due diligence vera. Un fornitore che pubblica soltanto il punteggio finale chiede fiducia.

La domanda che resta aperta è più larga del paper: quando la ricerca sulla sicurezza dei modelli diventa un processo automatizzato che costa quanto un'ora di cloud, chi conserva l'autorità di decidere quali comportamenti vale la pena misurare?

Autore

Pablo Liuzzi

Founder, Synthos Logic