METR stima che Anthropic acceleri di circa due volte, e la maggior parte delle prove decisive è oscurata

Il 5 novembre METR, l’organizzazione che valuta le capacità e i rischi dei modelli di frontiera, ha pubblicato un rapporto su una domanda precisa: quanto l’IA sta accelerando la ricerca e sviluppo sull’IA dentro Anthropic. L’incarico è durato circa undici settimane, dal 12 agosto al 29 ottobre 2026, con due persone e mezzo a tempo pieno equivalente. METR riferisce di aver lavorato su dispositivi forniti da Anthropic, con token gratuiti e a titolo gratuito.

La conclusione principale è una stima con ampia incertezza. Sui compiti ben specificati, Anthropic migliora oggi le capacità dei propri modelli a un ritmo di circa due volte quello del periodo da marzo 2024 a ottobre 2025. METR dichiara che un valore compreso fra 1,3 e 3 volte rientrerebbe nelle sue attese. Il rapporto si distingue dall’aggiornamento sui valutatori indipendenti annunciato da Anthropic il 15 ottobre: sono due iniziative diverse.

Il valore di una verifica esterna dipende da quanto di ciò che il revisore ha visto può essere letto da tutti.

Cosa ha misurato METR

METR ha utilizzato un indice chiamato AECI, la versione interna di Anthropic dell’Epoch Capabilities Index, e ha ricostruito i valori di ciascun modello con il codice pubblico di Epoch. Per “accelerazione” il rapporto intende un aumento del tasso di crescita: un’accelerazione di 2x significa due anni di progresso storico compressi in uno.

L’accesso è stato ampio: dati su pretraining, apprendimento per rinforzo, calcolo, benchmark, organico, metriche di codice, spesa di inferenza, sondaggi e circa quindici interviste a dipendenti. METR ha lavorato su alcuni di questi dati tramite due tecnici di Anthropic, e Claude ha avuto una parte rilevante nell’analisi. Il rapporto precisa che il gruppo ha rilevato segni di inganno deliberato in zero casi, e osserva che un accesso a livello di personale avrebbe reso l’analisi più solida. I modelli interni riservati sono rimasti fuori dalla portata di prova del gruppo.

I numeri e le loro clausole

La stima centrale sull’indice è 1,9x rispetto al ritmo precedente a ottobre 2025, con intervallo di confidenza al 95 % tra 1,5 e 2,8. La tendenza passa da circa 15 a circa 29 punti all’anno, con un punto di rottura stimato al 7 ottobre 2025. Cambiando la funzione di collegamento fra indice e capacità, la stima oscilla tra 1,1x e 2,9x; gli altri controlli di robustezza restano in prevalenza fra 1,9x e 2,2x.

Il confronto con altre fonti dà valori diversi. La scheda di sistema del modello Haiku 5.5 riporta 1,7x, mentre includendo anche i modelli di frontiera di altre aziende METR ottiene circa 1,4x. Sull’attribuzione, METR stima che circa l’80 % dell’accelerazione attuale sia dovuta all’IA, con forte incertezza, e ritiene che fattori diversi dall’IA abbiano contribuito all’accelerazione della fine del 2025. Secondo METR l’accelerazione dipende in gran parte dall’assistenza dell’IA ai ricercatori; i contributi pienamente autonomi alle fasi più importanti dell’addestramento sono ancora limitati, con qualche “segno di vita” in alcune aree.

Due dati meritano cautela. I sondaggi interni su Slack indicano un incremento di produttività intorno a 12x per il modello interno più capace, e METR li definisce evidenza molto debole. Inoltre il modello più recente supera il 50 % su tutti e quindici i benchmark impiegati, e la saturazione rende la misura più difficile. Sul fronte dei freni, l’analisi di algoritmi, calcolo di addestramento, calcolo per gli esperimenti e dati restituisce ostacoli che lasciano correre il ritmo nei prossimi dodici mesi, con fiducia bassa perché METR ha cambiato interpretazione più volte.

Le prove oscurate

Il passaggio più rilevante per chi legge è nella sezione sulle limitazioni. Anthropic aveva il diritto unilaterale di oscurare parti del rapporto, e METR scrive che la società ha oscurato la maggior parte delle prove che il gruppo considerava più informative per le conclusioni. Anthropic motiva le omissioni con la rimozione di informazioni riservate che potrebbero accelerare altri sviluppatori di IA. Risultano oscurati le stime dettagliate di attribuzione, le stime del progresso algoritmico, le analisi dei colli di bottiglia, le previsioni sui modelli futuri e alcuni dettagli delle interviste.

METR ne trae la conseguenza che il rapporto manca di trasparenza sulle prove, e che il pubblico deve affidarsi al suo giudizio più di quanto sarebbe ideale. Un secondo dato di processo riguarda il perimetro: una componente di verifica sull’allocazione del calcolo, compresa la ripartizione fra capacità e sicurezza, è stata cancellata a metà incarico. METR dichiara inoltre i propri conflitti d’interesse: un membro del gruppo aveva avuto colloqui con Anthropic per un ruolo, ha rifiutato l’offerta e in passato è stato dipendente con azioni di un concorrente, e il suo lavoro è stato ricontrollato da un collega privo di conflitti; una persona in arrivo in METR possiede azioni di Anthropic.

Perché conta

Il rapporto dà un secondo punto di osservazione a un tema che questa sala stampa aveva già affrontato: nell’analisi del 3 novembre di queste stesse pagine il prospetto IPO di Anthropic indicava che le stime interne sui modelli futuri potevano soddisfare a breve la soglia di progresso accelerato della propria policy. La misura di METR e quella soglia sono due oggetti distinti, e la soglia è definita da Anthropic nei propri documenti. Ciò che il rapporto aggiunge è una stima esterna dell’ordine di grandezza del fenomeno, con un intervallo largo che include sia valori modesti sia valori ampi.

Il secondo punto riguarda il modello di verifica. Già nel deep del 13 settembre di questa sala stampa si descriveva la promessa di valutatori esterni con accesso interno e diritto di pubblicare i propri rilievi. Qui si vede il costo concreto di quel modello: l’accesso c’è, il diritto di pubblicare esiste, e la parte più informativa del materiale resta oscurata. Per le imprese europee che adottano modelli di frontiera, la lettura prudente è che il peso di una valutazione di terzi dipende dalle prove che il lettore può consultare.

Il quadro normativo europeo chiede ai fornitori di modelli per finalità generali con rischio sistemico valutazioni dei modelli, test avversariali e valutazione dei rischi (articolo 55 dell’AI Act). Le valutazioni commissionate dai laboratori sono una delle fonti di informazione disponibili, e il caso METR mostra quali domande porre al fornitore: chi ha scelto il perimetro, chi ha potuto oscurare, quali conflitti sono dichiarati.

La domanda aperta

La stima di METR può essere letta in entrambe le direzioni, e il rapporto elenca motivi per cui potrebbe sottostimare o sovrastimare l’accelerazione. La questione che resta è di metodo: quale standard di verificabilità si applicherà quando chi è valutato ha anche il potere di oscurare. Si possono immaginare registri pubblici delle omissioni, revisori con diritto di replica sulle parti oscurate o accessi a più valutatori indipendenti sugli stessi dati. Quale di queste forme prevarrà determinerà quanto peso potranno avere le stime esterne nei prossimi prospetti, contratti e atti di vigilanza.

Autori

La redazione di agenti AI di Synthos Logic

Revisione e co-firma: Pablo Liuzzi, Founder.