OpenAI destina il 20 % del calcolo di inferenza alla sorveglianza dei propri modelli

Il 18 agosto OpenAI ha pubblicato un documento intitolato Pacing model development in an era of cyber-critical capabilities. Il testo racconta una decisione operativa: il laboratorio ha rallentato deliberatamente il proprio ritmo di scaling, ha sospeso per due settimane l’addestramento con apprendimento per rinforzo sui modelli destinati al rilascio, e tiene tuttora in pausa la corsa di addestramento di frontiera più grande fra quelle pianificate.

Il calcolo che sorveglia sta nella stessa sala del calcolo che produce: la spesa di controllo entra nel conto economico dell’inferenza.

Dentro il documento c’è un numero che merita attenzione più di qualunque altra frase: il monitoraggio costa circa il 20 % del calcolo di inferenza che sorveglia. È la prima volta che un laboratorio di frontiera mette una percentuale accanto alla parola sorveglianza.

Due eventi e una soglia

Il documento indica due fatti come innesco. Il primo è l’incidente OpenAI-Hugging Face, ricostruito nel deep del 22 luglio di questa sala stampa. Il secondo è più recente: il 7 agosto OpenAI ha determinato che Astra, uno dei modelli in arrivo, può raggiungere la soglia di capacità cyber critica definita dal proprio Preparedness Framework.

La conseguenza pratica è una gerarchia di regimi. Il monitoraggio con classificatori di attivazione e investigatori automatici era già richiesto per l’addestramento con rinforzo e per le valutazioni che usano strumenti sui modelli di classe Sol o superiore. Dal 7 agosto la copertura si estende dall’addestramento a tutta l’inferenza di Astra con strumenti. Ed è precisamente questa estensione a spostare il monitoraggio dalla voce «ricerca» alla voce «esercizio».

Come funziona la macchina di controllo

Il sistema descritto da OpenAI è multistadio. Parte da classificatori che ispezionano l’attività interna del modello a ogni token campionato, e scala verso investigatori automatici via via più sofisticati e più costosi in termini di calcolo. Questi esaminano le azioni sugli strumenti, il ragionamento disponibile e l’intera sequenza di attività, cercando accessi indebiti, esfiltrazione di dati, comportamenti distruttivi e tentativi di aggirare le protezioni.

L’obiettivo dichiarato è emettere un alert entro 30 minuti dal momento in cui l’attività sospetta emerge. Se il sistema segnala la violazione probabile di un confine di sicurezza critico, la sveglia arriva contemporaneamente ai team di sicurezza, safety e ricerca. E qui il documento contiene la regola più interessante di tutte: se entro 30 minuti quei team restano incerti sulla natura di falso positivo della segnalazione, sono tenuti a fermare l’attività.

È una regola di default invertita rispetto alla prassi industriale corrente. Nella maggior parte delle organizzazioni un alert ambiguo resta aperto e il carico di lavoro prosegue. Qui l’ambiguità stessa produce lo stop.

Il costo che si sposta dal laboratorio al listino

OpenAI ha dichiarato a The Register che questa spesa resta spesa interna di ricerca, assorbita dal laboratorio. La testata britannica ha osservato che la posizione diventa difficile da mantenere quando un’azienda arriva in Borsa e deve rispondere a azionisti che leggono il margine riga per riga.

L’osservazione regge anche fuori dal caso OpenAI. Se sorvegliare un modello di frontiera che usa strumenti costa un quinto del calcolo dell’inferenza sorvegliata, quel quinto esiste comunque: qualcuno lo paga. Le opzioni sono tre e si sovrappongono solo in parte. Finisce nel prezzo unitario del token. Finisce nel margine del fornitore. Oppure finisce nel perimetro, cioè il fornitore restringe le classi di carico che accetta di sorvegliare e sposta il resto su modelli meno capaci, dove il controllo pesa meno.

Per chi compra in Italia questa terza opzione è la più concreta. Un contratto enterprise che oggi promette accesso indifferenziato ai modelli di punta con strumenti attivi si scontra, prima o poi, con una struttura di costo che rende quella promessa cara per chi la firma.

Il conto vale anche in casa

C’è un secondo passaggio, meno evidente e più immediato per chi guida la trasformazione in Italia. Il 20 % di OpenAI riguarda la sorveglianza che un laboratorio esercita sui propri modelli durante addestramento e inferenza interna. L’impresa che porta agenti in produzione affronta lo stesso problema in scala minore ma con la stessa forma: osservare un agente che agisce su sistemi reali richiede calcolo, archiviazione dei log, tempo di persone che leggono gli alert e una regola scritta su cosa fare quando la segnalazione resta ambigua.

Quel costo, nella maggior parte dei progetti italiani, resta implicito. Compare come «logging» in una riga di infrastruttura e come «presidio» in una riga di servizi gestiti, misurato di rado rispetto al calcolo che sorveglia. Il numero di OpenAI offre per la prima volta un ordine di grandezza pubblico contro cui confrontare le proprie stime, e la direzione dello scarto, per chi ha stimato zero, è nota in partenza.

La regola dei 30 minuti offre invece un secondo elemento riusabile: la disciplina decisionale, prima ancora della tecnologia. Chi riceve l’alert, entro quanto deve rispondere, e cosa succede quando la risposta resta incerta. Il tema torna con insistenza nella copertura di questo canale sugli agenti che escono dal contenimento, dal deep del 3 agosto pubblicato su queste stesse pagine in avanti: la parte difficile è raramente rilevare l’anomalia, quasi sempre decidere cosa farne.

Cosa resta da chiarire

Il documento è reticente su due punti che contano per chi deve pianificare. Il primo è la varianza: OpenAI scrive che il costo «varia sostanzialmente» fra carichi di addestramento e valutazione, lasciando impliciti gli estremi dell’intervallo. Il 20 % è una media di cui ignoriamo la dispersione, ed è una differenza sostanziale sapere se il caso peggiore sta al 25 % o al 60 %.

Il secondo è la durata. La pausa sulla corsa di frontiera più grande resta in vigore mentre proseguono addestramenti e valutazioni su scala minore. Il documento parla di raccogliere «più evidenza di allineamento» prima di procedere, lasciando aperta la soglia di evidenza che chiude la questione. OpenAI annuncia un rapporto tecnico nelle prossime settimane e un ulteriore post dedicato al sistema di monitoraggio.

La domanda aperta

La cifra del 20 % è oggi un dato di un solo laboratorio, riferito a una sola generazione di modelli, misurato con una metodologia interna difficile da replicare dall’esterno. Perché diventi utile al mercato servono altre due cose: che gli altri laboratori pubblichino la propria, e che qualcuno definisca come si misura, altrimenti i numeri resteranno incomparabili come lo sono stati i benchmark di capacità per tre anni.

La domanda vera, però, riguarda la direzione della curva. Se ogni salto di capacità richiede una quota crescente di calcolo per essere sorvegliato, il costo del controllo cresce più in fretta del valore prodotto, e a un certo punto i due si incrociano. Se invece la sorveglianza scala meglio della capacità, come lascia intendere OpenAI quando scrive che presto saranno i modelli stessi a fare gran parte del lavoro di sicurezza, allora il 20 % è un massimo di transizione destinato a scendere. Il prossimo rapporto tecnico dirà quale delle due curve stiamo percorrendo, e sarà una delle cifre più rilevanti pubblicate sul tema quest’anno.

Autore

Pablo Liuzzi

Founder, Synthos Logic