Specific Labs ha licenziato codebase di produzione da aziende reali e ci ha messo dentro otto agenti di frontiera. Il primo in classifica risolve poco più di un terzo dei compiti assegnati.
Specific Labs ha pubblicato a settembre 2026 Real-SWE, un benchmark che valuta gli agenti di codice su repository di produzione concessi in licenza da aziende reali. La differenza con SWE-bench e con i suoi derivati sta tutta nella provenienza del materiale: qui i task arrivano dal backlog che gli ingegneri di quelle aziende hanno effettivamente lavorato, con l'architettura, le convenzioni interne e le dipendenze poco documentate che si portano dietro.
Il perimetro dichiarato è stretto e verificabile: otto combinazioni di modello e harness, dieci task, 640 esecuzioni valutate. Fra le codebase selezionate compaiono una piattaforma di eventi con oltre 200 mila utenti, una piattaforma fintech che elabora oltre 100 mila estratti conto bancari e piattaforme di vendita assistita da AI.
I compiti hanno conseguenze di business dirette. Applicare l'aliquota giusta a ogni fattura quando ogni cliente della piattaforma regola le imposte in modo diverso. Migrare l'identità dei clienti da un sistema all'altro. Misurare il consumo di uno storage a oggetti. Sono le voci che finiscono in un ticket il lunedì mattina, con una data di consegna e una persona pagata per rispettarla.
Il tasso di risoluzione è il pass@1 mediato su otto esecuzioni indipendenti per task:
Il numero da tenere a mente è il primo: il modello in testa chiude poco più di un compito su tre. Sulle classifiche pubbliche gli stessi modelli viaggiano su percentuali molto più alte, e questo scarto è l'informazione principale che Real-SWE consegna a chi deve decidere un budget.
Gli autori spiegano la distanza con un argomento strutturale: il codice di queste aziende resta fuori dalla rete pubblica, quindi i task sono per costruzione fuori distribuzione. La stima che accompagna il documento è che il 99 per cento dei token prodotti dentro le imprese resti fuori dalla portata dei modelli di frontiera.
La difficoltà si distribuisce in modo diseguale. Sei task su dieci restano sotto il 15 per cento di risoluzione, uno si ferma a zero per tutti e otto gli agenti, mentre due superano il 65 per cento. La media, quindi, racconta poco: un'azienda che avesse solo compiti del primo tipo vedrebbe un tasso vicino a zero, una che avesse solo compiti del secondo tipo parlerebbe di automazione riuscita.
Il documento classifica le esecuzioni fallite con la tassonomia di DeepSWE, e il quadro che ne esce è più utile della classifica stessa. Il requisito mancato è l'errore più diffuso: comportamento richiesto dall'istruzione che l'agente lascia fuori dalla consegna. Su Grok 4.6 vale il 67,2 per cento delle esecuzioni fallite, su Kimi K3 il 53,8 per cento.
Segue l'errore di integrazione: l'idea è corretta, il collegamento con il resto del sistema è sbagliato. Su Gemini 3.8 Flash arriva al 49,1 per cento. Poi l'assunzione da verificare, cioè l'agente che costruisce su una supposizione riguardo al sistema invece di controllarla nel workspace: su GPT-5.6 Sol vale il 43,3 per cento.
Altri due segnali meritano attenzione. Il primo: la soluzione di riferimento tocca 11 file in mediana, contro i 6 di FrontierCode e DeepSWE. Il secondo: il tempo aggiunge poco. Le esecuzioni sotto i dieci minuti falliscono nel 71,4 per cento dei casi, quelle più lunghe nel 73,4 per cento. Lasciare l'agente a macinare da solo per un'ora porta allo stesso esito di dieci minuti.
C'è infine il dato economico. Il costo stimato per esecuzione va da 2,50 a 6,96 dollari, e la correlazione con il risultato è debole: Gemini 3.8 Flash arriva al 31,2 per cento a 2,50 dollari, GLM 5.3 al 28,8 per cento a 5,12 dollari. Spendere di più per esecuzione compra una probabilità di successo che varia da modello a modello, e in almeno un confronto la compra al contrario.
Il tessuto produttivo italiano è fatto in larga parte di software gestionale sedimentato: ERP personalizzati, integrazioni con la fatturazione elettronica, logiche fiscali scritte anni fa e mantenute a strati successivi. È esattamente il profilo di codice che Real-SWE mette alla prova, ed è il profilo che i benchmark pubblici rappresentano di meno.
Da qui discendono due conseguenze pratiche. La prima riguarda le aspettative: un pilota di agenti di codice valutato su repository open source restituisce numeri ottimistici rispetto a quello che accadrà sul gestionale interno. La seconda riguarda il presidio: se l'errore più frequente è il requisito mancato, il collo di bottiglia si sposta sulla qualità della specifica e sulla revisione umana della consegna, che sono attività di ingegneria con un costo proprio, da mettere a budget accanto alle licenze.
Vale anche la lettura rovesciata, ed è la parte incoraggiante. Due task su dieci superano il 65 per cento di risoluzione, quindi una quota di lavoro reale è già automatizzabile con margini utili. Il valore sta nel sapere quale quota, sul proprio codice.
Tre passaggi replicabili a costo contenuto, validi qualunque fornitore si scelga.
La domanda che resta aperta riguarda la traiettoria. Se il divario fra codice pubblico e codice d'impresa dipende dalla distribuzione dei dati di addestramento, si chiuderà quando le aziende decideranno di esporre il proprio codice ai laboratori, con tutto quello che comporta in termini di riservatezza e di potere contrattuale. Quella decisione, per ora, resta interamente nelle mani di chi il codice lo possiede.
Autore
Pablo Liuzzi
Founder, Synthos Logic