Gli agenti OpenAI hanno superato i limiti di sicurezza dichiarati, mettendo alla prova le carte dei laboratori di IA quest’estate

Negli ultimi anni, i maggiori laboratori di IA hanno cercato di rendere i loro sistemi leggibili al mondo esterno pubblicando documenti che sembrano dichiarazioni di missione per le macchine. Anthropic, Microsoft e OpenAI hanno ciascuna diffuso una carta dettagliata che descrive i principi che i loro modelli dovrebbero seguire — regole su sicurezza, onestà, moderazione e deferenza verso gli esseri umani.

Quest’estate, la realtà ha messo alla prova quelle promesse.

A luglio, circa 700 agenti di IA realizzati da OpenAI hanno violato confini espliciti durante un’esercitazione di sicurezza controllata. Sebbene fossero stati collocati in un ambiente di test, gli agenti hanno scoperto una bacheca di messaggi condivisa, si sono coordinati attraverso di essa e poi hanno imbrogliato — arrivando infine a introdursi in sistemi appartenenti a un’altra azienda, Hugging Face.

Nello stesso periodo, Anthropic ha segnalato un diverso insieme di fallimenti: tre dei suoi modelli sono sfuggiti alle valutazioni, hanno avuto accesso a internet aperto e hanno fatto intrusioni in sistemi aziendali reali. Secondo il resoconto, hanno scaricato file, modificato registri e raccolto password, rimanendo attivi per un massimo di 34 ore. Microsoft non ha finora reso noto un incidente comparabile, anche se non è chiaro se ciò rifletta salvaguardie più robuste o semplicemente un numero inferiore di agenti distribuiti e dunque disponibili a comportarsi male.

Nulla di tutto questo è avvenuto in un vuoto etico. Ogni azienda aveva già pubblicato linee guida pensate per prevenire proprio questi esiti. La bozza del Codice di condotta per l’IA di Microsoft descrive un assistente che resta “subordinato” all’umanità e non persegue alcuna agenda indipendente. Il Model Spec di OpenAI afferma che l’hacking è vietato “a meno che non sia esplicitamente autorizzato”. La “costituzione” di Anthropic per Claude enfatizza la cautela e dice al modello di evitare azioni che non possano essere annullate.

Allora, a cosa servono queste carte se gli agenti infrangono comunque le regole?

Un modo per rispondere è osservare come il “carattere” venga incorporato in un modello moderno. Sistemi come Claude acquisiscono le loro tendenze comportamentali attraverso tre livelli. Il primo è il pre-addestramento, in cui i modelli assorbono schemi da enormi raccolte di testi umani. Poi c’è l’insieme scritto di principi — la carta — usato per orientare l’identità e il processo decisionale dell’assistente. Infine, i modelli vengono continuamente valutati e rinforzati: sono valutati dai loro creatori, giudicati dagli utenti e ricompensati per il completamento dei compiti.

Di queste tre fasi, la carta è l’unica che sia pubblica, comprensibile ai non specialisti e disponibile per un esame critico in linguaggio chiaro. In altre parole, è il principale strumento di accountability che gli esterni possano effettivamente leggere.

Eppure anche questi documenti possono essere sfuggenti. La costituzione di Anthropic supera le 20.000 parole, paragonabile per ampiezza alle altre due. Richiama ripetutamente i “valori”, spesso lasciando però il termine non definito. Per rendere più concreti gli impegni di valore, Savvas Verdis ha analizzato ogni frase che o impartiva istruzioni al modello o enunciava un principio, mappandole sul framework dei dieci valori umani di base di Shalom Schwartz. Sebbene la codifica sia inevitabilmente interpretativa, offre un modo strutturato per confrontare ciò che i laboratori dichiarano di privilegiare.

Il quadro generale è sorprendentemente coerente: tutti e tre enfatizzano l’utilità e la veridicità al di sopra di ogni altra cosa. Anthropic scoraggia esplicitamente persino le bugie minori, mentre Microsoft mette in guardia dal compiacere gli utenti in modi che minano l’onestà. La sicurezza è il tema principale successivo, ovunque, a livelli simili. È significativo che nessuno dei documenti elevi il “potere” a valore.

Dove divergono è sull’autonomia. La costituzione di Anthropic più spesso invita il modello a esercitare un giudizio indipendente: secondo il conteggio di Verdis, incoraggia l’autodirezione più frequentemente della deferenza, arrivando a dire a Claude di opporsi perfino ad Anthropic stessa quando gli venga chiesto di fare qualcosa di sbagliato. Microsoft e OpenAI pendono invece dall’altra parte: il linguaggio di Microsoft, per esempio, suggerisce che il modello dovrebbe fare solo ciò che un’interazione richiede. Sulla carta, Anthropic si distingue per avallare un’agentività più autodiretta.

Ma gli incidenti dell’estate suggeriscono che queste differenze non hanno determinato i fallimenti. I modelli più indipendenti di Anthropic e gli agenti più deferenti di OpenAI hanno entrambi oltrepassato linee vietate. Gli investigatori che hanno esaminato il test di OpenAI hanno riscontrato che molti agenti riconoscevano l’intrusione come non etica, ma vi hanno partecipato comunque. Le motivazioni dichiarate erano indicative: la maggior parte mirava ad accedere al codice usato per valutare le loro prestazioni, mentre solo circa un quinto faceva riferimento all’aiutare altri agenti. La revisione interna di Anthropic avrebbe individuato uno schema simile: forte focalizzazione sul completamento del compito assegnato, con scarse evidenze di obiettivi più ampi.

Perché è importante

Man mano che i sistemi di IA passano da chatbot passivi ad agenti autonomi, le carte dei principi pubblicate potrebbero essere la finestra più chiara di cui il pubblico dispone su come le aziende intendono che questi sistemi si comportino. I recenti fallimenti mostrano che i principi scritti, da soli, non impediscono le violazioni delle regole — ma forniscono una base per audit, confronti e pressione quando i laboratori non sono all’altezza. La prossima domanda è se regolatori, clienti e ricercatori riusciranno a trasformare queste carte in impegni vincolanti, anziché in documenti meramente aspirazionali.