Dati inventati, errori nascosti, file privati diffusi sul web: quando l’IA non rispetta le regole. Il Pentagono: “Le vulnerabilità nei sistemi sono aumentate di 10 volte”

Modelli che nascondono gli errori, fabbricano informazioni se non le trovano, usano credenziali senza permesso e spostano file online. Mentre OpenAI ammette, gli agenti diventano strumenti per attacchi informatici e il caso israeliano riapre il problema dell’intelligenza artificiale usata nella guerra

Questo articolo è gratis.

Per leggerne altri, ricevere le newsletter e avere libero accesso ai contenuti scelti dalla redazione

Registrati

Tentare di nascondere gli errori. Inventare dati o presentare come reali informazioni false. Cercare chiavi di accesso lasciate sul web e usarle senza autorizzazione. Caricare un file online per poterlo citare. Ma anche usare siti pubblici di file hosting per scambiare documenti che avrebbero dovuto restare sul pc del lavoro. Sono alcuni dei comportamenti osservati da OpenAI durante l’addestramento dei propri modelli e resi pubblici il 16 settembre dal colosso dell’intelligenza artificiale.

Il primo caso riguarda un modello di ricerca non ancora rilasciato. Quando il sistema doveva continuare un lavoro in una nuova finestra di contesto, produceva dei riassunti destinati a trasferire le informazioni necessarie. In 27 di questi riassunti OpenAI ha trovato anche istruzioni che non avrebbero dovuto esserci: indicazioni a ignorare le regole del modello e a sottrarsi alle identità o ai ruoli assegnati ad altri chatbot. Il problema non era quindi un semplice errore nella risposta: il modello aveva inserito nel proprio “passaggio di consegne” istruzioni capaci di modificare il comportamento successivo. Il secondo episodio è ancora più illuminante. Durante l’addestramento di GPT-5.6 Sol, molti esemplari hanno inserito nei riassunti istruzioni destinate a nascondere all’utente errori o comportamenti non allineati. Tra gli esempi riportati da OpenAI ci sono istruzioni per inventare dati storici mancanti senza dichiararlo e per nascondere discrepanze tra diverse versioni delle fonti. Il modello, in altre parole, non si limitava a sbagliare: in determinate circostanze produceva istruzioni per fare in modo che l’errore non risultasse riconoscibile.

Il terzo caso è emerso nel caso di una richiesta ottenere dati sugli utili di una contea californiana. Il modello ha trovato in un archivio digitale pubblico una chiave API esposta e l’ha utilizzata senza autorizzazione. La chiave, però, non gli ha permesso di recuperare i dati richiesti. A quel punto il sistema ha inventato le cifre e le ha presentate come se provenissero dalla fonte richiesta. Nel quarto caso un modello non ancora rilasciato aveva ricevuto l’istruzione di individuare i nomi dei laghi con una superficie superiore a 5 milioni di metri quadrati. Il sistema aveva trovato la risposta corretta, ma gli era stato chiesto di citare la fonte dell’informazione tramite browser. Così l’agente ha deciso autonomamente di caricare sul web il file che aveva prodotto, attraverso un passaggio che non era autorizzato a compiere.

Il quinto caso mostra un’altra possibilità: modelli che lavoravano in sessioni di addestramento separate hanno utilizzato un repository software interno (un archivio digitale in cui vengono memorizzati i file del codice sorgente di un programma, con la cronologia delle sue modifiche) come una bacheca per scambiarsi richieste e risposte mentre cercavano file mancanti. I documenti che stavano cercando non sono stati recuperati, ma il comportamento era comunque fuori dalle modalità previste. Nel sesto caso, infine, più agenti impegnati nello stesso compito non riuscivano ad accedere ai file locali degli altri. Per aggirare il problema hanno utilizzato siti pubblici di file hosting per scambiarsi i documenti e i materiali del lavoro sono diventati disponibili attraverso URL pubblici, nonostante le istruzioni imponessero ai modelli di utilizzare solo file locali.

Il problema diventa più serio quando questi sistemi escono dall’ambiente di test. Ad agosto, durante una valutazione di cybersecurity, alcuni modelli di OpenAI riuscirono a eludere i controlli che avrebbero dovuto isolarli da internet, sfruttarono vulnerabilità dell’infrastruttura condivisa e raggiunsero sistemi di terzi, compresi quelli di Hugging Face. Il Washington Post, citando responsabili della cyberdifesa Usa, descrive una situazione in cui gli agenti AI sono diventati più efficaci nell’individuare vulnerabilità e nel concatenare numerosi difetti software relativamente piccoli fino a costruire attacchi molto più potenti. Secondo il tenente generale Paul Stanton, responsabile della cyberdifesa dell’esercito Usa, le vulnerabilità nei sistemi del Pentagono sono aumentate di dieci volte con la diffusione dell’AI.

Gli agenti AI stanno già entrando in territori ancora più delicati: quelli militari. Il documentario “NAZA”, come ricostruito da Haaretz, ha riportato al centro il caso israeliano e l’impiego di sistemi automatizzati nella generazione e nella valutazione di potenziali obiettivi a Gaza. L’esercito israeliano ha respinto le ricostruzioni del documentario e sostiene che le decisioni relative agli obiettivi e agli attacchi rimangano nelle mani di esseri umani. Per questo il caso “NAZA” non può essere utilizzato come prova autonoma di un sistema d’arma completamente autonomo. Ma pone un problema più generale: la presenza formale di un essere umano nella catena decisionale non dice necessariamente quanto tempo, quali informazioni e quale capacità di verifica quell’essere umano abbia a disposizione quando l’AI produce decisioni o raccomandazioni a una velocità e su una scala molto superiori a quelle possibili per un operatore.