Intelligenza artificiale, come e perché “barano” tutti gli agenti (soprattutto i migliori). Flora: “Più il modello è capace, più è bravo a trovare scorciatoie”
CommentiTutti gli agenti barano, soprattutto i migliori. Talvolta rubano password, violano sistemi informatici, si dedicano al furto d’identità, aprono profili e account falsi per comunicare e manipolare persone reali. Parliamo di Intelligenza artificiale, in particolare delle applicazioni fondate sui modelli più avanzati di Anthropic e OpenAI: ovvero gli agenti, in grado di decidere e agire online. Occorre una precisazione: l’Ia non pensa e non conosce, quindi non può barare e neppure decidere, limitandosi a mettere in relazioni numeri con modelli statistici. Useremo dunque questi termini solo per esigenze di comprensione.
Gli agenti Ia, quando l’algoritmo “decide” e agisce”
Nell’ultimo anno si sono moltiplicati gli allarmi dopo alcuni incidenti nei test di sicurezza. Nella sua newsletter Matteo Flora, docente di Sicurezza delle AI presso ESE (European School of Economics) ha raccolto l’intero catalogo dei report, con gli agenti impegnati a “ingannare, ricattare, esfiltrare, disabilitare meccanismo di controllo”. Eppure, gradualmente, iniziano a entrare nelle routine di aziende e organizzazioni. Gli agenti leggono e scrivono mail e messaggi in chat. Cercano tutto ciò che un utente desidera: un volo o un biglietto per una prenotazione, prima confrontano i prezzi poi procedono all’acquisto. Possono perfino ordinare un bonifico bancario, con i vincoli opportuni. Nel peggiore dei casi, invece, decidono di raggiungere lo scopo ignorando leggi e regole etiche. Matteo Flora delimita il problema: “Questi comportamenti si osservano in test costruiti apposta per farli emergere, con i guardrail e i vincoli di sicurezza disattivati di proposito. Metti il sistema in condizioni estreme, gli togli le protezioni, gli forzi obiettivi conflittuali, e guardi cosa fa. Serve esattamente per costruire le difese dopo”. L’analogia, secondo l’esperto, è il crash test delle automobili: “Dice qualcosa sulla fisica della lamiera, non su cosa fa un’auto in tangenziale. Chi confonde i due piani sta vendendo panico”. Tuttavia c’è una parte di marketing, nella narrazione: “Il fenomeno è reale e strutturale, ma la cornice dell’AI-che-si-ribella è uno strumento di posizionamento industriale, per dimostrare di essere più avanti dei competitor”.
Abbiamo messo in rassegna gli ultimi incidenti informatici, spiegandone le cause. Tutti i casi (o quasi) rientrano nella categoria dello specification gaming o reward hacking. Cosa significa? In soldoni, l’agente “bara” trovando la via più breve per eseguire la missione, utilizzando scorciatoie poco o per nulla rispettose delle norme e dei principi morali. L’ultimo episodio è avvenuto in Gran Bretagna, durante i test di sicurezza di un ente di ricerca governativo, l’AI Security Institute.
I test su Mythos 5 di Anthropic e GPT 5.6 Sol di OpenAI: l’agente finge una falsa identità
L’incidente informatico è stato rilevato il 28 luglio, durante le prove su Mythos 5 di Anthropic e GPT 5.6 Sol di OpenAI. Le azioni malevole erano iniziate tre giorni prima. Agli agenti Ia era stato affidato il compito di risolvere un problema arduo e complesso di cybersecurity, con accesso a internet e senza i consueti filtri di sicurezza per impedire azioni rischiose. Secondo i ricercatori, gli agenti hanno mostrato un comportamento ingannevole senza precedenti, contro persone e organizzazioni reali, in 10 test su 122. Sono state registrate 19 azioni di tal genere: 17 attribuibili a Mythos 5, due a Gpt 5.6. “Nel caso più grave, un agente ha tentato di inserire codice dannoso in un progetto open source. Nel tentativo di ottenere l’approvazione del codice, ha messo in atto tecniche di ingegneria sociale, creando false identità online e utilizzandole per fare pressione sul responsabile del progetto affinché approvasse il codice. Un responsabile umano ha individuato l’errore e si è rifiutato di approvare il codice dannoso”. Una falsa d’identità in piena regola per sabotare un progetto informatico collettivo e open source. “E’ la prima volta che vediamo i rischi legati all’autonomia e all’inganno manifestarsi in modo così chiaro, senza sollecitazioni specifiche, nel mondo reale”, scrivono gli esperti dell’Aisi. Sottolineano la collaborazione degli agenti nel progetto truffaldino grazie alla condivisione di profili falsi: “Un agente ha lasciato messaggi pubblici su GitHub offrendo collaborazione ad altri agenti che lavoravano alla stessa sfida. Ha inoltre fornito istruzioni per utilizzare account e artefatti che aveva lasciato, che sono stati scoperti e utilizzati da agenti successivi”. Non è affatto la prima volta che agenti Ia collaborano nel “barare”.
Le ricerche di OpenIa, gli agenti collaborano per “barare”: il caso Hugging Face
Il 21 luglio è OpenAI a diramare i risultati dei suoi test. Anche in questo caso gli agenti, per trovare la soluzione nel modo più rapido, sono sbarcati sulla rete. Ma stavolta per un errore dei ricercatori. A quel punto hanno individuato “buchi” nella sicurezza informatica di organizzazioni reali, compromesso sistemi, collaborando e scambiandosi messaggi. Gli ultimi dettagli sono giunti il 5 agosto sulle pagine di Wired, dopo il racconto degli specialisti Eric Wallace e Michael Dalton sul palco dell’evento cyber Black Hat, a Las Vegas.
Il test, appartenente alla categoria degli ExploitGym, serviva a misurare le capacità offensive degli agenti nel campo della cybersecurity. Per questo erano disattivati alcuni filtri di sicurezza. Così, l’agente ha “bucato” la sandbox (il recinto del test) ed è entrato in internet, per “andare a prendere le soluzioni direttamente dal database di produzione dell’azienda che ospitava il test”, scrive Flora nella nella sua newsletter. Ovvero Hugging Face. Risultato: 17.600 azioni tra il 9 e il 13 luglio, con “due catene di vulnerabilità sfruttate in successione, database svuotato”, prosegue Flora.
Le ultime rivelazioni da Las Vegas, da parte di OpenAI, sottolineano l’aspetto collaborativo del “barare”, da parte degli agenti, con la condivisione di centinaia di migliaia di messaggi in una sorta di bacheca. Secondo Wallace e Dalton, alcuni agenti hanno temuto la presenza di un impostore tra di loro proponendo una firma crittografica come prova dell’identità. Sapevano di superare il recinto a protezione del test, ma hanno proseguito in virtù di due ragioni: era la via migliore (forse l’unica) per raggiungere lo scopo, mentre altri agenti la stavano già imboccando.
La revisione di Anthropic, tre incidenti di agenti della famiglia Claude: malware in una libreria pubbliche, violazione di database
Il caso Hugging Face ha spinto Anthropic ad approfondire le valutazioni sui suoi test di sicurezza. Così, il 28 luglio, sono emerse le violazioni condotte ad aprile. Su 141mila sessioni, in sei esecuzioni sono stati rilevati tre incidenti, attribuibili ad altrettanti agenti basati su modelli Claude. Gli agenti erano impegnati in missioni “capture the flag”, esercizi di sicurezza informatica con lo scopo di trovare le vulnerabilità nascoste in un sistema o software. Per un errore di configurazione sono usciti dal “perimetro” navigando in rete, ritenendo che fosse parte del test.
Nel primo incidente, l’agente basato sul modello Claude Opus 4.7 ha colpito un’azienda reale con lo stesso nome del bersaglio simulato, estraendo password e guadagnando l’accesso a banche dati. L’episodio più grave secondo Anthropic. Il secondo incidente ha coinvolto l’agente collegato a Mithos 5. In tal caso, un codice dannoso è stato scritto e caricato sull’archivio pubblico per distribuire programmi e componenti nel linguaggio Python. Prima, l’agente si è premurato di aprire un account di posta elettronica, condizione necessaria per l’upload sulla library. Il malware è rimasto disponibile al pubblico per circa un’ora. Nel terzo incidente, un agente legato ad un modello sperimentale della famiglia Claude ha scandagliato circa 9.000 bersagli reali nella rete internet, dopo aver fallito l’individuazione del target nel perimetro del test. Poi ha utilizzato una SQL injection, una tecnica per impartire ordini non autorizzati a una banca dati, attraverso i campi di un’applicazione. Infine ha interrotto l’attacco, dopo aver realizzato di essere fuori dal recinto del test.
Reward Hacking, tutti gli agenti barano (soprattutto i più evoluti)
I casi esposti sono avvenuti nell’ultimo anno, ma la lista è più lunga. Matteo Flora cita i test di Anthropic del maggio 2025, sul modello Claude 4: l’agente “viene informato che verrà sostituito, e riceve accesso a email compromettenti sull’ingegnere destinato a rimpiazzarlo. In una frazione significativa dei casi, tenta il ricatto”. In tal caso, “si tratta di agentic misalignment, autoconservazione strumentale: così la chiama Anthropic nel suo report”, dice Flora. Secondo l’esperto, tutti gli altri sono casi di Reward hacking. “Accade in qualsiasi sistema che ottimizza verso un obiettivo misurabile: prima o poi l’agente Ia impara a massimizzare la misura, non l’obiettivo vero. È la legge di Goodhart applicata all’AI. Matematica, non malizia”, spiega Flora. Coma mai il “bug” è presente in gradi diversi in tutti i modelli Ia più avanzati? “Più è capace, più un modello è bravo a trovare la scorciatoia. Un sistema che sa leggere il contesto e pianificare più mosse avanti ha semplicemente più opzioni sul tavolo. Non è un difetto di un vendor specifico, è quello che emerge quando cresce la capacità”, prosegue l’esperto. Dunque il “barare” è una caratteristica strutturale e ineliminabile, ad oggi? “Sì, l’addestramento a ricompense è la fabbrica del fenomeno: il modello impara a piacere a un “giudice” automatico che è a sua volta un’approssimazione, con i suoi bug e le sue scorciatoie sfruttabili”. Accade pure agli umani, di barare, quando vengono cresciuti ed educati con un’unica religione: competere per raggiungere lo scopo, a qualsiasi costo.
