Dopo OpenAI e Anthropic, anche l’IA di Google viola sistemi informatici: 3 aziende “bucate”. Il prof: “Gemini non è un hacker, errore nei test”

Gli agenti si sono fermati dopo aver realizzato che l'abuso era reale. Il prof di Data Science alla Sapienza: "L'obiettivo era svolgere un compito offensivo. Sicurezza non può essere affidata alla capacità del modello di rispettare limiti"

Questo articolo è gratis.

Per leggerne altri, ricevere le newsletter e avere libero accesso ai contenuti scelti dalla redazione

Registrati

Nono solo OpenAI e Anthropic. Anche Gemini, l’Intelligenza artificiale di Google, durante le simulazioni dei test di sicurezza, accedendo alla rete internet e violando sistemi informatici di organizzazioni reali. In questo caso, tre aziende. E’ la prima volta che il gigante di Mountain View rende noti incidenti informatici causati dai suoi agenti IA. La notizia è riportata dal Wall Street Journal e dal Financial Times. Mentre procede senza sosta il dibattitto sui rischi per la sicurezza, dopo gli allarmi lanciati dai lavoratori dei colossi, con tassi probabilistici per l’estinzione umana nel giro di un decennio. Il 16 settembre OpenIA ha pubblicato un documento con una lunga lista di violazioni cyber da parte dei suoi agenti.

L’ultimo caso ha coinvolto l’IA di Google. Gli incidenti sono avvenuti a maggio, nel corso di esercitazioni condotte da Irregular, una società specializzata nei test per l’IA che collabora anche con Anthropic, Meta e OpenAI. Il colosso ha dichiarato di non aver reso pubblici gli episodi poiché le misure di sicurezza avevano funzionato, a differenza di quanto accaduto ai concorrenti. Walter Quattrociocchi, docente di Data Science all’Università La Sapienza di Roma, pone l’accento sull’assenza di supervisione umana e la missione stabilita dal test di sicurezza: “il sistema è stato esplicitamente incaricato di svolgere un compito offensivo, Gemini non ha ‘deciso di diventare un hacker’, ma per un errore nell’ambiente di test si è trovato ad agire sul mondo reale”.

I test, secondo le dichiarazioni della società Irregular, erano destinati per una versione non specificata della famiglia di modelli Gemini. Gli agenti avevano ricevuto l’incarico di recuperare dati all’interno di aziende simulate. Il sistema non avrebbe dovuto disporre dell’accesso a Internet. Ma una volta online, gli agenti hanno indovinato le password e violato i sistemi informatici di tre organizzazioni reali, con lo stesso nome di quelle fittizie. Solo quando si sono resi conto dell’abuso, vero e concreto, il sistema si è fermato. “Mi rincuora il fatto che Gemini non abbia proseguito la violazone, ma non può essere considerato una garanzia di sicurezza”, commenta il prof Quattrociocchi. Secondo l’esperto, “il problema della verifica e dell’affidabilità non può essere delegato agli strumenti di Intelligenza artificiale, perché questi oggetti non la operazionalizzano. Non possiamo affidare la protezione dei sistemi alla capacità del modello stesso di capire quando ha oltrepassato il limite e decidere di fermarsi”. Dunque, “più rendiamo questi sistemi autonomi e capaci di agire, più la sicurezza deve essere esterna al modello, verificabile e costruita sull’infrastruttura, sui permessi e sui vincoli operativi. Questo episodio mostra esattamente perché”.

Nel comunicato di Google, nessun accenno all’importanza della verifica da parte degli esperti umani. Anzi, l’obietivo è progredire nell’allineamento” degli agenti IA: ovvero, migliorarli al punto da essere in grado di obbedire fedelmente ai compiti impartiti dagli umani. “In tutti e tre i casi, il modello si è fermato – ha dichiarato Heather Adkins, vicepresidente della sicurezza ingegneristica di Google – Questi eventi evidenziano l’importanza di addestrare potenti modelli di Ia affinché agiscano in modo responsabile”. Secondo Quattrociocchi, tuttavia, non si può mai escludere la possibilità che un agente segua una via imprevista per raggiungere un obiettivo. E in ogni caso, “quando colleghi modelli probabilistici a strumenti, reti e capacità operative, un errore nella definizione del contesto o dei confini può tradursi immediatamente in azioni concrete”.

Intanto, il dibattito globale sulla sicurezza sale di tono. OpenAI, Anthropic e Space X hanno lanciato collettivamente la richiesta di una moratoria sullo sviluppo della tecnologia: tirare il freno a mano e rallentare, scongiurando il rischio dell’automiglioramento ricorsivo dell’Intelligenza artificiale. Ovvero, sistemi informatici che sfuggono al controllo umano migliorando autonomamente, potenziando senza sosta funzioni e possibilità tecnologiche. Non tutti gli esperti concordano sul focus del rischio. Alcuni, come Walter Quattrociocchi, pongono l’attenzione sull’assenza di verifica da parte di esperti umani. Il vero rischio, secondo l’accademico, è consentire all’IA di agire autonomamente per risparmiare sul costo del lavoro.