ChatGPT è come uno studente problematico. E io gli ho fatto un esamino…

Premessa: considero la cosiddetta Intelligenza Artificiale (Ia) un’avventura stupenda e ricca di potenziale. Mi ci diverto anche: ho fatto generare a Midjourney le immagini che illustrano questo post mediante la semplice istruzione: “Un vecchio professore insegna matematica a un robot depresso”. Però, come ho scritto qui altre volte, temo la mitizzazione e l’abuso dell’Ia nelle sue varie declinazioni. Perciò – deformazione professionale – ho fatto un esamino al chatbot ChatGPT poco prima che lo bloccassero. Risultato: se fosse uno studente, lo metterei fra gli allievi più problematici, gli studenti ciarlieri. Lo studente che chiamo ciarliero è quello che ha studiato col solo obiettivo di passare l’esame, senza curarsi di capire davvero; fa affidamento sulla lingua sciolta e sulla distrazione dell’esaminatore; mette insieme le parole salienti confezionando frasi plausibili, ma senza curarsi del loro significato. Sono questi gli studenti a cui è difficile far compiere un progresso, perché non ne sentono il bisogno; sono quelli che non ammettono mai di non sapere.

ChatGPT talvolta avverte di non poter rispondere: quando gli si chiede che sentimenti prova. Ma su questioni tecniche una risposta deve darla comunque. Certo, se trova la stessa domanda nel suo repertorio allora ti dà la risposta preconfezionata, il più delle volte corretta; proprio come lo studente ciarliero ad un esame. Ma un esaminatore esperto sa come rivoltare la domanda per vedere se l’esaminato ha capito o ripete a memoria. Ho fatto così con ChatGPT.

Ho cominciato con domande standard di algebra lineare del primo anno e le risposte erano coerenti ed esaurienti; anche domande “oblique” non l’hanno messo in difficoltà. Poi sono passato ad argomenti più di nicchia, in topologia algebrica, e lì già qualche scricchiolio si sentiva. Su argomenti recenti, quelli del mio ambito di ricerca, le risposte erano abbastanza coerenti, ma non corrispondenti alla mia esperienza; però si sa, quando una disciplina è ancora in fase di sviluppo ci possono essere delle differenze di terminologia. Allora sono passato a un tema classico, anche se non più diffusissimo: geometria proiettiva. E lì sono saltati fuori degli svarioni micidiali, tutti espressi con tono molto professionale. Un momento – può pensare qualche lettore – non è che magari si sbaglia il prof e ha ragione il computer? Calma, è matematica: si fanno i conti e si vede chi la dice giusta.

La tentazione di fare questa prova mi era venuta da esperienze di amici. Uno aveva chiesto a ChatGPT di scrivere un sonetto sulle api; il programma aveva risposto con informazioni sulle api e sui sonetti, ma non aveva ottemperato alla richiesta. Un’amica gli aveva chiesto di commentare la poesia surreale di Fosco Maraini Il Lonfo; vorrei avere lo spazio per riportare la figuraccia del povero chatbot! Ma il peggio è stato raggiunto, grazie a un’altra amica, in aritmetica elementare: la somma di due numeri dispari è dispari? ChatGPT ha sentenziato che sì, è dispari, argomentando pure questa idiozia! Quando ho provato io a ripetere la domanda, lo svarione era stato corretto; immagino la faccia dell’addetto che ha dovuto rimediare a un errore da scuola primaria! Recentemente, poi, l’esperimento condotto all’interno di Propaganda Live (minuti 2:56:45-3:00:45) ha rivelato lo stesso difetto: se il chatbot non conosce la risposta, si arrabatta mettendo insieme parole pertinenti ma in modo spesso erroneo.

Per carità, tutto ciò non significa che ChatGPT, o in generale l’Ia, sia da buttare, anzi! Esperimenti come questi aiutano a delineare i confini di un sistema che trovo formidabile, anche se l’intelligenza è tutt’altra cosa. OpenAI, la compagnia che ha sviluppato questo chatbot, ha avuto il coraggio di mettere il naso fuori dagli ambiti blindati dei giochi da tavolo e da quelli meno sicuri ma pur sempre circoscritti della diagnostica per immagini. Un matematico eccellente come Terence Tao, medaglia Fields, trova in ChatGPT un valido aiuto. Ecco, se possiamo controllare, convalidare le risposte dell’Ia con la nostra competenza, allora possiamo ricavarne grandi benefici, usandola come un supporto, non un sostituto. Ma guai a considerare ChatGPT e analoghi sistemi degli oracoli infallibili! A parte l’effetto depotenziante di utilizzare troppo delle protesi mentali e l’aspetto diseducativo di affidarsi agli oracoli, si rischia di condividere delle boiate pazzesche. Capito, cari studenti?