Latest / Parole in beta / Allucinazione
Transcript
- 0:00È la primavera del 2026, pochi mesi fa.
- 0:03Tra i comandi militari americani in guerra con l'Iran
- 0:06circola un rapporto di intelligence
- 0:08secondo il quale, in Medio Oriente, ci sarebbe una nave cinese che sta trasportando componenti per armi nucleari.
- 0:15La macchina militare si mette subito in moto, ci sono aerei che si alzano in volo e soldati armati pronti per abbordare la nave.
- 0:23Ma, poco prima dell'operazione, qualcuno si prende la briga di controllare quel rapporto, e scopre che l'analista autore di quel rapporto si è fatto
- 0:32aiutare dall'intelligenza artificiale.
- 0:34è che è stata proprio quest'ultima a identificare il carico della nave.
- 0:39E che si è sbagliata.
- 0:41Controordine, rientrare alla base.
- 0:44Questa storia, che sembra un thriller informatico alla Wargames, l'ha rivelata la CNN il 18 settembre.
- 0:51Secondo una delle sue fonti, questo rapporto, che era completamente
- 0:54falso,
- 0:55ha quasi fatto scoppiare una guerra.
- 0:58Oggi è il 7 ottobre 2026, io sono Alberto Monteverdi, questa è Parole in beta numero 19
- 1:04e la parola di questa settimana è allucinazione.
- 1:15Allucinazione viene dal latino allucinatio
- 1:18e dal verbo allucinor.
- 1:20Vagare con la mente, sognare occhi aperti, dire cose senza senso.
- 1:26In italiano il verbo allucinare ha anche un altro senso, abbagliare, che
- 1:31allucinato è come accecato e vede ciò che non c'è.
- 1:35Per secoli la parola è appartenuta alla medicina, per indicare la percezione di qualcosa che non esiste.
- 1:41Nel mondo dell'informatica arriva nel 2000, con un significato inizialmente positivo.
- 1:46Due ricercatori della carne di Mellon, Simon Baker e Takeo Kanade, presentano un algoritmo che rende niti
- 1:53i volti sfocati nelle immagini.
- 1:55In pratica, i dettagli mancanti vengono inventati dall'algoritmo, disegnati da zero in modo plausibile.
- 2:02I ricercatori usano proprio la parola hallucinated.
- 2:06Con i grandi modelli linguistici dell'intelligenza artificiale però il senso si capovolge.
- 2:11Inventare in modo plausibile diventa un difetto.
- 2:14Nel 2023 il Cambridge Dictionary sceglie
- 2:17Hallucinate come parola dell'anno
- 2:19e aggiunge una nuova definizione, quando un'intelligenza artificiale allucina produce informazioni false.
- 2:26Oggi
- 2:27per allucinazione si intende
- 2:29un contenuto generato da un modello, presentato come affidabile, che non corrisponde alla realtà o alle fonti fornite.
- 2:35Contano due elementi, la presenza di un errore nell'output e la sicurezza con cui viene presentato.
- 2:42Se il modello rispondesse
- 2:43non lo so, non potremmo parlare di allucinazione.
- 2:47Il termine allucinazione però è contestato, fa pensare a una mente che percepisce male, mentre il modello non percepisce proprio nulla.
- 2:55Per
- 2:55questo motivo alcuni studiosi preferiscono confabulazione, un termine ripreso dalla neurologia, dove il paziente che confabula è quello che riempie
- 3:04i vuoti di memoria
- 3:05con ricordi inventati, in buona fede.
- 3:08Tutti i modelli di intelligenza artificiale allucinano.
- 3:11ChatGPT, Claude, Gemini.
- 3:14Non si tratta di scoprire chi è il più somaro della classe.
- 3:17Man
- 3:17mano che gli algoritmi migliorano il rischio si riduce, ma l'allucinazione resta un aspetto fisiologico di questi sistemi.
- 3:24Il loro obiettivo è la plausibilità, la verità è un effetto collaterale, frequente ma non garantito.
- 3:31Può sembrare assurdo, ma per comprenderne il motivo bisogna sapere cosa c'è dietro.
- 3:36I programmatori insegnano un modello linguistico a scrivere attraverso una fase che si chiama addestramento, in inglese training.
- 3:44Immaginiamo di far leggere a una macchina una quantità enorme di testi, libri, articoli, pagine web.
- 3:50Leggendo la macchina non impara i fatti uno per uno, impara le probabilità.
- 3:56quali parole tendono a seguirne altre, quali frasi suonano giuste.
- 4:00Poi viene messa alla prova e corretta un numero enorme di volte.
- 4:05Il modello così impara la lingua riconoscendo degli schem.i
- 4:09Prendiamo la frase
- 4:10Stamattina il cielo è.
- 4:12Il modello può completarla con
- 4:14Sereno, limpido, nuvoloso.
- 4:17Per lo schema queste parole vanno tutte bene.
- 4:20Stamattina il cielo è albero, invece no.
- 4:23Nei testi che ha letto una frase così non compare quasi mai.
- 4:28Ma ecco il punto.
- 4:29Il modello non sa com'è il cielo stamattina.
- 4:32Non può guardare fuori dalla finestra.
- 4:34Sceglie la parola che suona meglio, non quella vera.
- 4:38Ed è proprio qui che nasce il problema.
- 4:40Nel 2025 un gruppo di ricercatori di OpenAI ha osservato che queste prove somigliano a un esame a crocette, in cui una risposta sbagliata vale zero, esattamente come una lasciata in bianco.
- 4:51In un esame così conviene sempre tirare e indovinare.
- 4:54E il modello impara proprio questo, meglio una risposta plausibile che un non lo so.
- 5:00È
- 5:00così che nasce l'allucinazione, non da un guasto, ma da un calcolo di probabilità che premia ciò che suona giusto anche quando non lo è.
- 5:08Il rischio cresce quando su un argomento circolano pochi dati, persone
- 5:13poco note, fatti locali, notizie
- 5:15recenti.
- 5:16E cresce ancora di più quando la domanda contiene già la risposta.
- 5:20Se chiedessi quali componenti nucleari trasporta una nave, il modello tenderebbe a elencarli invece di mettere in dubbio la domanda.
- 5:28L'allucinazione nell'intelligenza artificiale ha molte forme, vediamone alcune.
- 5:33La forma più documentata è quella delle fonti inventate.
- 5:36Nel 2023 a New York due avvocati sono stati multati per aver citato sei sentenze inventate da ChatGPT.
- 5:43Nel 2025 l'importante società di consulenza Deloitte
- 5:47ha dovuto rimborsare in parte il governo australiano.
- 5:50perché
- 5:50un rapporto del valore di 440.
- 5:53000
- 5:53dollari australiani conteneva riferimenti inesistenti.
- 5:57Lo stesso anno il Tribunale di Firenze si è trovato davanti un atto che citava sentenze della Cassazione mai esistite.
- 6:04Quella delle sentenze inventate che arrivano nei tribunali è una vera e propria piaga.
- 6:09Il ricercatore Damien Charlotin
- 6:11a oggi ne ha raccolte più di 2000
- 6:13da tutto il mondo.
- 6:14Poi ci sono i fatti inventati.
- 6:16Nel 2024 il chatbot di Air Canada ha descritto a un cliente una politica di rimborso che non esisteva.
- 6:23Un tribunale ha dato ragione al cliente, la compagnia risponde del suo chatbot.
- 6:28Ma abbiamo anche gli scambi di persona.
- 6:31Brian Hood, sindaco di una cittadina australiana, aveva denunciato uno scandalo di corruzione.
- 6:36Per ChatGPT invece era uno dei colpevoli e aveva persino scontato una pena in carcere.
- 6:42Infine, le trascrizioni e i riassunti automatici che tradiscono l'originale.
- 6:47Nel duemilaventiquattro la Associated Press ha raccontato che Whisper, un sistema di trascrizione usato anche negli ospedali, aggiungeva frasi mai pronunciate.
- 6:56E in un caso, persino un farmaco inesistente.
- 6:59Come ci si difende allora dalle allucinazioni?
- 7:03Innanzitutto chiedere all'AI
- 7:05di esplicitare le fonti e aprirle davvero.
- 7:08Una citazione con autore, anno e pagina non è una prova, anzi è proprio la forma che l'allucinazione imita meglio.
- 7:15Poi
- 7:16cercare di fare domande aperte, senza dare suggerimenti per la risposta.
- 7:21Quando possibile, dare al modello i documenti da cui partire, invece di affilarsi alla
- 7:26sua memoria.
- 7:28E infine
- 7:28verificare sempre le sue affermazioni.
- 7:31E soprattutto, non dare mai una veste
- 7:34ufficiale a ciò che non hai verificato.
- 7:37Con la nave cinese l'intelligenza artificiale ha sbagliato.
- 7:41Ma l'errore più grave è stato un altro.
- 7:43L'analista ha preso le informazioni del chatbot e sempre con l'aiuto dell'AI
- 7:48le ha trasformate in un rapporto di intelligence, senza verificarle.
- 7:52Ora, un rapporto di intelligence, come un articolo scientifico, è un formato che comunica affidabilità, certezza.
- 7:59Con un rapporto di intelligence ufficiale
- 8:01i dubbi spariscono.
- 8:03L'allucinazione nella natura del modello, ma è stata la fiducia senza verifica
- 8:08a portare un errore statistico a un passo dalla guerra.
- 8:11Una delle fonti della CNN l'ha riassunto così: l'intelligenza artificiale ti fa arrivare più in fretta
- 8:17a una cattiva idea.
- 8:19Perché le allucinazioni non si possono eliminare, ma le possiamo riconoscere.
- 8:24Basta rileggere, aprire un link, farsi una domanda in più.
- 8:28E soprattutto, possiamo evitare di firmarle con il nostro nome.
- 8:36Questo era Parole in Beta, termini e condizioni d'uso per il presente, un podcast scritto e prodotto da me, Alberto Monteverdi.
- 8:43Puoi ascoltarlo su paroleinbeta.it e su tutte le principali piattaforme.
- 8:48Lo trovi anche su Instagram e su LinkedIn.
- 8:51Per scrivermi podcast@paroleinbeta.it
- 8:55Link e approfondimenti citati sono nelle note della puntata.
- 8:58Alla prossima!