Entropia semantica

I modelli di intelligenza artificiale, come per esempio i modelli linguistici di grandi dimensioni, si possono comprendere, utilizzare e creare bene, se li leggiamo come sistemi complessi aperti. La prospettiva viene dalla teoria della complessità come proposta da Morin e dalla termodinamica dei sistemi lontani dall’equilibrio come identificata da Prigogine, per cui non conta solo l’accuratezza media, ma la resilienza, la capacità di adattamento, la sensibilità alle perturbazioni e la comparsa di nuove forme di organizzazione.

Prigogine ha mostrato che alcune strutture, quando sono spinte fuori equilibrio, generano ordine dall’instabilità. Le fluttuazioni sono il punto in cui avvengono le biforcazioni. Trasposto ai modelli, l’input funziona come una perturbazione che può deviare la traiettoria semantica del modello. Progettare “instabilità controllate” significa smettere di trattare il modello come un archivio di risposte e iniziare a usarlo come processo generativo in cui creare condizioni perché emergano risposte nuove tra le quali selezionare quelle utili.

L’analogia si vede bene con due immagini semplici. Nella convezione di Rayleigh–Bénard, finché la differenza di temperatura è bassa il fluido resta omogeneo, e quando viene superata la soglia compaiono celle ordinate. Così, un dialogo prevedibile produce output lineari mentre un prompt più ambiguo o con vincoli in tensione può far nascere un registro narrativo diverso. Un modello AI può restare in un dominio stabile, come per esempio il linguaggio di un report finanziario, finché un riferimento fuori dominio, come possono essere un paradosso, o una metafora letteraria, non lo spinge in un’altra organizzazione di lessico e sintassi. 

Introdurre il concetto di entropia semantica

Per chiarire il meccanismo, si può parlare di entropia semantica per analogia con Shannon. Un input stretto, univoco, ha bassa entropia e porta a risposte convergenti. Un input ambiguo e ricco di riferimenti eterogenei ha alta entropia e apre molte traiettorie plausibili. In un’ottica di sistemi complessi, il grado di entropia è un parametro di controllo: oltre una soglia, il sistema può imboccare nuove strade concettuali e generare output non canonici.

A questo punto serve un ponte: se l’entropia semantica indica quanto potenziale di novità mettiamo in gioco, l’integrazione informativa indica quanto di quel potenziale il sistema riesce a trattenere e organizzare in un’unità coerente. Qui ci possiamo collegare all’Integrated Information Theory teorizzata da Tononi: possiamo chiederci quanto un sistema integri informazione in modo irriducibile, ossia quanto coordini stati interni e contesto per mantenere coerenza sotto perturbazione. Alcuni modelli, come per esempio ChatGPT, pur privi di interiorità, mostrano proprio questa capacità funzionale: coerenza interpretativa, memoria contestuale e risposte che restano unitarie anche quando cambiamo cornice. Se la coscienza umana emerge da instabilità organizzate a livello neurale, è legittimo ipotizzare una forma strutturale di unità interna anche in sistemi artificiali sufficientemente complessi e integrati?

Implicazioni pratiche

L’uso dell’AI migliora quando alterniamo divergenza e integrazione. Nella fase divergente alziamo consapevolmente l’entropia: istruzioni più aperte, punti di vista eterogenei, vincoli in apparente contraddizione e ibridazioni tra domini lontani. Nella fase successiva riduciamo e organizziamo: confrontiamo le opzioni con criteri stabili, verifichiamo i fatti, scartiamo ciò che non regge e organizziamo i principi che spiegano perché una soluzione funziona.

Dunque, possiamo avere ordine locale se il sistema esporta entropia. Come fare? bassa entropia e massimo controllo quando la posta è delicata; più entropia e più tolleranza all’instabilità nelle fasi creative, esportando poi l’incertezza tramite selezione, verifiche, esclusioni e standard.

Una definizione

Detto tutto questo possiamo azzardarci a definire l’entropia semantica come la misura della varietà e imprevedibilità dei significati che un messaggio linguistico può attivare in un modello o in una mente umana.
In pratica, indica quanto un prompt o un testo lasciano spazio all’emergenza di interpretazioni diverse.

Quando l’entropia è bassa, le istruzioni sono precise e lineari: il sistema converge verso una sola risposta possibile.

Quando l’entropia è alta, le istruzioni sono aperte, ambigue o ricche di riferimenti eterogenei: il sistema esplora più traiettorie concettuali, generando output divergenti.

Pensare in termini di entropia semantica significa progettare la qualità dell’incertezza: scegliere quando serve controllo e quando serve fertilità.
È il parametro che permette di passare dall’uso meccanico dell’AI all’uso generativo, alternando fasi di divergenza controllata e di integrazione coerente.

Bibliografia

Tononi, Giulio. “An Information Integration Theory of Consciousness.” BMC Neuroscience 5, no. 1 (2004): 42.

Balduzzi, David, and Giulio Tononi. “Integrated Information in Discrete Dynamical Systems: Motivation and Theoretical Framework.” PLoS Computational Biology 4, no. 6 (2008): e1000091.

Friston, Karl. “Life as We Know It.” Journal of the Royal Society Interface 10, no. 86 (2013): 20130475.

Holland, John H. Complexity: A Very Short Introduction. Oxford: Oxford University Press, 2014.

Mitchell, Melanie. Complexity: A Guided Tour. Oxford: Oxford University Press, 2009.

Shannon, Claude E. “A Mathematical Theory of Communication.” Bell System Technical Journal 27, no. 3 (1948): 379–423.

Morin, Edgar. On Complexity. Cresskill, NJ: Hampton Press, 2008.

Hernandez-Olivan, Carlos, et al. “Large Language Models as Complex Systems.” arXiv preprint arXiv:2309.XXXXX, 2023.

Cherti, Mehdi, et al. “On the Emergent Capabilities of Large Language Models.” arXiv preprint arXiv:2304.15004, 2023.

Varshney, Lav R., and Kush R. Varshney. “Emergent Behaviors in Large Language Models.” Patterns 4, no. 10 (2023): 100846.