Spoiler per gli addetti: parlo di Taalas

Intro

Ci sono due fronti di trasformazione vera, concreta e capillare, che si avvicinano a velocità sempre maggiore e che, nel frastuono dello spreco di risorse e dei disastri diplomatici, non stanno facendo abbastanza notizia.

Un fronte lo conoscete, la generazione di energia tramite fusione nucleare, che sta facendo passi importanti, con Eni che ha avviato uno dei primi contratti commerciali di compravendita dell’energia che verrà prodotta, considerandolo un investimento sensato (https://www.wired.it/article/fusione-dopo-google-anche-eni-crede-nelle-promesse-startup-commonwealth-fusion-systems/)

L’altro fronte invece è passato completamente in sordina, e siccome lavoro con gli ultimi strumenti di intelligenza artificiale, sento mio il compito di diffondere il futuro prossimo e probabilmente sconvolgente.

Dettaglio tecnico

Sta per arrivare un cambio di approccio produttivo sui modelli LLM, la cui applicazione pratica per ora è stata fortemente limitata. Gli LLM generativi (da ChatGPT, a Gemini, Claude, Deepseek, Llama e Qwen) hanno mostrato finora le ampie potenzialità della tecnologia sottostante (i modelli Transformer di machine learning, e in particolare i “deconder-only”, il cui fondamento è il “meccanismo di attenzione”). Ma a parte grandi promesse, e sicuramente una trasformazione in ambiti come scrittura di codice e di documenti, o nei meme politici, in realtà gli LLM sono rimasti molto in disparte del resto della realtà produttiva. Si campa benissimo senza conoscerli.

In termini di post-scarsità, non sono riusciti ad incidere capillarmente nella vita di tutti, come è stato il personal computer o il motore a scoppio.

Ripensiamo un attimo al computer: è iniziato come un complesso meccanismo di valvole, con un’idea dal grande potenziale, la riprogrammabilità, con un grande esperimento riuscito (la decifratura dei messaggi nazisti della macchina Enigma), ma non ha realmente cambiato la vita di tutti i giorni fin quando quell’idea non è stata portata a dimensioni più piccole, con i transistor, e un buon compromesso tra portabilità e potenza, con il personal computer.

Oggi gli LLM sono a quel primo stadio: grandi gruppi di server da riempirne un palazzo, con schede consumate sia per addestrare i modelli che per poi farli usare remotamente dai singoli utenti. Tempi di elaborazione “lenti”, dato che la singola operazione richiesta può richiedere svariati secondi, e l’uso più comune è il “ragionamento” che richiede più operazioni, consumando minuti per rispondere anche a richieste di poche righe. Ragionamenti la cui lunghezza deve essere bilanciata tra precisione e lentezza.

La cosa grave è che non ci sono particolari barriere tecnologiche per far compiere al mondo degli LLM quello stesso salto, quella miniaturizzazione. La barriera era produttiva e commerciale, e sta cadendo.

La spiego come la spiegano alcuni ricercatori qui: https://yongwei.site/en/hnlpu/

Le applicazioni informatiche tradizionali sono relativamente semplici da copiare e da eseguire. La parte più “pesante” da produrre e vendere è l’hardware, e ha quindi senso che i computer siano riprogrammabili, così che la stessa macchina possa eseguire diversi software in continuo aggiornamento.

Ma nel caso degli LLM generativi, il costo di produzione del modello è altissimo (relativamente alla quantità di dati del prodotto finito), a confronto il costo dell’hardware necessario ad eseguirlo è una formica. Questo è un cambio di paradigma importante, che ha una conseguenza produttiva: ci si sposterà sull’hardware specializzato.

Al posto di dividere RAM e unità di calcolo, e di aspettare i tempi di caricamento dei dati sul chip per eseguire l’operazione richiesta, l’idea è di progettare il chip “stampandogli” uno specifico modello permanentemente.

Già lo ha fatto Taalas su un modello piccolo di prova: https://taalas.com/products/

Per un modello di 8 miliardi di parametri, sono bastati 53 miliardi di transistor (poco meno di quelli presenti in una CPU Apple M1 Max). La velocità di risposta è ovviamente fuori scala. 2 millesimi di secondo per una lunga risposta con più sezioni, almeno dai miei test.

Quando, nei prossimi mesi, cominceranno a mettere in commercio l’accesso ad un chip con un modello un po’ più grande (30-50 miliardi di parametri) e con ragionamento, i costi attuali di OpenAI Google e Anthropic non avranno più senso.

La previsione

Entro fine anno, i costi dei modelli LLM scenderanno sensibilmente, e probabilmente aumenterà di molto precisione e velocità. Direi un 70% che accada.

Entro l’estate 2027, sarà possibile per le aziende acquistare questi chip con modello stampato dentro e utilizzarlo non solo in ambito digitale, ma anche per governare i robot industriali e quelli per l’assistenza. Facciamo 60% che accada.

Il dubbio fondamentale per queste due previsioni è che si riesca veramente a fare questi chip e che non consumino troppo. I singoli chip consumano molto di più di una CPU da server, anche se per questa attività specifica sarebbero comunque un enorme risparmio e libererebbero server su cui le aziende potranno fare addestramento per i modelli futuri. Claude mi dice che è più probabile che si arrivi al 2028 per questi passaggi, io la vedo più breve.

Invece per me entro il 2028 avverrà una trasformazione culturale del nostro concetto di app o sito. Sono vago perché non posso certo prevedere le evoluzioni culturali, ma che qualcosa accadrà ne sono sicuro, 90%.

Oggi è possibile chiedere a claude di realizzare una infografica interattiva che mostra dei dati presi da internet o inseriti da file, con regole e viste personalizzate… praticamente star trek ma con un po’ di pazienza per tempi ed errori. Quando per ottenere un buon risultato serviranno pochi secondi, comincerà a cadere la necessità di avere applicazioni standard per i vari servizi, e non ho idea di cosa possa comportare nel senso comune o per lo meno nei giovani.

Ti serve modificare delle foto? Perché comprare e imparare photoshop se puoi chiedere un editor che fa quello che serve a te? Ti piace un videogioco? Perché comprarlo se puoi ricrearne vari aspetti, modificarlo a piacimento, e metterlo online per giocare tra amici, senza alcuna competenza informatica?