![\"\"](\"https:\/\/www.studiocerellochesini.it\/web\/wp-content\/uploads\/2025\/02\/ecc0cd51-1200x628-1-300x157.webp\")
<\/figure>\n<\/div>\n\n\nMa come funziona un LLM?<\/h4>\n\n\n\n
Un LLM si basa principalmente su questi due aspetti\/processi:<\/p>\n\n\n\n
- \n
- Matrice degli Embeddings<\/strong>: ogni parola in un vocabolario di prefissata grandezza (le parole inserite nel vocabolario sono quelle maggiormente ricorrenti) viene suddivisa in unit\u00e0 significative rappresentate all’interno di un calcolatore ognuna con un numero intero detto token<\/strong>, per esempio la parola atomo<\/em> potr\u00e0 essere suddivisa in “atom”<\/em> e “o”<\/em> questo perch\u00e8 il modello vuole poi poter ottimizzare l’aspetto semantico nella sua rappresentazione numerica e poter “capire” che anche atom(-)i <\/em>e atom(-)ico<\/em>, fanno parte dello stesso contesto di significato. Una frase diventer\u00e0 quindi una lista di numeri (anche gli spazi, i segni di punteggiatura e le etichette di inizio e fine savranno un loro dedicato valore numerico), organizzati come vettori<\/a> di dimensione predefinita (che sar\u00e0 la massima lunghezza della frase). Utilizzando le informazioni appena organizzate si forma una matrice (una specie di tabella) dove ogni riga \u00e8 un determinato token e ogni colonna un parametro (pi\u00f9 parametri significa pi\u00f9 descrittori, ovvero la migliore capacit\u00e0 del sistema di astrarre e quindi cogliere pi\u00f9 sfumature). Ogni parametro viene calcolato in modo che parole con significati e contesti simili abbiano valori simili. Prendiamo solo ad esempio un’ improponibile matrice degli embeddings con due parametri, ogni parola potrebbe essere visivamente mappata su un piano cartesiano, ecco che due parole come casa<\/em> e abitazione<\/em> saranno molto vicine nell’ipotetico piano, grattugia<\/em> e pianoforte<\/em> saranno ad una distanza molto grande. Le matrici degli embeddings hanno centinaia o migliaia di parametri, spazi ovviamente non rappresentabili graficamente .<\/li>\n\n\n\n
- Meccanismo di Attenzione<\/strong>: la matrice degli embeddings non riesce a considerare il contesto dato anche dalle altre parole presenti nelle vicinanze, ad esempio ne Il gatto insegue il topo che si nasconde sotto il divano<\/em>, topo<\/em> e divano<\/em> avranno con molta probabilit\u00e0 una bassa correlazione nella matrice degli embeddings. Il meccanismo di attenzione riesce invece a focalizzarsi su specifiche parti della frase come il topo<\/em> e sotto il divano<\/em> e trovare una correlazione, ma come? Utilizzando la rappresentazione QKV: Query, Key, Value.<\/strong> Questa rappresentazione \u00e8 uno stratagemma trovato dai ricercatori per mimare un sistema di ricerca contestuale: query<\/strong> rappresenta la nostra richiesta sottoforma di token, e la coppia key<\/strong>(chiave)-value<\/strong>(valore) rappresenta i token che hanno<\/strong> sequenzialmente nella loro generazione una probabilit\u00e0 pi\u00f9 alta<\/strong> (la funzione softmax<\/a> in uscita del blocco computazionale fondamentale di un LLM \u00e8 utilizzato infatti per ottenere una distribuzione di probabilit\u00e0 per ogni token nel vocabolario) in correlazione all’input (query). Il meccanismo di attenzione, implementato con delle reti neurali di milioni di paramentri (ci\u00f2 che ne determina la complessit\u00e0 costruttiva e computazionale) appositamente addestrate, \u00e8 poi utilizzato in parallelo su diverse parti della frase in modo da ottenere un risultato valido.<\/li>\n<\/ul>\n\n\n\n
Si fa presto a fare due conti per capire che un LLM di qualit\u00e0 occupa in memoria diversi GB. Tanto per fare un esempio LLama 3.2 con 70 miliardi di parametri (nel momento in cui scrivo, uno dei migliori modelli in circolazione) per poter essere eseguito su un computer con con 64GB di RAM, i suoi parametri devono essere sottocampionati a (soli) 4bit (per fortuna senza inficiare in maniera sostanziale sulla precisione dello stesso). <\/p>\n\n\n\n
Se non avete capito niente va bene lo stesso, ma questo nostro vecchio articolo<\/a> potr\u00e0 tornarvi utile.<\/p>\n\n\n\n
Studio Cerello & Chesini srl \u00a9<\/strong> 2025<\/p>\n\n\n\n
<\/p>\n","protected":false},"excerpt":{"rendered":"
ChatGPT \u00e8 uno strumento informatico ormai conosciuto da quasi tutti e utilizzato da molti, consente di avere risposte a quesiti sottoposti in forma testuale. Cos\u00ec come LLama (Meta) ed altri, ChatGPT \u00e8 un LLM, ovvero un modello di linguaggio esteso, una delle tante tipologie di modelli di intelligenza artificiale. Ma come funziona un LLM? Un … Continua la lettura di ChatGPT, magia?<\/span>
- Meccanismo di Attenzione<\/strong>: la matrice degli embeddings non riesce a considerare il contesto dato anche dalle altre parole presenti nelle vicinanze, ad esempio ne Il gatto insegue il topo che si nasconde sotto il divano<\/em>, topo<\/em> e divano<\/em> avranno con molta probabilit\u00e0 una bassa correlazione nella matrice degli embeddings. Il meccanismo di attenzione riesce invece a focalizzarsi su specifiche parti della frase come il topo<\/em> e sotto il divano<\/em> e trovare una correlazione, ma come? Utilizzando la rappresentazione QKV: Query, Key, Value.<\/strong> Questa rappresentazione \u00e8 uno stratagemma trovato dai ricercatori per mimare un sistema di ricerca contestuale: query<\/strong> rappresenta la nostra richiesta sottoforma di token, e la coppia key<\/strong>(chiave)-value<\/strong>(valore) rappresenta i token che hanno<\/strong> sequenzialmente nella loro generazione una probabilit\u00e0 pi\u00f9 alta<\/strong> (la funzione softmax<\/a> in uscita del blocco computazionale fondamentale di un LLM \u00e8 utilizzato infatti per ottenere una distribuzione di probabilit\u00e0 per ogni token nel vocabolario) in correlazione all’input (query). Il meccanismo di attenzione, implementato con delle reti neurali di milioni di paramentri (ci\u00f2 che ne determina la complessit\u00e0 costruttiva e computazionale) appositamente addestrate, \u00e8 poi utilizzato in parallelo su diverse parti della frase in modo da ottenere un risultato valido.<\/li>\n<\/ul>\n\n\n\n