Dissociating language and thought in large language models

Dopo anni che lo stresso, fa piacere leggere queste cose.

(questo non intacca il mio giudizio sulla loro utilità!)

Source: MIT e altri

Large language models (LLMs) have come closest among all models to date to mastering human language, yet opinions about their linguistic and cognitive capabilities remain split. Here, we evaluate LLMs using a distinction between formal linguistic competence–knowledge of linguistic rules and patterns–and functional linguistic competence–understanding and using language in the world. We ground this distinction in human neuroscience, showing that formal and functional competence rely on different neural mechanisms. Although LLMs are surprisingly good at formal competence, their performance on functional competence tasks remains spotty and often requires specialized fine-tuning and/or coupling with external modules. In short, LLMs are good models of language but incomplete models of human thought.

PDF qui: [2301.06627v2] Dissociating language and thought in large language models

If you like this post, please consider sharing it.

2 thoughts on “Dissociating language and thought in large language models”

  1. Ciò che mancherà (per sempre?) a ChatGPT e compagni credo che sia il senso dell’umorismo.

    Si può comporre un saggio, un articolo, uno speech ecc. ricombinando il materiale di una banca dati in modo che riesca linguisticamente plausibile, anche senza “capirne” il contenuto. Ma non si può ideare una barzelletta o una battuta efficace senza capirne il contenuto. Qui non si tratta semplicemente di allineare dati in maniera statisticamente coerente.

    Per farlo, la AI dovrebbe almeno possedere già un modello completo di “funzionamento” del mondo per poter identificare lo scarto tra la situazione umoristica e la situazione che ci si aspetterebbe nella realtà. E dovrebbe essere abbastanza sofisticata da riuscire a catalogare questo scarto dalla norma come “umorismo” e non come “errore”… Credo che al momento ne siamo ben lontani.

    Credo insomma che ridere rimarrà ancora a lungo una nostra prerogativa. Questo sarebbe il “vero” test di Turing.

Leave a Comment

Your email address will not be published. Required fields are marked *