Autoage

OpenAI rilascia il modello linguistico GPT-2

OpenAI ha sviluppato un modello linguistico non supervisionato di intelligenza artificiale in grado di generare testi scritti coerenti in linguaggio naturale simili a quelli di un essere umano. L'algoritmo è anche in grado di leggere le informazioni dal testo, comprendere, tradurre e rispondere a semplici domande dirette sull'argomento. Il modello si chiama GPT-2. E' la seconda versione del modello GPT.

l'intelligenza artificiale impara a leggere e scrivere

Come funziona GPT-2

L'algoritmo GPT-2 è stato semplicemente addestrato a prevedere la parola successiva in base ai termini precedenti all'interno di un testo tramite machine learning, usando 40 GB di testo prelevato su internet da 8 milioni di pagine web.

Le funzionalità dell'algoritmo sono le sequenti:

  1. Comprensione del testo. Comprende e interpreta semplici concetti dal testo, li organizza e risponde alle domande dirette sull'argomento trattato.
  2. Scrittura. Oltre a leggere e organizzare le informazioni, l'algoritmo GPT-2 genera dei campioni di testo scritto in base a una frase di input.

A differenza di altri sistemi di generazione del testo, GPT-2 è un sistema non supervisionato e non lavora su set di dati specifici, né banche di conoscenza (knowledge-abse) per ogni dominio del sapere.

Un esempio pratico

La macchina legge il contenuto di un breve testo immesso dall'uomo.

un esempio pratico

Sulla base di questo input, l'algoritmo espande l'argomento generando un testo sintetico molto più ampio.

il testo scritto dalla macchina

La qualità del testo e lo stile sono simili a quelle del linguaggio naturale di un elaborato scritto da un essere umano.

I limiti dell'algoritmo GPT-2

Il testo è di buona fattura ma non è privo di errori. A volte gli errori sono anche assurdi ( es. "incendi sott'acqua" ). Spesso è necessario compiere più tentativi per raggiungere un buon livello di qualità. Inoltre, il margine di errore tende a crescere sui testi altamente tecnici.

Le prestazioni sono ancora molto lontane da quelle di un essere umano. Basti pensare che per superare il 50% delle performance di un uomo, il sistema sviluppato da OpenAI utilizza 1,5 miliardi di parametri e la curva di sviluppo è marcatamente decrescente.

le prestazioni di GPT-2

E' quindi necessaria un'ulteriore fase di messa a punto dell'algoritmo.

Tuttavia, il grado di comprensione del testo da parte di GPT-2 è già a buon punto. La macchina legge il testo, interpreta e risponde correttamente a gran parte delle domande.

Esempio

La macchina legge questo testo dal dataset CoQA. Ho volutamente tradotto il testo in italiano per rendere più comprensibile l'esempio a tutti.

un esempio di testo scritto

Dopo averlo letto e compreso, la macchina riesce a rispondere a molte domande dirette sull'argomento trattato dal testo.

le domande risposte da Open AI

E' sicuramente un buon risultato. Non c'è dubbio.

Quali sono le applicazioni future

In futuro questi sistemi saranno usati per potenziare gli assistenti di scrittura e di dialogo, assistenti virtuali e personali, sistemi di riconoscimento vocale e traduttori istantanei linguistici portatili.

Non è però escluso anche un uso malevolo dell'algoritmo. Ne parla anche OpenAI.

Ad esempio, la generazione di fake news, contenuti spam, false identità online da parte di chatbot, false immagini e foto, phishing, ecc. Sono tutti rischi concreti di un cattivo utilizzo dell'intelligenza artificiale.

Nell'annunciare GPT-2 la stessa OpenAI si augura che la discussione su questi rischi dell'intelligenza artificiale coinvolga presto anche i governi, i media e l'opinione pubblica.

La documentazione

OpenAI ha dichiarato di voler rilasciare presto un modello più piccolo e un documento tecnico per consentire a tutti di sperimentarne le potenzialità.

Una parte del codice sorgente degli esempi di GPT-2 è comunque già disponibile su Git-Hub.

Andrea Minini

18 / 02 / 2019

Link di approfondimento







Home Page | Per contattarci | PIVA 09286581005 | Privacy e preferenze cookies | All rights reserved 2017

Questo sito utilizza cookie tecnici. Sono presenti alcuni cookie di terzi ( Gooogle, Facebook ) per la personalizzazione degli annunci pubblicitari. Cliccando su OK, scorrendo la pagina o proseguendo la navigazione in altra maniera acconsenti all’uso dei cookie.

Per ulteriori informazioni o per revocare il consenso fai riferimento alla Privacy del sito.