I vincitori del Turing Award 2018
In giugno la ACM ( Association for Computing Machinery) ha insignito del prestigioso premio Turing 2018, una sorta di Nobel dell’informatica, tre illustri scienziati. Yoshua Bengio, professore presso la University of Montreal e Scientific Director del Mila, l’istituto di intelligenza artificiale del Quebec. Yann LeCun, professore della New York University ed inoltre VP e Chief AI Scientist di Facebook. Geoffrey Hinton, professore emerito presso la University of Toronto, VP ed Engineering Fellow di Google, nonché Chief Scientific Advisor del The Vector Institute.
La motivazione del riconoscimento è la seguente:
Per scoperte capitali concettuali ed ingegneristiche che hanno reso le reti neurali profonde una componente fondamentale dell’informatica.
Come ha rimarcato Cherri M. Pancake, Presidente dell’ACM:
“La crescita e l’interesse verso l’IA sono dovuti, in misura tutt’altro che trascurabile, ai recenti progressi nell’apprendimento profondo del quale Bengio, Hinton e LeCun hanno posto le fondamenta”.
E Jeff Dean, Google Senior Fellow e SVP Google AI, ha aggiunto:
“Le reti neurali profonde sono responsabili di alcuni dei più grandi passi in avanti dell’informatica moderna. Hanno contribuito a compiere progressi sostanziali in problemi di lunga data: la visione artificiale, il riconoscimento vocale e la comprensione del linguaggio naturale. … Al cuore di questi progressi vi sono le tecniche fondamentali sviluppate a partire da più di 30 anni fa dai vincitori del Turing Award di quest’anno. Si tratta di Yoshua Bengio, Geoffrey Hinton e Yann LeCun. Migliorando notevolmente la capacità dei computer di comprendere il senso del mondo, le reti neurali profonde stanno mutando non solo il campo dell’informatica, ma quasi ogni campo della scienza e dell’impegno umano”.
Il ruolo del Canada
I vincitori del Turing Award 2018 continuano tuttora a collaborare all’interno del programma Learning in Machines and Brains program del CIFAR (Canadian Institute for Advanced Research). Il ruolo svolto dal governo canadese nella ricerca sulle reti neurali non è affatto marginale.
Questo progetto, nello specifico, si prefigge di indagare quell’ampio ed affascinante territorio che si trova all’intersezione tra machine learning, neuroscienze e scienze cognitive. Un passo ineludibile se si ambisce ad un’intelligenza artificiale che possieda del “common sense”.
Oggi i tre scienziati premiati sono alla ribalta, ma non sempre è stato così… C’è stato anzi un momento in cui l’intelligenza artificiale era nella polvere. Vediamone brevemente la storia.
In principio era il Perceptron…
La vicenda del Perceptron rappresenta un buon termine di paragone per illustrare l’andamento ondivago che contraddistingue il mondo dell’intelligenza artificiale. L’idea dietro il Percettrone era semplice e poggiava su fondamenta teoriche poste già a partire dagli anni ’40: prendere a modello la struttura ed il funzionamento del cervello umano. Nella fattispecie imitare il comportamento dei suoi neuroni e dei collegamenti che questi creano tra di loro: le sinapsi. In ultimo si cercava di riprodurre la modalità di apprendimento del nostro intelletto, in particolare la sua plasticità.
Il Perceptron cercava di affinare la propria capacità di corrispondere all’output atteso, assegnando un maggiore o minore peso alle varie connessioni. Così facendo alterava le sinapsi, rimodulando i rapporti tra i neuroni artificiali. Banalizzando forse in maniera eccessiva, si può dire che mediante questa modalità la macchina, in un certo qual senso, imparava. Il Perceptron invero fu un primo prototipo di rete neurale, sebbene estremamente semplificata, ed era in grado di distinguere, ad esempio, delle forme geometriche elementari quali triangoli e quadrati.
La débacle del Perceptron…
Tuttavia il progetto si rivelò inadeguato a soddisfare le enormi aspettative che aveva sollevato, alimentate anche da incaute affermazioni. Rosenblatt, infatti, si spinse a dichiarare che la sua “creatura” alla lunga, “… sarebbe stata in grado di apprendere, prendere decisioni e tradurre le lingue”.
Il Perceptron invero era basato su un singolo livello di neuroni artificiali (al più due), la qual cosa limitava fortemente la sua capacità di rinvenire schemi complessi. Le odierne reti neurali (deep neural networks), al contrario, sono strutturate su molteplici strati di neuroni artificiali.
Tale architettura consente loro di affrontare una ben maggiore complessità. In ultimo il progetto di Rosenblatt si rivelò un fiasco. L’interesse verso la macchina e l’approccio che ne era alla base progressivamente scemò, così come i fondi destinati al programma.
… e le sue conseguenze
Una nutrita serie di battute d’arresto, tra le quali la debacle del Perceptron, produssero delusione e conseguente disillusione tra la metà degli anni ’60 e ’70, condannando la nascente Cibernetica ad un oblio che si protrasse per molto tempo.
L’argomento risultò fatalmente interdetto, soffrendo una sorta di ostracismo all’interno della comunità degli scienziati del settore. Per le neonate reti neurali artificiali era sopraggiunto l’inverno, un lungo inverno…
Allorquando la ricerca fallisce nel rispondere ad attese talora esagerate, si instaura un clima di sfiducia che conduce ad un progressivo raffreddamento dell’interesse. Questo, a sua volta, induce prima una diminuzione e quindi una sospensione dei fondi. Ciò provoca la fine o al più la stagnazione della ricerca stessa. Un fenomeno noto come “AI winter”.
L’avvento dell’AI winter
Cicli ricorrenti di smodato entusiasmo ed ingenti investimenti (sovralimentati sovente da propaganda e marketing), a cui succedono profonda frustrazione, interruzione delle sovvenzioni, talora persino biasimo per un determinato filone di indagine.
Il cammino della ricerca in intelligenza artificiale ha seguito in tutti i domini la stessa curva: Successi eclatanti iniziali, bruscamente seguiti da difficoltà inaspettate. (Da Hubert L. Dreyfus,Che cosa non possono fare i computer. I limiti dell’intelligenza artificiale, Armando 1998).
Di inverni, inverni prolungati, il comparto dell’intelligenza artificiale ne ha sperimentati almeno due. Quello seguito, tra le altre cose, al fallimento del Perceptron e quello causato dalla bolla delle dot-com.
Sottotraccia
Eppure, nonostante la morsa del gelo del disincanto, l’indagine sulle reti neurali non si è mai interrotta del tutto. Bensì essa è proseguita, sottotraccia, eclissata, quasi in clandestinità, mentre i finanziamenti e la ricerca mainstream perseguivano altre vie.
Sebbene Hinton tenga a rimarcare come il racconto della torcia tenuta accesa da pochi eletti sia solo mitologia, ostacoli e difficoltà non sono affatto un’invenzione.
Hinton dovette scontrarsi persino col proprio docente quando negli anni ’70 scelse l’intelligenza artificiale quale argomento del proprio Ph.D. “Ci incontravamo una volta alla settimana”, ricorda, “A volte si finiva col litigare, a volte no”.
Per le reti neurali, nello specifico, l’indifferenza o peggio l’avversione di gran parte della comunità degli scienziati del settore è perdurata a lungo. Rammenta LeCun:
C’è stato un periodo buio tra la metà degli anni ’90 e dall’inizio sino alla metà degli anni 2000, quando era impossibile pubblicare ricerche sulle reti neurali, perché la comunità aveva perso interesse verso di esse … Di fatto, avevano una cattiva reputazione. Erano una sorta di tabù.
Si continua a ricercare
I tre scienziati insigniti del Premio Turing hanno continuato a lavorare sulle proprie idee anche nei periodi più bui, sia autonomamente che collaborando e scambiandosi idee. Grazie anche alla lungimiranza del governo canadese, i tre si sono ritrovati assieme e da lì, forse, è partita la rivalsa.
Nel 2004, grazie ad un finanziamento di meno di 400.000 dollari da parte del Canadian Institute for Advanced Research, il Dr. Hinton creò un programma di ricerca dedicato a quello che definì “neural computation and adaptive perception.
Hinton invitò a far parte del progetto anche Yoshua Bengio e Yann LeCun.
Importanti si rivelano anche le sinergie, quelle che avviano una sorta circolo virtuoso che semina frutti, diffonde idee, guadagna sostenitori. Afferma LeCu:
Abbiamo organizzato incontri regolari, seminari regolari e scuole estive per i nostri studenti … Ciò ha creato una piccola comunità che […] intorno al 2012, 2013 è davvero esplosa.
Proprio in quel periodo, poco dopo il giro di boa della prima decade del nuovo millennio, tutto era pronto. Lo erano i fondamenti teorici e parimenti lo erano l’hardware disponibile e la materia prima essenziale, i dati. La rivoluzione delle reti neurali poteva dunque iniziare.
Convergenze parallele
Per lungo tempo gli sforzi degli scienziati nel campo delle reti neurali artificiali hanno cozzato contro la scarsità del carburante necessario a farle operare al meglio: i dati. Rimarca Yann LeCun:
Funzionavano bene solo quando c’erano molti dati per l’addestramento e c’erano poche aree con molti dati per l’addestramento.
Analogamente sul versante hardware non si disponeva di sufficiente potenza. Come rilevano Gary Marcus ed Ernest Davis:
Ancora nei primi anni 2000, l’hardware non era all’altezza del compito. Sarebbero occorse settimane o addirittura mesi di tempo al computer per addestrare una tipica rete profonda [deep network]. Non si potevano provare (com’è ora possibile) centinaia di alternative diverse e vagliare tra di esse la migliore. (Gary F. Marcus, Ernest Davis,Rebooting AI. Building Artificial Intelligence We Can Trust, 2019).
Arriva Internet
Come accaduto altre volte in concomitanza di punti di flesso della storia dell’informatica, ad un dato momento, apparentemente in maniera casuale, tutta una serie di acquisizioni (sia tecniche che teoriche) convergono. Ciò rende realizzabile quanto prima era solo un vago auspicio o materia per bistrattati visionari.
Così, intorno alla prima decade del nuovo millennio, grazie alla diffusione di internet e dei social media erano a disposizione enormi quantità di dati. Come erano disponibili svariati dataset di dati strutturati, alcuni di altissima qualità. ImageNet costituiva un dataset che annoverava all’epoca ben 3,2 milioni di immagini etichettate, organizzate in 5247 categorie. Ha dichiarato Li
Il mutamento di paradigma del concetto di ImageNet è che mentre molte persone prestano attenzione ai modelli, [noi] prestiamo attenzione ai dati. … I dati ridefiniranno il modo in cui pensiamo ai modelli.
ImageNet
Pubblicato nel 2009 ( ImageNet paper) nell’indifferenza generale, Imagenet ha organizzato anche una competizione annuale, dal 2010 sino all’ ultima edizione del 2017. Vi hanno partecipato alcuni tra i personaggi oggi in prima fila nel machine learnig e nel settore Hi-Tech.
Il concorso mirava a mettere alla prova gli algoritmi sull’enorme database di immagini disponibile, alfine di indagare approfonditamente le potenzialità dell’IA.
Una sorpresa gradevole è stata il fatto che le persone che avevano addestrato i loro modelli su ImageNet potevano usarli per avviare modelli per altre attività di riconoscimento. Si iniziava con il modello di ImageNet e poi lo si perfezionava per un’altra attività. … È stata una svolta sia per le reti neurali che per il riconoscimento in generale.
Il versante hardware
Anche sul versante dell’hardware, pressappoco nello stesso periodo, si disponeva ormai della potenza necessaria a supportare appieno (e con costo accessibile) le necessità delle reti neurali. Per ironia della sorte l’hardware in questione proveniva da un comparto ed una destinazione originaria affatto diversa.
Le GPU erano legate per i videogiochi, a partire dagli anni ’70, e le reti neurali le hanno scoperte nei primi anni 2000. Nel 2012 erano divenute estremamente potenti e per taluni scopi erano più efficienti delle CPU. La CPU è il tradizionale cardine [core] della maggior parte dei computer.
La rivoluzione è sopraggiunta nel 2012, quando un certo numero di persone, incluso un team di ricercatori che lavorava con Hinton, hanno escogitato un modo per utilizzare la potenza delle GPU per accrescere enormemente il potere delle reti neurali.
Osservano Marcus e Davis:
In un certo senso, il progresso più importante non è giunto da una qualche scoperta tecnica fondamentale nella matematica delle reti neurali, molte delle quali degli anni ’80. È arrivato dai giochi per computer. O, più specificamente, da un particolare hardware noto come GPU (abbreviazione di Graphics Processing Unit), che la comunità delle reti neurali ha convertito per l’intelligenza artificiale.
Imagenet Contest 2012
Nel 2012, a due anni di distanza dal primo Imagenet Challenge, si è verificato l’evento che ha originato forse l’attuale ascesa dell’IA. Hinton insieme a due suoi studenti dell’Università di Toronto, Ilya Sutskever e Alex Krizhevsky, partecipò al concorso con una rete neurale convoluzionale progettata da Krizhevsky: AlexNet.
AlexNet, tuttora impiegata nella ricerca, sbaragliò il campo con un enorme margine di 10,8 punti percentuali, ovvero il 41% meglio rispetto al più performante che seguiva. Un risultato tanto inatteso quanto inequivocabile. Afferma LeCun:
La differenza è stata tale che ad un sacco di gente potevi scorgere in testa un enorme interruttore impazzito … Adesso erano convinti.
Inizia la risalita dell’AI
Un trionfo talmente clamoroso da spingere Google, di lì a poco, ad assumere i tre vincitori. Ricorda Krizhevsky:
Si è trasformata [in una situazione] alquanto surreale. … Ben presto abbiamo cominciato a ricevere offerte di acquisizione. Un sacco di email.
Per chiudere il cerchio delle fortunate “coincidenze”, anche il concorso bandito da Imagenet giungeva proprio al momento propizio per Hinton ed i suoi studenti.
Oggi, tali reti neurali convoluzionali sono ovunque … Possono dire cosa c’è in un’immagine rinvenendo schemi tra i pixel attraverso livelli crescenti di astrazione. Utilizzano da migliaia a milioni di piccoli calcoli per ciascun livello. … Hinton aveva esortato i suoi colleghi a prenderle sul serio per decenni. Tuttavia ora aveva la prova che esse potevano battere altre tecniche all’avanguardia.
Questo evento di Imagenet 2012 è stato sicuramente ciò che ha scatenato oggi la grande esplosione dell’IA.
C’erano stati certo dei risultati molto promettenti nel riconoscimento vocale poco prima (molti dei quali ancora una volta avvenuti a Toronto). Ma non sono decollati pubblicamente tanto quanto quella vittoria dell’ImageNet nel 2012 e negli anni successivi.
L’Illusory progress gap
Benché le reti neurali ed il machine learning siano ormai ubiqui nel mondo dell’intelligenza artificiale e più in generale all’interno del comparto tecnologico nel suo complesso, molto resta ancora da fare. Sebbene si siano compiuti progressi sorprendenti, la spinta propulsiva che ha attraversato il settore sembra essersi esaurita o quantomeno attenuata.
Ancora una volta l’IA non si è dimostrata in grado di soddisfare pienamente, sinora perlomeno, tanto le promesse che l’hanno accompagnata, quanto le enormi aspettative che aveva sollevato, per tacere poi degli ingenti investimenti.
L’approccio attualmente dominante all’intelligenza artificiale, quello basato appunto sul machine learning (nelle sue variegate declinazioni), ha evidenziato delle crepe. I successi ottenuti negli scacchi, il Go, il poker, i videogiochi, etc., hanno esaltato questa metodologia.
Eppure i tentativi di “esportarla” al di fuori di universi chiusi, ambienti ben definiti e circoscritti, non sempre si sono dimostrati fruttuosi e ne hanno rivelato limiti e fragilità. E così sono arrivate le difficoltà ed i fallimenti.
Marcus e Davis parlano di “illusory progress gap”, ovvero il “… confondere i progressi dell’intelligenza artificiale in problemi semplici con dei progressi in problemi complessi” (Gary F. Marcus, Ernest Davis, Rebooting AI. Building Artificial Intelligence We Can Trust, 2019)
Gli insuccessi dell’AI
Alcuni tra gli insuccessi più clamorosi si sono avuti nel campo della sanità. Ad oggi, infatti, alcuni dei programmi più ambiziosi che prevedevano di applicare concretamente l’IA nel settore della ricerca e delle cure mediche, non possono dirsi riusciti. Anzi, tanto quello a marchio IBM legato a Watson, Watson Health e ancor più nello specifico Watson for oncology, che si era prefisso di sconfiggere il cancro in pochi anni; tanto quello di Deep Mind, volto alla diagnosi precoce dell’ insufficienza renale acuta ( AKI). Entrambi hanno subito battute d’arresto, rovesci, pesanti critiche, defezioni.
Il raffreddamento degli investitori
Taluni paventano che qualora gli investimenti profusi nel settore, alla lunga non dovessero dimostrarsi remunerativi, l’interesse da parte dei finanziatori potrebbe venire meno.
Deep Mind, ad esempio, negli ultimi tre anni ha registrato forti perdite. IBM, dal canto suo, solo recentemente ha registrato un incremento del fatturato, dopo una striscia di 22 trimestri consecutivi in calo.
Pertanto, da più parti c’è il timore che si approssimi un nuovo inverno per l’Intelligenza artificiale. Le aspettative ingenerate dalla propaganda, alimentata anche dai media, sono manifestamente eccessive. Questo sembrerebbe preludere ad un nuovo ciclo di disillusione, disinteresse, drastico calo dei finanziamenti.
Nondimeno vi sono alcune differenze, sostanziali, rispetto al passato.
Un nuovo inverno sta arrivando?
Scrive Dreyfus: “A dispetto di dichiarazioni e profezie, a dispetto di ciò che proclamano i mass media o di ciò che ci mostra il cinema, l’intelligenza artificiale è una promessa e non un fatto compiuto” (Hubert L. Dreyfus,Che cosa non possono fare i computer. I limiti dell’intelligenza artificiale, Armando 1998).
Oggi, il rilievo avanzato da Dreyfus conserva tutta la sua attualità, a patto che ci si riferisca all’ambizione ultima dell’IA: approssimarsi quanto più possibile al cervello umano ed eventualmente superarlo.
Pur tuttavia l’intelligenza artificiale ha trovato molteplici impieghi sul piano pratico, che interessano ormai il nostro quotidiano. Come sottolinea Tiernan Ray:
L’utilizzo dell’apprendimento automatico non è più un’attività strettamente accademica, ora appartiene all’industria. E l’industria sta trovando delle modalità per fare delle cose con l’apprendimento automatico che non hanno nulla a che fare con la creazione di una mente.
Questa è una prima connotazione di alterità rispetto al passato, ma ve ne sono altre. Prosegue Ray:
È diverso per una semplice ragione: l’intelligenza artificiale, nella sua ultima incarnazione, chiamata deep learning, è diventata “industrializzata”. Per la prima volta in assoluto, l’intelligenza artificiale è parte del modo in cui le aziende lavorano. Ciò le conferisce un valore nuovo, al di là delle carenze evidenziate dai critici.
L’industrializzazione dell’AI Per questo motivo, come rimarca Gary Marcus:
Il mondo delle aziende potrebbe divenire meno fiducioso verso l’intelligenza artificiale, ma non può permettersi di tirarsene fuori del tutto.
Anche perché, e questo è un ulteriore elemento di discontinuità col passato, di fatto i finanziamenti alla ricerca non provengono più in larga misura dai governi, bensì appartengono a capitali privati. E questi, si sa, ambiscono in primo luogo ad un ritorno economico.
Tuttavia, nonostante qualche segnale incoraggiante, la profittabilità degli investimenti in intelligenza artificiale è ancora da dimostrare. La componente pubblica, nondimeno, potrebbe avere il suo tornaconto nel mantenere un elevato flusso di finanziamenti. Attualmente la preminenza nel campo dell’intelligenza artificiale promette un primato cui nessuna delle potenze egemoni è disposta a rinunciare.
Rimanere indietro potrebbe rivelarsi fatale per chiunque, che si tratti di un’azienda o di una compagine statale.
La questione dei big data
Il fatto poi di riuscire ad estrarre “valore”, sotto varie forme, dai dati, in primo luogo quelli dei propri utenti, garantisce alle aziende, dai colossi del web alle start-up, una sorta di vantaggio supplementare. Ecco un’ altra novità.
La distinzione chiave con queste startup rispetto alle precedenti epoche dell’IA è che queste si sono posizionate in modo da utilizzare i dati dei loro clienti. Anche qualora queste nuove startup non mantenessero le loro promesse esplicite, vale a dire di ottimizzare tutto, avranno un posto al tavolo essendo implicate con i dati. Come osserva il sociologo francese Dominique Cardon:
Il data mining esiste perché è possibile ottenere vantaggi competitivi analizzando la moltitudine di dati che descrivono la vita della nostra società informatizzata.
Tutto ciò rende l’intelligenza artificiale molto più integrata ed “ancorata” alla realtà, rispetto al passato, all’interno del mondo delle aziende e nella società nel suo complesso.
Non ci sarà un nuovo inverno
Dunque, la somma di questi elementi parrebbe scongiurare un eventuale nuovo, glaciale inverno. Tuttavia c’è un ultimo fattore da prendere in considerazione: la fiducia.
L’IA winter consiste principalmente in un crollo della percezione verso l’IA da parte di burocrati governativi e venture capitalist. Oggi più che mai l’intelligenza artificiale necessita della fiducia di una molteplicità di soggetti. Questa fiducia va ben oltre quelli summenzionati a cui aggiungere un’indistinta opinione pubblica.
Non è più sufficiente che l’IA si dimostri all’altezza (almeno in parte) delle promesse fatte ad investitori, governi e media in genere. Essa ha bisogno della fiducia degli utenti. Cioè semplici fruitori o professionisti che la utilizzino o con essa si trovino persino a dover “collaborare”.
L’IA deve essere “trustworthy”, attraverso l’intero spettro dell’accezione semantica del termine. Tanto degna di fiducia, quanto affidabile ed infine sicura.
Il rischio è che la sua implementazione pratica nella società, all’interno della realtà ordinaria, fallisca, in parte o in toto. Qualora questo accadesse le ripercussioni non potrebbero non interessare gli investimenti e la ricerca. A questo punto potrebbero aprirsi le porte ad un nuovo, gelido, inverno.