TecaLibri: Nick Bostrom: Superintelligenza

| << | < | > | >> |

Pagina 11

Prefazione

A permettervi di leggere è una cosa che sta nel vostro cranio. Questa cosa, il cervello umano, ha alcune capacità che il cervello di altri animali non possiede. È a queste particolari capacità che dobbiamo la nostra posizione dominante sul pianeta. Altri animali hanno muscoli più forti e artigli più affilati, ma noi abbiamo un cervello migliore. Il nostro modesto vantaggio in relazione all'intelligenza generale ci ha portato a sviluppare il linguaggio, la tecnologia e l'organizzazione sociale complessa. Il vantaggio è aumentato nel corso del tempo, poiché ogni generazione si è basata sulle conquiste dei propri predecessori.

Se un giorno costruiremo cervelli artificiali superiori al cervello umano in quanto a intelligenza generale, questa nuova superintelligenza potrebbe diventare molto potente. Inoltre, così come oggi il destino dei gorilla dipende da noi esseri umani più che dai gorilla stessi, il destino della nostra specie dipenderebbe dalle azioni della superintelligenza artificiale.

Un vantaggio ce l'abbiamo: saremo noi a costruirla. In linea di principio, potremmo costruire un genere di superintelligenza che protegga i valori umani. Avremmo di certo ottime ragioni per farlo. In pratica, però, il problema del controllo - come controllare ciò che farebbe la superintelligenza - sembra molto difficile. A quanto pare, inoltre, avremo una sola possibilità. Appena nata, una superintelligenza ostile o poco amichevole ci impedirebbe di sostituirla o di modificarne le preferenze. Il nostro destino sarebbe segnato.

In questo libro, cerco di comprendere la sfida presentata dalla prospettiva della superintelligenza e come potremmo rispondervi. Probabilmente è la sfida più importante e spaventosa che l'umanità abbia mai affrontato. E poi, che si abbia successo o si fallisca, probabilmente è l'ultima sfida che affronteremo.

Questo libro non ipotizza l'imminenza di una svolta nel settore dell'intelligenza artificiale o la possibilità di prevedere con una qualche precisione quando questo sviluppo si potrebbe realizzare. Sembra piuttosto probabile che accadrà entro questo secolo, ma non lo sappiamo con certezza. I primi due capitoli discutono alcuni percorsi possibili e dicono qualcosa sulla questione dei tempi. La maggior parte del libro, però, tratta di quanto accadrà dopo. Studieremo la cinetica di un'esplosione di intelligenza, le forme e i poteri di una superintelligenza e le scelte strategiche possibili per un agente superintelligente che acquisisce un vantaggio decisivo. In seguito ci concentreremo sul problema del controllo e ci domanderemo che cosa possiamo fare per determinare le condizioni iniziali in modo da ottenere un risultato che ci garantisca la sopravvivenza e che sia benefico. Verso la fine del libro, amplieremo questa prospettiva e prenderemo in esame il quadro più generale così come emerge dalle nostre indagini. Verranno offerti alcuni suggerimenti riguardo a ciò che si dovrebbe fare oggi per accrescere la possibilità di evitare una catastrofe esistenziale in seguito.

Non è stato un libro facile da scrivere. Spero che la via che si è aperta permetta ad altri ricercatori di raggiungere la nuova frontiera in modo più rapido e comodo, così da potervi arrivare nel pieno delle forze e pronti a mettersi al lavoro per ampliare ulteriormente la portata della nostra comprensione. (E se la strada tracciata è un poco sconnessa e tortuosa, spero che gli esaminatori, nel giudicare il risultato, non sottovalutino l'asperità del terreno ex ante!)

Non è stato un libro facile da scrivere: ho cercato di renderlo facile da leggere, ma non credo che il mio tentativo sia del tutto riuscito. Mentre scrivevo, come pubblico avevo in mente una mia versione del passato e ho cercato di produrre un libro che mi sarebbe piaciuto leggere allora. Anche se questo bacino di lettori potrebbe dimostrarsi ristretto, penso che il contenuto del libro dovrebbe essere comprensibile a molti, a condizione che siano disposti a riflettere e a resistere alla tentazione di fraintendere all'istante ciascuna nuova idea confrontandola al cliché in apparenza più simile presente nelle loro dispense culturali. I lettori privi di una preparazione tecnica non dovrebbero scoraggiarsi per l'occasionale comparsa di formule matematiche o di lessico specialistico, poiché le spiegazioni permettono sempre di cogliere il punto principale. (Per contro, i lettori desiderosi di saperne di più troveranno molto materiale nelle note).

Molte delle affermazioni di questo libro probabilmente sono sbagliate. È altresì verosimile che esistano considerazioni di importanza critica di cui non tengo conto, che potrebbero invalidare così una parte o la totalità delle mie conclusioni. Mi sono sforzato di indicare sfumature e gradi di incertezza in tutto il testo — appesantendolo con una spiacevole massa di «forse», «è possibile» «può darsi», «potrebbe», «sembra che», «probabilmente», «molto probabilmente», «quasi certamente». Ciascun qualificatore è stato piazzato con cura e deliberatamente nella posizione in cui si trova. Tuttavia queste applicazioni locali di modestia epistemica non sono sufficienti, e vanno quindi integrate da un'ammissione sistematica di incertezza e fallibilità. Non si tratta di falsa modestia: pur essendo convinto che il mio libro sia probabilmente molto sbagliato e fuorviante, ritengo che le opinioni alternative che sono state presentate nella letteratura siano sostanzialmente ancora più sbagliate, compresa la concezione di default, o «ipotesi nulla», secondo la quale per il momento possiamo in tutta tranquillità o ragionevolmente ignorare la prospettiva della superintelligenza.

| << | < | > | >> |

Pagina 21

1. Sviluppi del passato e capacità attuali

Iniziamo guardando al passato. La storia, alla scala più grande, sembra mostrare una sequenza di modalità di crescita distinte, ciascuna molto più rapida della precedente. Questo andamento è stato interpretato come un'indicazione del fatto che potrebbe essere possibile un'altra modalità di crescita (ancora più veloce). Noi però non diamo molto peso a questa osservazione - questo non è un libro sull'«accelerdzione tecnologica», sulla «crescita esponenziale» o sui vari concetti a volte raccolti sotto il titolo «la singolarità». In seguito passeremo in rassegna la storia dell'Intelligenza Artificiale, per poi esaminare le capacità attuali del settore. Infine, daremo un'occhiata ad alcune indagini recenti sulle opinioni degli esperti e prenderemo in considerazione la nostra ignoranza della sequenza temporale dei progressi futuri.

Modalità di crescita e grande storia

Soltanto pochi milioni di anni fa i nostri antenati si dondolavano ancora dagli alberi delle foreste africane. A una scala geologica o anche evolutiva, la transizione dal nostro ultimo antenato in comune con le grandi scimmie antropomorfe a Homo sapiens avvenne rapidamente. La nostra specie sviluppò la postura eretta, i pollici opponibili e, soprattutto, alcuni cambiamenti relativamente modesti delle dimensioni del cervello e dell'organizzazione neurologica che portarono a un grande salto delle capacità cognitive. Di conseguenza, gli esseri umani sono capaci di pensare in astratto, comunicare pensieri complessi e accumulare informazioni per via cultutale nel corso delle generazioni molto meglio di qualunque altra specie sul pianeta.

Queste capacità permisero agli esseri umani di sviluppare tecnologie produttive sempre più efficienti, offrendo ai nostri antenati la possibilità di emigrare molto lontano dalla foresta pluviale e dalla savana. Specie dopo l'adozione dell'agricoltura, insieme alle dimensioni dell'intera popolazione umana crebbero anche le densità delle singole popolazioni. Più persone significava più idee; una densità maggiore significava che le idee potevano diffondersi più facilmente e che alcuni individui potevano dedicarsi a sviluppare abilità specializzate. Questi sviluppi fecero aumentare il tasso di crescita della produttività economica e della capacità tecnologica. Sviluppi successivi, legati alla rivoluzione industriale, produssero un analogo cambiamento significativo del tasso di crescita.

Questi cambiamenti del tasso di crescita hanno conseguenze importanti. Centinaia di migliaia di anni fa, all'inizio della preistoria umana (o degli ominidi), la crescita era così lenta che ci voleva un periodo dell'ordine di un milione di anni prima che la capacità produttiva aumentasse tanto da sostenere un altro milione di individui al livello di sussistenza. Arrivati al 5000 a.C., in seguito alla rivoluzione agricola, il tasso di crescita era aumentato al punto che per una crescita simile erano necessari soltanto due secoli. Oggi, ín seguito alla rivoluzione industriale, l'economia mondiale cresce in media di quella quantità ogni novanta minuti.

Anche il tasso di crescita attuale produrrà risultati impressionanti se si manterrà per un periodo moderatamente lungo. Se l'economia mondiale continuerà a crescere allo stesso ritmo con cui è cresciuta negli ultimi cinquant'anni, nel 2050 il mondo sarà circa 4,8 volte più ricco di oggi e nel 2100 circa 34 volte più ricco.

Tuttavia la prospettiva di continuare sulla strada di una crescita esponenziale costante impallidisce al confronto di quanto accadrebbe se nel mondo si verificasse un altro cambiamento significativo del tasso di crescita paragonabile per grandezza a quelli associati alla rivoluzione agricola e a quella industriale. Sulla base di dati economici storici e demografici, l'economista Robin Hanson stima un tempo di raddoppiamento dell'economia mondiale di 224000 anni per la società dei cacciatori-raccoglitori del Pleistocene, di 909 anni per la società agricola e di 6,3 anni per la società industriale. (Nel modello di Hanson, nell'epoca attuale si ha una mescolanza delle modalità di crescita agricola e industriale - nel suo complesso, l'economia mondiale non sta ancora crescendo a un tasso di raddoppiamento di 6,3 anni). Se si dovesse verificare un'altra transizione a una diversa modalità di crescita, paragonabile per grandezza alle due precedenti, la conseguenza sarebbe un nuovo regime di crescita in cui l'economia mondiale raddoppierebbe di dimensioni all'incirca ogni due settimane.

Oggi un tale tasso di crescita sembra incredibile. Osservatori di epoche precedenti avrebbero potuto giudicare altrettanto assurdo supporre che l'economia mondiale un giorno sarebbe raddoppiata molte volte nell'arco di una vita umana. Eppure questa è la straordinaria condizione che ora si ritiene ordinaria.

L'idea di un'imminente singolarità tecnologica ormai è stata resa molto popolare, a partire dal saggio fondamentale di Vernor Vinge e in seguito con gli scritti di Ray Kurzweil e altri. La parola «singolarità», tuttavia, è stata usata in maniera confusa in sensi quanto mai disparati, il che le ha conferito un'aura sacrilega (seppur quasi millenaristica) con connotazioni tecno-utopistiche. Poiché la maggior parte di questi significati e di queste connotazioni non ha niente a che vedere con il nostro discorso, possiamo guadagnare chiarezza facendo a meno della parola «singolarità» e usando termini più precisi.

L'idea legata alla singolarità che ci interessa qui è la possibilità di un' esplosione di intelligenza, in particolare la prospettiva di una superintelligenza delle macchine. Quanti sono persuasi da diagrammi di crescita come quelli della figura 1 che sia possibile un altro cambiamento drastico della modalità di crescita, paragonabile a quelli avvenuti in seguito alla rivoluzione agricola e alla rivoluzione industriale, dovrebbero considerare che è difficile concepire uno scenario con un tempo di raddoppiamento dell'economia mondiale ridotto a poche settimane che non comporti la creazione di menti molto più veloci e più efficienti di quelle del comune genere biologico. In ogni caso, l'opportunità di prendere sul serio la prospettiva di una rivoluzione dell'intelligenza digitale non si basa su esercizi di approssimazione di curve o estrapolazioni dalla crescita economica del passato. Come vedremo, esistono motivi più seri che inducono a prestare attenzione a questo problema.

Grandi aspettative

Macchine all'altezza degli esseri umani quanto a intelligenza generale - cioè dotate di buon senso e di un'effettiva capacità di imparare, ragionare e pianificare per affrontare compiti complessi di elaborazione delle informazioni in una vasta gamma di domini naturali e astratti - sono attese fin dall'invenzione dei computer negli anni quaranta del secolo scorso. A quell'epoca si prevedeva che al loro avvento mancasse una ventina d'anni. Da allora, la data di arrivo prevista si è allontanata al ritmo di un anno ogni anno; così oggi i futurologi che studiano la possibilità di un'intelligenza generale artificiale spesso credono ancora che le macchine intelligenti arriveranno tra una ventina d'anni.

Due decenni sono la data ideale per quanti pronosticano un cambiamento radicale: abbastanza vicina per catturare l'attenzione ed essere pertinente, ma abbastanza lontana da permettere di supporre che possa essersi verificata una serie di passi avanti, oggi solo vagamente immaginabili. Confrontiamola con scale temporali più piccole: le tecnologie che avranno un grosso impatto sul mondo entro cinque o dieci anni per la maggior parte sono già usate in modo limitato, mentre le tecnologie che daranno nuova forma al mondo in meno di quindici anni probabilmente esistono già come prototipi di laboratorio. Vent'anni potrebbero anche avvicinarsi alla tipica durata residua della carriera di un analista, permettendo di non mettere troppo a rischio la sua reputazione con una previsione audace.

Dal fatto che in passato alcuni hanno formulato previsioni troppo ottimistiche riguardo all'intelligenza artificiale, tuttavia, non segue che essa sia impossibile, o che non sarà mai sviluppata. La ragione principale per cui il progresso è stato più lento del previsto è che le difficoltà tecniche della costruzione di macchine intelligenti si sono dimostrate maggiori di quanto si aspettassero i pionieri dell'intelligenza artificiale (IA). Resta da capire, però, quanto siano grandi queste difficoltà e quanto siamo lontani oggi dal superarle. A volte un problema che agli inizi sembra irrimediabilmente complicato risulta avere una soluzione sorprendentemente semplice (anche se probabilmente è più comune che accada il contrario).

Nel capitolo seguente prenderemo in esame diversi percorsi che potrebbero portare a un'intelligenza digitale di livello umano. Va notato però sin d'ora che, quante che siano le tappe che porteranno a un'intelligenza digitale di livello umano, questa non è la destinazione finale. La tappa successiva, poco più in là lungo i binari, è un'intelligenza digitale di livello sovrumano. Il treno potrebbe non sostare e nemmeno rallentare alla stazione di «Città degli umani». Probabilmente la supererà sfrecciando.

| << | < | > | >> |

Pagina 36

Stato del'arte

L'intelligenza artificiale surclassa già l'intelligenza umana in molti domini. La tabella 1 esamina lo stato dei programmi che giocano, mostrando che le intelligenze artificiali battono i campioni umani in una gran varietà di giochi.

Tabella 1 Intelligenze artificiali che giocano. _________________________________________________

Dama --- livello sovrumano

Il programma per la dama di Arthur Samuel, scritto nel 1952 e in seguito migliorato (la versione del 1955 incorpora un modulo di apprendimento automatico), è il primo programma che ha imparato a giocare un gioco meglio del suo creatore. Nel 1994, il programma CHINOOK batte il campione umano in carica ed è la prima volta che un programma vince un campionato mondiale ufficiale di un gioco di abilità. Nel 2002, Jonathan Schaeffer e la sua équipe «risolvono» la dama, cioè producono un programma che fa sempre la migliore mossa possibile (combinando ricerca alfa-beta e un database di 39000 miliardi di posizioni finali). La condotta di gioco perfetta da entrambe le parti porta alla patta.

Backgammon --- livello sovrumano

1979: il programma di backgammon BKG di Hans Berliner batte il campione mondiale - ed è il primo programma a battere (in una partita amichevole) un campione mondiale di un qualsiasi gioco - anche se in seguito Berliner attribuirà la vittoria alla fortuna con i dadi.

1992: il programma di backgammon TD-Gammon di Gerry Tesauro raggiunge capacità da campionato, usando l'apprendimento basato sulle differenze temporali (una forma di apprendimento per rinforzo) e molte partite contro sé stesso per migliorare.

Da allora, i programmi di Backgammon hanno superato di gran lunga i migliori giocatori umani.

Traveller TCS --- livello sovrumano (in collaborazione con esseri umani)

Nel 1981 e nel 1982 il programma Eurisko di Douglas Lenat vince il campionato degli USA di Traveller TCS (una variante futuristica della battaglia navale), provocando un cambiamento delle regole per bloccare le sue strategie non ortodosse. Eurisko aveva regole euristiche per progettare la flotta e anche per modificare le proprie regole euristiche.

Othello --- livello sovrumano

1997: il programma Logistello vince tutte le partite in un incontro di sei partite contro il campione mondiale Takeshi Murakami.

Scacchi --- livello sovrumano

1997: Deep Blue batte il campione mondiale di scacchi, Garry Kasparov. Kasparov sostiene di aver intravvisto intelligenza e creatività autentiche in alcune mosse del computer. Da allora, i pogrammi di scacchi hanno continuato a migliorare.

Cruciverba --- livello di esperti

1999 : il programma di risoluzione di cruciverba Proverb surclassa il risolutore umano medio.

2012: il programma Dr. Fill, creato da Matt Ginsberg, si piazza nel primo quartile tra i concorrenti umani nel campionato americano di cruciverba. (Le prestazioni del Dr. Fill sono irregolari: completa perfettamente gli schemi giudicati più difficili dagli esseri umani, tuttavia è in difficoltà con certi schemi atipici in cui la definizione va letta da destra a sinistra o la soluzione va scritta in diagonale).

Scarabeo --- livello sovrumano

A partire dal 2002, il software che gioca a Scarabeo sorpassa i migliori giocatori umani.

Bridge --- parità con i campioni umani

Nel 2005, il software che gioca a bridge contratto raggiunge la parità con i migliori giocatori di bridge.

Jeopardy! --- livello sovrumano

2010: Watson dell'IBM sconfigge i due più grandi campioni umani di Jeopardy! di tutti i tempi, Ken Jennings e Brad Rutter. Jeopardy! è un quiz televisivo su argomenti di storia, letteratura, sport, geografia, cultura popolare, scienza e altro. I concorrenti, a cui vengono presentate le risposte in forma di indizi, spesso con giochi di parole, devono risalire alle domande.

Poker --- vari livelli

I programmi che giocano al full-ring Texas hold `em restano leggermente al di sotto del livello dei migliori giocatori umanni, ma hanno prestazioni sovrumane in altre varianti del poker.

FreeCell --- livello sovrumano

Le regole euristiche sviluppate usando algoritmi genetici producono un risolutore per il solitario FreeCell (che nella forma generale è NP-completo) che è capace di battere giocatori umani di alto livello.

Go --- livello di dilettanti molto forti

A partire dal 2012, la serie Zen di programmi che giocano a Go ha raggiunto il livello 6 dan in partite veloci (il livello di un giocatore dilettante molto forte), usando la ricerca ad albero Monte Carlo e tecniche di apprendimento automatico. Negli ultimi anni i programmi che giocano a Go sono migliorati al ritmo di circa un dan all'anno. Se continuassero a migliorare a questo ritmo, potrebbero battere il campione mondiale umano in circa dieci anni.

_________________________________________________

| << | < | > | >> |

Pagina 92

3. Forme di superintelligenza

Che cosa intendiamo, esattamente, con «superintelligenza»? Non vogliamo di certo impantanarci in paludi terminologiche, ma è necessario dire qualcosa per chiarire il terreno concettuale. Questo capitolo individua tre forme diverse di superintelligenza e mostra che, in un senso importante dal punto di vista pratico, sono tutt'e tre equivalenti. Vedremo anche come le macchine costituiscano un substrato con un potenziale per l'intelligenza molto maggiore rispetto a un substrato biologico. Le macchine hanno alcuni vantaggi fondamentali che daranno loro una superiorità schiacciante. Gli esseri umani biologici, anche se potenziati, saranno surclassati.

Molte macchine e molti animali non umani sono già capaci di prestazioni sovrumane in domini limitati. I pipistrelli intepretano i segnali sonar meglio di noi, le calcolatrici ci superano nell'aritmetica e i programmi che giocano a scacchi ci battono. La gamma dei compiti specifici che il software può svolgere meglio di noi continuerà a espandersi. Tuttavia, anche se i sistemi specializzati di elaborazione delle informazioni avranno molti usi, la prospettiva di macchine dotate di un'intelligenza generale sufficiente per sostituire gli esseri umani su tutti i fronti fa emergere altre questioni profonde.

Come già detto, usiamo il termine «superintelligenza» per indicare intelletti che superano di gran lunga le prestazioni delle migliori menti umane di oggi in molti domini cognitivi assai generali. Così è ancora piuttosto vago. In base a questa definizione si potrebbero considerare superintelligenze diversi tipi di sistemi con caratteristiche di prestazione piuttosto disparate. Per procedere con l'analisi, è utile disaggregare questo concetto semplice di superintelligenza distinguendo gruppi diversi di supercapacità intellettuali. È una scomposizione che si potrebbe fare in molti modi. Qui distingueremo tre forme: la superintelligenza di grande velocità, la superintelligenza collettiva e la superintelligenza di qualità.

| << | < | > | >> |

Pagina 147

6. Superpoteri cognitivi

Supponiamo che nasca un agente digitale superintelligente e che per qualche ragione voglia prendere il controllo del mondo: sarebbe in grado di farlo? In questo capitolo prenderemo in esame alcuni poteri che una superintelligenza potrebbe sviluppare e ciò che questi poteri potrebbero permetterle di fare. Sarà delineato uno scenario di presa del potere che illustra come un agente superintelligente, partito comé semplice software, potrebbe imporsi come singleton. Infine saranno presentate alcune osservazioni sul rapporto tra il potere sulla natura e il potere su altri agenti.

La ragione principale della posizione dominante dell'umanità sulla Terra è il fatto che il nostro cervello ha un insieme leggermente più ampio di facoltà in confronto agli altri animali. La nostra maggiore intelligenza ci permette di trasmettere la cultura in modo più efficiente, con il risultato che la conoscenza e la tecnologia si accumulano di generazione in generazione. Il contenuto accumulato finora ha reso possibili i voli spaziali, le bombe H, l'ingegneria genetica, i computer, gli allevamenti intensivi, gli insetticidi, il movimento internazionale per la pace e tutto l'equipaggiamento della civiltà moderna. I geologi hanno iniziato a chiamare l'era attuale Antropocene, in riconoscimento delle caratteristiche tracce biotiche, sedimentarie e geochimiche delle attività umane. È stato stimato che ci appropriamo del 24 per cento della produzione primaria netta dell'ecosistema planetario. Tuttavia siamo ancora lontani dal raggiungere i limiti fisici della tecnologia.

In base a queste osservazioni, è plausibile che qualunque tipo di entità che sviluppasse un'intelligenza di livello molto superiore a quello umano possa essere estremamente potente. Tali entità potrebbero accumulare contenuto molto più velocemente di noi e inventare nuove tecnologie in tempi molto più brevi. Potrebbero anche usare la propria intelligenza per elaborare strategie in modo molto più efficiente di quanto possiamo fare noi.

Consideriamo alcune delle capacità che potrebbe avere una superintelligenza e come potrebbe usarle.

Funzionalità e superpoteri

Quando si riflette sui potenziali impatti di una superintelligenza è importante non antropomorfizzarla. Gli scenari antropomorfici suscitano aspettative prive di fondamento riguardo alla traiettoria di crescita di un seme di IA e alla psicologia, alle motivazioni e alle capacità di una superintelligenza matura.

Una supposizione comune, per esempio, è che una macchina superintelligente sarebbe come un essere umano molto in gamba ma imbranato. Immaginiamo che un'IA abbia un sapere libresco, ma sia priva di buonsenso sociale, o che sia logica, ma non intuitiva e creativa. Questa idea probabilmente deriva dall'osservazione: guardiamo i computer di oggi e vediamo che sono bravi a calcolare, a ricordare fatti e a seguire alla lettera le istruzioni, mentre sono ignari dei significati sottintesi e dei contesti sociali, delle norme, delle emozioni e della politica. L'associazione si rafforza quando osserviamo che chi è bravo a lavorare con i computer tende a essere un nerd. Pertanto è naturale presumere che un'intelligenza computazionale superiore abbia attributi simili, soltanto più marcati.

Questa regola empirica potrebbe avere una certa validità nei primi stadi di sviluppo di un seme di IA. (Non vi è ragione di supporre che valga per le emulazioni e gli esseri umani cognitivamente potenziati). Prima di raggiungere la maturità, ciò che diventerà un'IA superintelligente potrebbe essere ancora privo di molte delle doti e capacità che in un essere umano sono naturali; questo insieme di punti di forza e debolezze di un seme di IA può davvero far pensare vagamente a un nerd intelligente e imbranato. La caratteristica più essenziale di un seme di IA, a parte il fatto di essere facile da migliorare (avendo una resistenza bassa), è che impiega bene il proprio potere di ottimizzazione per accrescere l'intelligenza di un sistema, un'abilità che si suppone strettamente collegata a un buon livello di prestazioni nel campo della matematica, della programmazione, dell'ingegneria, della ricerca informatica e in altre occupazioni «da nerd». Tuttavia, anche se in effetti un seme di IA ha un profilo di capacità da nerd in uno stadio del suo sviluppo, ciò non implica che diventerà una superintelligenza matura analogamente limitata. Ricordando la distinzione tra portata diretta e indiretta, con una capacità sufficiente di accrescere l'intelligenza, tutte le altre abilità intellettive sono alla portata indiretta di un sistema: a seconda delle necessità, il sistema può sviluppare nuovi moduli e talenti cognitivi, compresi l'empatia, l'acume politico e qualunque altra capacità intellettiva che secondo lo stereotipo è scarsa negli individui che hanno una personalità da computer.

Anche se riconosciamo che una superintelligenza può avere tutte le capacità e i talenti che si trovano nella distribuzione umana, insieme ad altri talenti di cui le persone sono prive, l'antropomorfismo può comunque portarci a sottovalutare in quale misura una superintelligenza digitale potrebbe superare il livello umano di prestazioni. Eliezer Yudkowsky, come abbiamo visto in un capitolo precedente, ha condannato in modo particolarmente netto questo tipo di errore: i nostri concetti intuitivi di «intelligente» e «stupido» sono ricavati dalla nostra esperienza di variazione nell'insieme dei pensatori umani e tuttavia le differenze di capacità cognitiva nell'ambito del raggruppamento umano sono insignificanti in confronto alle differenze tra un qualunque essere umano e una superintelligenza.

Nel capitolo 3 abbiamo esaminato alcune potenziali fonti di vantaggio per l'intelligenza digitale. L'entità dei vantaggi è tale da suggerire che, invece di immaginare che un'IA superintelligente sia come un genio scientifico in confronto a una persona comune, potrebbe essere più appropriato pensare che sia come una persona comune in confronto a un insetto o a un verme.

Sarebbe comodo se potessimo quantificare il calibro cognitivo di un sistema cognitivo arbitrario usando un sistema di misura noto, come i punteggi del QI o qualche versione del sistema Elo che misura le capacità relative dei giocatori in giochi a due come gli scacchi, tuttavia questi sistemi di misura non sono utili nel contesto dell'intelligenza generale artificiale sovrumana. Non siamo interessati alla probabilità che una superintelligenza vinca una partita a scacchi. Quanto ai punteggi del QI, sono informativi soltanto nella misura in cui abbiamo un'idea di come sono correlati a risultati importanti dal punto di vista pratico. Per esempio, i dati statistici indicano che le persone con un QI di 130 hanno una probabilità maggiore di eccellere a scuola e di svolgere bene un'ampia gamma di compiti cognitivamente impegnativi rispetto alle persone con un QI di 90. Se però riuscissimo a stabilire in qualche modo che una certa intelligenza artificiale futura avrà un QI di 6455, che cosa potremmo dire? Non avremmo idea di che cosa potrebbe fare. Non sapremmo neanche se ha la stessa intelligenza generale di una persona adulta normale; forse invece i suoi algoritmi specifici le permetterebbero di risolvere i problemi tipici dei test di intelligenza con un'efficienza sovrumana, ma non molto altro.

Di recente si è tentato di elaborare misure della capacità cognitiva applicabili a una gamma più ampia di sistemi di elaborazione delle informazioni, comprese le intelligenze artificiali. Il lavoro in questa direzione, se riuscirà a superare varie difficoltà tecniche, potrebbe rivelarsi assai utile per alcuni obiettivi scientifici tra cui lo sviluppo di un'IA. Ai fini della nostra indagine, tuttavia, la sua utilità sarebbe limitata poiché continueremmo a ignorare come si riflette un dato livello sovrumano di prestazioni sull'effettiva capacità di produrre risultati praticamente importanti nel mondo.

Per i nostri obiettivi sarà quindi più utile elencare alcuni compiti strategicamente importanti e poi descrivere ipotetici sistemi cognitivi in termini di presenza o assenza delle capacità necessarie per riuscire a svolgere questi compiti (si veda la tabella 8). Diremo che un sistema che eccelle in misura sufficiente in uno di questi compiti ha un corrispondente superpotere.

Tabella 8       Superpoteri: alcuni compiti strategicamente importanti e
                insiemi di capacità corrispondenti.
_________________________________________________________________________

COMPITO         INSIEME DI CAPACITÀ     IMPORTANZA STRATEGICA
_________________________________________________________________________
ACCRESCIMENTO
DELL'INTELLIGENZA
                Programmazione IA, ricerca sul
                potenziamento cognitivo, sviluppo
                dell'epistemologia sociale ecc.
                                        Il sistema accresce da sé
                                        la propria intelligenza
_________________________________________________________________________
ELABORAZIONE DI STRATEGIE

                Pianificazione, previsione,
                determinazione di priorità e
                analisi strategiche per ottimizzare
                la possibilità di realizzare
                obiettivi distanti
                                        - Realizza obiettivi distanti
                                        - Supera opposizione intelligente
_________________________________________________________________________
MANIPOLAZIONE SOCIALE
                Modellizzazione sociale e
                psicologica, manipolazione,
                persuasione retorica
                                        - Sfrutta risorse esterne
                                          reclutando il sostegno umano
                                        - (Un'IA «inscatolata») convince
                                          i suoi guardiani a lasciarla
                                          uscire
                                        - Persuade stati e organizzazioni
                                          ad adottare una linea di
                                          condotta
_________________________________________________________________________
HACKERAGGIO
                Individuazione e sfruttamento
                di falle nella sicurezza di sistemi
                informatici
                                        - Espropria risorse
                                          computazionali tramite Internet

                                        - (Un'IA inscatolata) sfrutta
                                          falle nella sicurezza per
                                          sfuggire al confino cibernetico
                                        - Ruba risorse finanziare
                                        - Si impadronisce di
                                          infrastrutture, robot militari
                                          ecc.
_________________________________________________________________________
RICERCA TECNOLOGICA
                Progettazione e modellizzazione
                di tecnologie avanzate (per
                esempio, biotecnologia,
                nanotecnologia) e di strategie
                di sviluppo
                                        - Crea una forza militare potente
                                        - Crea un sistema di sorveglianza
                                        - Procede alla colonizzazione
                                          automatizzata dello spazio
_________________________________________________________________________
PRODUTTIVITÀ ECONOMICA
                Varie capacità che permettono
                di svolgere lavoro intellettuale
                economicamente produttivo
                                        - Genera ricchezza che può essere
                                          usata per comprare influenza,
                                          servizi, risorse (hardware
                                          compreso) ecc.
_________________________________________________________________________

| << | < | > | >> |

Pagina 243

Dei cavalli e degli uomini

L'intelligenza digitale generale potrebbe essere utile come sostituto dell'intelligenza umana. Le menti digitali sarebbero in grado non solo di svolgere il lavoro intellettuale oggi svolto dagli esseri umani, ma anche, una volta dotate di buoni attuatori o corpi robotici, di rimpiazzarli nel lavoro fisico. Supponiamo che i lavoratori digitali — che sono rapidamente riproducibili — diventino più economici e più capaci dei lavoratori umani in quasi ogni mansione. Che cosa accadrebbe?

Retribuzioni e disoccupazione

Se la forza lavoro può essere riprodotta a basso costo, le retribuzioni di mercato crollano. L'unico settore in cui le persone resterebbero competitive potrebbe essere quello in cui i clienti hanno una preferenza fondamentale per il lavoro svolto da esseri umani. Oggi gli oggetti artigianali prodotti da popolazioni indigene a volte sono molto cari. In futuro i consumatori potrebbero preferire i servizi e i prodotti realizzati da esseri umani e atleti umani, artisti umani, amanti umani e leader umani ai loro corrispondenti artificiali funzionalmente indistinguibili o superiori. La possibile diffusione di queste preferenze, però, non è chiara. Se le alternative fatte a macchina fossero sufficientemente superiori, forse sarebbero più apprezzate.

Un parametro che potrebbe influenzare la scelta dei consumatori è la vita interiore del lavoratore che fornisce il servizio o il prodotto. Il pubblico di un concerto, per esempio, potrebbe essere più contento se sa che il musicista è cosciente della musica e della sala. In mancanza dell'esperienza fenomenologica, il musicista potrebbe essere considerato soltanto come un jukebox molto potente, seppur capace di creare l'apparenza tridimensionale di un esecutore che interagisce in modo naturale con la folla. Si potrebbero quindi progettare macchine in cui si producono gli stessi stati mentali che sarebbero presenti in un essere umano che svolge lo stesso compito. Anche se si riuscissero a riprodurre alla perfezione le esperienze soggettive, tuttavia, alcuni potrebbero comunque preferire i lavoratori naturali. Queste preferenze potrebbero anche avere radici ideologiche o religiose. Come molti musulmani ed ebrei evitano i cibi preparati in modi che classificano come haram o treif, così in futuro potrebbero esistere gruppi che rifuggono da prodotti la cui lavorazione comporta l'uso non autorizzato di un'intelligenza digitale.

Che cosa ne discenderebbe? Nella misura in cui i lavoratori umani possono essere sostituiti da lavoratori digitali economici, i posti di lavoro per gli esseri umani potrebbero scomparire. I timori per l'automazione e la perdita del lavoro naturalmente non sono una novità. Le preoccupazioni riguardo alla disoccupazione tecnologica sono emerse periodicamente, almeno a partire dalla rivoluzione industriale, e in effetti non poche professioni sono scomparse, come i tessitori e gli artigiani tessili inglesi che all'inizio dell'ottocento si riunirono sotto lo stendardo del mitico «generale Ludd» per combattere l'introduzione dei telai meccanici. Ciò malgrado, anche se i macchinari e la tecnologia hanno sostituito molti tipi particolari di lavoro umano, la tecnologia fisica nel complesso ha fatto da complemento al lavoro. Le retribuzioni umane medie hanno avuto una prolungata tendenza al rialzo in tutto il mondo, in gran parte a causa di questa complementarità. Ciò che parte come complemento al lavoro, tuttavia, in uno stadio successivo può diventare un suo sostituto. Agli inizi i cavalli erano integrati da carrozze, carri e aratri, che aumentavano di molto la produttività degli animali; in seguito, furono sostituiti dalle automobili e dai trattori. Queste innovazioni ridussero la domanda di lavoro equino e portarono al crollo di una popolazione. La specie umana potrebbe avere un destino simile?

Possiamo estendere il parallelo con la storia del cavallo se ci domandiamo perché i cavalli sono ancora in circolazione. Una delle ragioni è che esistono ancora nicchie in cui i cavalli hanno un vantaggio funzionale, per esempio il lavoro della polizia. La ragione principale, però, è che per qualche motivo gli esseri umani hanno una particolare preferenza per i servizi forniti da questi animali, tra cui l'equitazione e le corse dei cavalli. Possiamo paragonare queste preferenze a quelle che abbiamo ipotizzato per gli esseri umani del futuro, per beni e servizi prodotti da esseri umani. L'analogia è suggestiva, però è inesatta, poiché non esiste ancora un sostituto funzionale completo dei cavalli. Se esistessero dispositivi meccanici non costosi, alimentati a fieno, esattamente uguali alla vista, al tatto e all'odorato e con lo stesso comportamento dei cavalli biologici - forse persino con le stesse esperienze coscienti -, la domanda di cavalli biologici probabilmente subirebbe un ulteriore calo.

Se la domanda di lavoro umano si riducesse in misura sufficiente, le retribuzioni scenderebbero sotto il livello di sussistenza umana. Il potenziale svantaggio per i lavoratori umani è quindi estremo: non solo tagli delle retribuzioni, retrocessioni e necessità di riconversione professionale, ma fame e morte. Quando i cavalli diventarono obsoleti come fonte di energia mobile, molti furono venduti ai mattatoi per farne cibo per cani, farina di ossa, cuoio e colla. Questi animali non avevano un impiego alternativo per guadagnarsi il mantenimento. Negli Stati Uniti, nel 1915 esistevano all'incirca 26 milioni di cavalli; all'inizio degli anni cinquanta ne rimanevano 2 milioni.

Capitale e benessere

Una delle differenze tra gli esseri umani e i cavalli è che i primi possiedono capitali. Un fatto empirico stilizzato è che la quota di reddito da capitale per lungo tempo è rimasta costante intorno al 30 per cento (anche se con fluttuazioni a breve termine significative). Ciò significa che il 30 per cento del reddito globale complessivo è percepito come rendita da chi possiede capitali e il restante 70 per cento è percepito come retribuzione dai lavoratori. Se classifichiamo un'IA come capitale, con l'invenzione di intelligenze digitali in grado di sostituire completamente i lavoratori umani, le retribuzioni scenderebbero fino al costo marginale di questi sostituti digitali, che - supponendo che le macchine siano molto efficienti - sarebbe molto basso, decisamente al di sotto del reddito minimo di sussistenza per gli esseri umani. La quota di reddito da lavoro diminuirebbe praticamente fino a zero. Ma ciò implica che la quota di reddito da capitale diventerebbe quasi il 100 per cento del prodotto mondiale totale. Poiché dopo un'esplosione di intelligenza il PIL mondiale salirebbe rapidamente (a causa di enormi quantità di nuove macchine sostitutrici dei lavoratori, ma anche dei progressi tecnologici compiuti da una superintelligenza e, in seguito, dell'acquisizione di grandi quantità di nuovi territori grazie alla colonizzazione dello spazio), ne segue che il reddito totale da capitale aumenterebbe enormemente. Se gli esseri umani restassero proprietari di questo capitale, il reddito totale percepito dalla popolazione umana crescerebbe in misura astronomica, nonostante il fatto che in questo scenario gli esseri umani non percepirebbero più redditi da lavoro.

Quindi nel complesso la specie umana potrebbe diventare ricca al di là dell'immaginazione. Come sarebbero distribuiti questi redditi? In prima approssimazione, il reddito da capitale sarebbe proporzionale al capitale posseduto. Dato l'effetto di enorme amplificazione, anche una minuscola ricchezza pre-transizione aumenterebbe rapidamente diventando un'enorme fortuna post-transizione. Nel mondo contemporaneo, però, molti non possiedono ricchezze, non solo quanti vivono in povertà, ma anche alcuni che guadagnano bene o hanno un capitale umano notevole ma un patrimonio netto negativo. Per esempio, in Danimarca e in Svezia, due nazioni ricche, il 30 per cento della popolazione ha una ricchezza negativa; spesso sono giovani di classe media, che possiedono pochi beni materiali e hanno contratto debiti con le carte di credito o prestiti per studenti. Anche se i risparmi potrebbero fruttare un interesse estremamente alto, per dare inizio alla capitalizzazione è necessario avere un po' di grano da seme, un certo capitale di partenza.

Ciò nonostante, potrebbero diventare estremamente ricche anche persone che all'inizio della transizione non hanno un patrimonio privato. Per esempio, gli aderenti a un piano pensionistico, pubblico o privato, dovrebbero essere in una buona posizione, a patto che il sistema sia almeno parzialmente finanziato. Anche i non abbienti potrebbero diventare ricchi, grazie alla filantropia di chi vede salire alle stelle la propria ricchezza: a causa delle straordinarie dimensioni della fonte di ricchezza, in termini assoluti anche una piccola percentuale donata in elemosina sarebbe una somma enorme.

Forse sarebbe ancora possibile diventare ricchi con il lavoro anche in una fase post-transizione in cui le macchine sono funzionalmente superiori agli esseri umani in tutti i domini (e anche più economiche del lavoro umano a livello di sussistenza). Come si è già osservato, potrebbe accadere se esistessero nicchie in cui il lavoro umano è preferito per ragioni estetiche, ideologiche, etiche, religiose o per altre ragioni non pragmatiche. In uno scenario in cui la ricchezza dei detentori umani di capitale aumenta in modo spettacolare, la domanda di lavoro umano potrebbe aumentare in misura corrispondente. I nuovi multimiliardari potrebbero permettersi di pagare un sovrapprezzo notevole per avere una parte dei propri beni e servizi fornita da una forza lavoro non artificiale. La storia dei cavalli offre un altro parallelo. Dopo essere scesa a 2 milioni all'inizio degli anni cinquanta del secolo scorso, la popolazione equina degli Stati Uniti ha avuto una forte ripresa: in base all'ultimo censimento, qualche anno fa esistevano poco meno di 10 milioni di cavalli. L'aumento non è dovuto a nuove necessità funzionali di cavalli nell'agricoltura e nei trasporti, ma al fatto che la crescita economica ha permesso a un maggior numero di cittadini di indulgere alla passione per l'equitazione.

Un'altra differenza importante tra gli esseri umani e i cavalli, oltre al possesso di capitali, è che i primi sono capaci di mobilitazione politica. Un governo gestito da esseri umani potrebbe usare il potere fiscale dello stato per ridistribuire i profitti privati, o per raccogliere risorse vendendo beni di valore di proprietà dello stato, come terreni pubblici, e usare il ricavato per mandare in pensione i suoi elettori. Sempre a causa della crescita economica esplosiva durante la transizione e subito dopo, la quantità di ricchezza in circolazione sarebbe enormemente maggiore, permettendo di soddisfare con relativa facilità i bisogni di tutti i cittadini disoccupati. Anche una singola nazione potrebbe fornire a ogni abitante del pianeta un reddito abbondante a un costo proporzionalmente non superiore a quanto spendono oggi molti paesi per gli aiuti all'estero.

| << | < | > | >> |

Pagina 248

Il principio malthusiano in una prospettiva storica

Finora abbiamo presupposto una popolazione umana costante. Nel breve periodo può essere un assunto ragionevole, poiché la biologia limita il tasso di riproduzione umana; se si considerano orizzonti temporali più ampi, tuttavia, l'assunto non è necessariamente ragionevole.

La popolazione umana è aumentata 1000 volte negli ultimi 9000 anni. L'aumento sarebbe stato molto più veloce se non fosse che per la maggior parte della preistoria e della storia la popolazione umana si è imbattuta nei limiti dell'economia mondiale. È sempre prevalsa una condizione approssimativamente malthusiana, in cui la maggior parte delle persone riceveva un reddito a livello di sussistenza che permetteva appena di sopravvivere e di allevare una media di due figli fino all'età matura. Localmente, si verificavano tregue temporanee: pestilenze, oscillazioni del clima e guerre sfoltivano a intermittenza la popolazione e liberavano molta terra, permettendo ai sopravvissuti di migliorare l'apporto nutrizionale; e di allevare un numero maggiore di figli, finché i ranghi non tornavano al completo, ristabilendo la condizione malthusiana. Inoltre, grazie alla disuguaglianza sociale, un sottile strato elitario poteva godere di un reddito di livello notevolmente superiore a quello di sussistenza (a prezzo di una certa riduzione delle dimensioni totali della popolazione che poteva essere sostenuta). Una considerazione triste è che in questa condizione malthusiana, la situazione normale durante la maggior parte della nostra permanenza su questo pianeta, forse furono le pestilenze, i massacri e la diseguaglianza — considerati comunemente i peggiori nemici del benessere umano — i più grandi filantropi: soltanto loro hanno permesso di tanto in tanto al livello medio di benessere di sollevarsi leggermente al di sopra di qdello associato alla vita al livello minimo di sussistenza.

Sovrapposto alle fluttuazioni locali, la storia mostra uno schema macroscopico di sviluppo economico inizialmente lento ma in accelerazione, alimentato dall'accumulo di innovazioni tecnologiche. La crescita dell'economia mondiale portò con sé un aumento corrispondente della popolazione globale. (Più precisamente, sembra che l'aumento stesso della popolazione abbia fortemente accelerato il tasso di crescita economica, forse soprattutto per l'aumento dell'intelligenza collettiva dell'umanità). Solo dopo la rivoluzione industriale la crescita economica divenne così rapida da impedire alla crescita della popolazione di stare al passo. Il reddito medio iniziò pertanto ad aumentare, prima nei paesi appena industrializzati dell'Europa occidentale e in seguito nella maggior parte del mondo. Oggi il reddito medio è nettamente superiore al livello di sussistenza anche nei paesi oggi più poveri, come riflette il fatto che le popolazioni di quei paesi sono in crescita.

Oggi i paesi più poveri hanno i tassi di crescita della popolazione maggiori, poiché devono ancora completare la «transizione demografica» al regime di bassa fecondità che si è affermato in paesi più sviluppati. Secondo le proiezioni dei demografi, la popolazione mondiale raggiungerà all'incirca 9 miliardi a metà del secolo e poi potrebbe stabilizzarsi o diminuire quando il regime di bassa fecondità del mondo sviluppato si instaurerà anche nei paesi più poveri. Molti paesi ricchi hanno già un tasso di fecondità inferiore al livello di sostituzione; in alcuni casi, molto inferiore.

Tuttavia, se scegliamo una prospettiva più a lungo termine e presumiamo uno stato di tecnologia immutata e di continua prosperità, è ragionevole aspettarsi un ritorno alla condizione storicamente ed ecologicamente normale di una popolazione mondiale che si scontra con i limiti di ciò che la nostra nicchia può sostenere. Se ci sembra controintuitivo alla luce della relazione negativa tra ricchezza e fecondità che si osserva oggi a scala globale, dobbiamo ricordarci che l'era moderna è una piccola fetta della storia e senz'altro un'anomalia. Il comportamento umano non si è ancora adattato alle condizioni contemporanee. Non solo non sfruttiamo certi modi ovvi di aumentare la nostra fitness inclusiva (come diventare donatori di sperma o di ovuli), ma sabotiamo attivamente la nostra fertilità usando il controllo delle nascite. Nell'ambiente dell'adattamento evolutivo, un sano impulso sessuale forse era sufficiente a far agire un individuo in modi che massimizzavano il suo potenziale riproduttivo; nell'ambiente moderno, tuttavia, darebbe un enorme vantaggio selettivo avere un desiderio più diretto di essere il genitore biologico del massimo numero possibile di figli. Oggi la selezione è a favore di questo desiderio, come di altri tratti che aumentano la propensione a riprodursi. L'adattamento culturale, tuttavia, può battere sul tempo l'evoluzione biologica. Alcune comunità, come quelle degli hutteriti e degli aderenti al movimento evangelico Quiverfull, hanno una cultura natalista che incoraggia le grandi famiglie e di conseguenza sono in rapida espansione.

Crescita della popolazione e investimenti

Se le attuali condizioni socioeconomiche restassero per magia nella forma attuale, il futuro sarebbe dominato da gruppi culturali o etnici caratterizzati da livelli di fecondità alti. Se la maggior parte delle persone avesse preferenze che massimizzano la fitness nell'ambiente contemporaneo, la popolazione potrebbe facilmente raddoppiare a ogni generazione. In mancanza di politiche di controllo demografico - che dovrebbero diventare sempre più rigorose ed efficaci per contrastare l'evoluzione di preferenze più forti a favore della loro elusione - la popolazione mondiale continuerebbe a crescere esponenzialmente fino al momento in cui qualche vincolo, come la scarsità di terra o l'esaurimento di buone opportunità di realizzare innovazioni importanti, rende impossibile all'economia procedere di pari passo; a quel punto, il reddito medio inizierebbe a diminuire fino a raggiungere il livello in cui l'estrema povertà impedisce alla maggioranza delle persone di allevare molto più di due figli fino alla maturità. Quindi si riaffermerebbe il principio malthusiano, come un terribile padrone di schiavi, che porrebbe fine alla nostra avventura nel mondo ideale dell'abbondanza e ci riporterebbe nella caverna in catene, a riprendere la faticosa lotta per la sussistenza.

Questa prospettiva più a lungo termine può avvicinarsi nel tempo a causa di un'esplosione di intelligenza. Poiché il software può essere copiato, una popolazione di emulazioni o di intelligenze artificiali potrebbe raddoppiare rapidamente - nell'arco di minuti, non di decenni o secoli - esaurendo in poco tempo tutto l'hardware disponibile.

La proprietà privata potrebbe offrire una protezione parziale contro l'emergere di una condizione malthusiana universale. Consideriamo un semplice modello in cui i clan (o le comunità chiuse, o gli stati) partono con quantità variabili di proprietà e adottano in maniera indipendente politiche diverse nei confronti della riproduzione e degli investimenti. Alcuni clan non tengono conto del futuro e consumano la propria dotazione, dopo di che i loro membri finiti in povertà entrano a far parte del proletariato globale (oppure muoiono, se non riescono a mantenersi con il lavoro). Altri clan investono una parte delle proprie risorse, ma adottano una politica di riproduzione illimitata: le popolazioni di questi clan continuano a crescere fino a raggiungere una condizione malthusiana interna in cui gli individui sono così poveri da morire quasi allo stesso ritmo con cui si riproducono e a quel punto la crescita della popolazione del clan rallenta fino a essere uguale alla crescita della sue risorse. Altri clan potrebbero però limitare la fecondità al di sotto del tasso di crescita del proprio capitale e quindi crescere lentamente di numero facendo sì che al contempo i singoli individui diventino più ricchi.

Se i clan ricchi ridistribuissero la ricchezza ai membri dei clan che si riproducono, o esauriscono le proprie risorse, rapidamente (clan in cui i bambini, le coppie o i discendenti, senza alcuna colpa, sono lanciati nel mondo con un capitale insufficiente per sopravvivere e prosperare), ci si avvicinerebbe di più a una condizione malthusiana universale. Nel caso limite, tutti i membri di tutti i clan riceverebbero un reddito a livello di sussistenza e tutti sarebbero ugualmente poveri.

Se la proprietà non viene ridistribuita, i clan prudenti potrebbero riuscire a conservare una certa quantità di capitale e forse in termini assoluti la loro ricchezza potrebbe aumentare. Ma dai propri capitali gli esseri umani potrebbero ricavare gli stessi profitti elevati che le intelligenze digitali potrebbero ricavare dai propri? Non è chiaro, poiché potrebbero esistere sinergie tra lavoro e capitale tali da permettere a un singolo agente in grado di fornire entrambi (per esempio, un imprenditore o un investitore esperto e dotato di mezzi economici) di ottenere dal capitale un tasso di rendimento superiore al tasso di mercato ottenibile da agenti che possiedono risorse finanziarie ma non cognitive. Gli esseri umani, essendo meno abili delle intelligenze digitali, potrebbero quindi accrescere il proprio capitale a un ritmo più lento, a meno che, naturalmente, il problema del controllo non fosse stato completamente risolto: in questo caso il tasso umano di rendimento sarebbe uguale a quello delle macchine, poiché un principale umano potrebbe affidare a un agente digitale il compito di gestire i suoi risparmi e potrebbe farlo a costo zero e senza conflitti di interesse; in caso contrario, però, in questo scenario la percentuale di economia posseduta dalle macchine si avvicinerebbe asintoticamente al 100 per cento.

Uno scenario in cui la percentuale di economia posseduta dalle macchine si avvicina asintoticamente al 100 per cento non è necessariamente uno scenario in cui la fetta destinata all'umanità si riduce. Se l'economia cresce a un passo sufficientemente veloce, in valore assoluto anche una sua percentuale relativamente piccola può comunque aumentare. Potrà anche non sembrare granché, ma in uno scenario multipolare in cui i diritti di proprietà sono protetti - anche se il problema del controllo non è stato risolto - la quantità otale di ricchezza posseduta dagli esseri umani potrebbe aumentare. Naturalmente, ciò non risolverebbe i problemi dati dal fatto che la crescita della popolazione umana fa scendere il reddito pro capite al livello minimo di sussistenza e dal fatto che gli esseri umani si rovinano perché non tengono conto del futuro.

A lungo andare, l'economia diventerebbe sempre più dominata dai clan che hanno i tassi di risparmio più alti: spilorci che possiedono metà della città e vivono sotto un ponte. Gli spilorci più benestanti inizierebbero a dare fondo ai propri risparmi solo una volta esaurite tutte le possibilità di investimento. Se però la protezione dei diritti di proprietà non fosse perfetta - per esempio, se le macchine più efficienti riuscissero, con le buone o con le cattive, a trasferire ricchezza dagli esseri umani a sé stesse - i capitalisti umani potrebbero dover intaccare il proprio capitale in tempi molto più brevi, prima che si esaurisca per quei trasferimenti (o per le spese sostenute per assicurarlo contro questi trasferimenti). Se questi sviluppi si realizzassero a velocità digitali invece che biologiche, in un batter d'occhio i lentissimi esseri umani potrebbero ritrovarsi espropriati di ogni bene.

Vivere in un'economia algoritmica

In una condizione malthusiana post-transizione, la vita degli esseri umani biologici non somiglierebbe necessariamente a qualche condizione storica dell'umanità (come quella di cacciatore-raccoglitore, agricoltore o impiegato). In questo scenario, gli esseri umani potrebbero invece essere per la maggior parte disoccupati che vivono di rendita e sbarcano il lunario grazie ai propri risparmi. Sarebbero molto poveri e tuttavia deriverebbero quel poco di reddito che hanno dai risparmi o dai sussidi statali. Vivrebbero in un mondo con una tecnologia estremamente avanzata, che comprenderebbe non solo macchine superintelligenti, ma anche farmaci antiinvecchiamento, realtà virtuale e varie tecnologie di potenziamento e droghe ricreative; in generale, però, tutte queste cose potrebbero avere un costo insostenibile. Forse invece di usare farmaci di potenziamento assumerebbero droghe per arrestare lo sviluppo e rallentare il metabolismo allo scopo di ridurre il costo della vita (poiché chi brucia calorie in fretta non sarebbe in grado di sopravvivere con un reddito di sussistenza in graduale diminuzione). Al crescere della popolazione e al diminuire del reddito medio, gli esseri umani potrebbero degenerare, trasformandosi in qualche struttura minima ancora in grado di ricevere una pensione; forse cervelli minimamente coscienti posti in vasche, che vengono ossigenati e nutriti da macchine e risparmiano lentamente il denaro necessario per riprodursi facendo sviluppare un loro clone a un tecnico robot.

La parsimonia potrebbe aumentare ancora di più grazie al trasferimento della mente, poiché un substrato computazionale fisicamente ottimizzato, progettato da una superintelligenza avanzata, sarebbe più efficiente di un cervello biologico. L'emigrazione nel regno digitale potrebbe essere arginata, tuttavia, se le emulazioni fossero considerate non come esseri umani, ma come cittadini privi dei requisiti necessari per ricevere una pensione o per tenere conti di risparmio esenti da imposte. In tal caso, potrebbe restare aperta una nicchia per gli esseri umani biologici, insieme forse a una popolazione molto più numerosa di emulazioni o intelligenze artificiali.

Finora ci siamo concentrati sul destino degli esseri umani, che potrebbero mantenersi grazie a risparmi, sussidi o redditi da lavoro derivanti da altri esseri umani che preferiscono assumere esseri umani. Consideriamo ora alcune delle entità che finora abbiamo classificato come «capitale»: macchine che potrebbero essere di proprietà di esseri umani, costruite e fatte funzionare per i compiti funzionali che svolgono e capaci di sostituire i lavoratori umani in una vasta gamma di attività. Quale potrebbe essere la situazione di questi lavoratori stacanovisti della nuova economia?

Se queste macchine fossero soltanto automi, semplici dispositivi come un motore a vapore o il meccanismo di un orologio, non sarebbero necessari altri commenti: in un'economia post-transizione la quantità di questo capitale sarebbe enorme, ma non importerebbe a nessuno come vanno le cose ad apparecchiature inanimate. Tuttavia, se le macchine hanno una mente cosciente — se il loro funzionamento è associato a una consapevolezza fenomenica (o se per qualche altra ragione si attribuisce loro uno status morale) —, allora è importante considerare in che modo il risultato complessivo la influenzerebbe. Poiché le menti digitali lavoratrici potrebbero essere numericamente dominanti, il loro benessere potrebbe addirittura sembrare l'aspetto più importante del risultato.

| << | < | > | >> |

Pagina 389

Postfazione

Dopo la pubblicazione dell'edizione rilegata di questo libro in lingua inglese, l'atteggiamento nei confronti della superintelligenza si è modificato. È diventato più facile non trattarlo come un argomento sciocco, cioè prendere sul serio l'idea che in questo secolo potrebbe avvenire una transizione a un'intelligenza digitale, che una tale transizione può essere tra gli eventi più importanti della storia umana, che può essere accompagnata da un rischio esistenziale di qualche livello oltre che da un enorme vantaggio e che sarebbe prudente darsi subito un po' da fare per capire se si possa operare in modo da ridurre la probabilità di un risultato negativo. Certo, l'immagine di Terminator compare ancora in quasi tutti i tentativi giornalistici di affrontare l'argomento. Se però ci si allontana dalla diffusa cacofonia, oggi si riesce a sentire, drizzando le orecchie e orientandole nella direzione giusta, anche il tranquillo mormorio di una conversazione più matura.

Il progresso tecnico nel settore dell'apprendimento automatico è stato più veloce rispetto alle previsioni generali. Alcuni sviluppi recenti hanno aperto una frontiera più ampia di idee da esplorare: le macchine di Turing neurali, l'apprendimento profondo per rinforzo, l'ottimizzazione bayesiana di iperparametri, le reti di cellule LSTM disposte in griglie multidimensionali, le reti di memoria, gli autocodificatori variazionali, i vettori embedding a livello di frase, le reti antagoniste generative, i modelli generativi basati sull'attenzione e vari approcci di programmazione probabilistica, per indicare soltanto alcuni degli sviluppi che hanno ricevuto più attenzione. A destare grande entusiasmo è stato soprattutto l'apprendimento profondo. I metodi di apprendimento profondo (essenzialmente reti neurali multistrato), grazie a una combinazione di computer più veloci, insiemi di dati più grandi e miglioramenti algoritmici, hanno iniziato a fornire prestazioni vicine (e in alcuni casi superiori) a quelle umane in molti compiti percettivi, tra cui il riconoscimento della scrittura manuale, il riconoscimento di immagini e la sottotitolazione di immagini, il riconoscimento del linguaggio parlato e il riconoscimento dei volti. I metodi di apprendimento profondo hanno raggiunto risultati importanti anche nella traduzione del linguaggio naturale e in alcuni problemi di analisi di dati scientifici. Le capacità alla base di queste prestazioni - algoritmi generali che possono apprendere rappresentazioni astratte distribuite da dati sensoriali grezzi, senza che sia necessario l'intervento di un essere umano che specifichi le caratteristiche o la conoscenza del dominio in questione - potrebbero diventare importanti come componenti fondamentali per costruire capacità più complesse.

Molte capacità già esistenti hanno raggiunto la soglia dell'utilità. Ciò significa che ulteriori progressi offrono guadagni immediati, poiché si traducono direttamente in miglioramenti di prodotti di grande valore commerciale. Se parto da un sistema di riconoscimento del linguaggio parlato troppo poco preciso per essere di qualche utilità e lo miglioro di poco, be', continuo ad avere un sistema inutile. Se invece parto da un sistema già così buono da essere ampiamente utilizzato, il mio miglioramento dell'1 per cento può valere un miliardo di dollari. La sensazione emozionante che l'apprendimento automatico stia procedendo a gran velocità, con molte vie da esplorare, oggi viene stimolata sempre di più anche da incentivi commerciali e sta portando denaro e talenti nel settore.

Nessuno può sapere fin dove si spingerà l'attuale ondata di entusiasmo. Questo libro non sostiene affatto che un'esplosione di intelligenza sia imminente, o che il mondo abbia sottovalutato il ritmo dei progressi. Può ben darsi che in breve i miglioramenti ottenibili estendendo e mettendo a punto gli approcci oggi utilizzati subiscano una stasi. Di certo per arrivare al traguardo ci vorranno altre idee innovative, idee che potrebbero essere disponibili in tempi brevi oppure no. Sarei piuttosto sorpreso, tuttavia, di assistere al ritorno di un «inverno dell'IA» grave come quelli che il settore ha conosciuto in passato. Mi sembra più probabile che d'ora in avanti i finanziamenti e la reputazione continueranno a crescere, poiché i risultati ottenuti sono sufficienti a fare dell'IA un settore di ricerca teorica proficuo e una disciplina ingegneristica utile.

| << | < | > | >> |

Indice

| << | < | > | >> |

Pagina 11

| << | < | > | >> |

Pagina 21

| << | < | > | >> |

Pagina 36

| << | < | > | >> |

Pagina 92

| << | < | > | >> |

Pagina 147

| << | < | > | >> |

Pagina 243

| << | < | > | >> |

Pagina 248

| << | < | > | >> |

Pagina 389

| << | < |