Was geschieht, wenn es Wissenschaftlern eines Tages gelingt, eine Maschine zu entwickeln, die die menschliche Intelligenz auf so gut wie allen wichtigen Gebieten übertrifft? Klar ist: Eine solche Superintelligenz wäre enorm mächtig und würde uns vor Kontroll- und Steuerungsprobleme stellen, verglichen mit denen die Bewältigung des Klimawandels ein Klacks ist. Mehr noch: Vermutlich würde die Zukunft der menschlichen Spezies in den Händen dieser Superintelligenz liegen, so wie heute die Zukunft der Gorillas von uns abhängt. Zukunftsmusik? Oder doch Science-Fiction? Eindeutig Zukunftsmusik, sagt Nick Bostrom, und zwar eine, die vielleicht schon binnen eines Menschenalters erklingen wird. Damit wir verstehen, was auf uns zukommt, nimmt er uns mit auf eine faszinierende Reise in die Welt der Orakel und Genies, der Superrechner und Gehirnsimulationen, aber vor allem in die Labore dieser Welt, in denen fieberhaft an der Entwicklung einer künstlichen Intelligenz gearbeitet wird.

Bostrom skizziert mögliche Szenarien, wie die Geburt der Superintelligenz vonstattengehen könnte, und widmet sich ausführlich den Folgen dieser Revolution. Sie werden global sein und unser wirtschaftliches, soziales und politisches Leben tiefgreifend verändern. Wir müssen handeln, und zwar kollektiv, bevor der Geist aus der Flasche gelassen ist – also jetzt! Das ist die eminent politische Botschaft dieses so spannenden wie wichtigen Buches.

Nick Bostrom, geboren 1973 in Schweden, studierte Physik, Mathematik, Neurowissenschaften sowie Philosophie unter anderem am King' s College in London und an der London School of Economics, wo er promoviert wurde. Derzeit ist er Professor für Philosophie am St. Cross College der Universität von Oxford und Direktor sowohl des Future of Humanity Institute als auch des Programme for the Impact of Future Technology. 2009 wurde er für seine Arbeit mit dem prestigeträchtigen Eugene R. Gannon Award for the Continued Pursuit of Human Advancement ausgezeichnet und war auf der 100 Top Global Thinkers List von Foreign Policy.

Nick Bostrom

Superintelligenz

Szenarien einer kommenden Revolution

Aus dem Englischen von
Jan-Erik Strasser

Suhrkamp

eBook Suhrkamp Verlag Berlin 2014

Der vorliegende Text folgt der Erstausgabe, 2014.

Titel der Originalausgabe: Superintelligence. Paths, Dangers, Strategies

First Edition was originally published in English in 2014.

This translation is published by arrangement with Oxford University Press.

Erstmals erschienen 2014 bei Oxford University Press. Die Übersetzung erscheint mit freundlicher Genehmigung von Oxford University Press.

Bibliografische Information der Deutschen Nationalbibliothek

Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

Alle Rechte vorbehalten, insbesondere das der Übersetzung, des öffentlichen Vortrags sowie der Übertragung durch Rundfunk und Fernsehen, auch einzelner Teile. Kein Teil des Werkes darf in irgendeiner Form (durch Fotografie, Mikrofilm oder andere Verfahren) ohne schriftliche Genehmigung des Verlages reproduziert oder unter Verwendung elektronischer Systeme verarbeitet, vervielfältigt oder verbreitet werden.

Für Inhalte von Webseiten Dritter, auf die in diesem Werk verwiesen wird, ist stets der jeweilige Anbieter oder Betreiber verantwortlich, wir übernehmen dafür keine Gewähr.

Rechtswidrige Inhalte waren zum Zeitpunkt der Verlinkung nicht erkennbar.

Satz: Satz-Offizin Hümmer GmbH, Waldbüttelbrunn

Umschlaggestaltung: Hermann Michels und Regina Göllner

eISBN 978-3-518-73900-6

www.suhrkamp.de

Inhalt

Die unvollendete Fabel von den Spatzen

Vorwort

1. Vergangene Entwicklungen und gegenwärtige Möglichkeiten

2. Wege zur Superintelligenz

3. Formen der Superintelligenz

4. Die Kinetik einer Intelligenzexplosion

5. Der entscheidende strategische Vorteil

6. Kognitive Superkräfte

7. Der superintelligente Wille

8. Sind wir dem Untergang geweiht?

9. Das Kontrollproblem

10. Orakel, Flaschengeister, Souveräne und Werkzeuge

11. Multipolare Szenarien

12. Der Erwerb von Werten

13. Die Wahl der Auswahlkriterien

14. Das strategische Gesamtbild

15. Die heiße Phase

Anmerkungen

Danksagung

Verzeichnis der Abbildungen, Tabellen und Kästen

Literaturverzeichnis

Ausführliches Inhaltsverzeichnis

Die unvollendete Fabel von den Spatzen

Es war die Zeit des Nestbaus, aber nach tagelanger harter Arbeit saßen die Spatzen in der Abenddämmerung beisammen, um auszuruhen und miteinander zu zwitschern.

»Wir sind alle so klein und schwach. Stellt euch vor, wie angenehm es wäre, wenn wir eine Eule hätten, die uns beim Nestbau helfen würde!«

»Genau!«, stimmte ein anderer Spatz ein. »Sie könnte bei Jung und Alt nach dem Rechten sehen.«

»Und uns Ratschläge geben und vor der Nachbarskatze warnen«, meinte ein dritter.

Darauf sprach Pastus, der Schwarmälteste: »Schicken wir unsere Späher in alle Himmelsrichtungen aus, um ein verwaistes Eulenküken oder ein Ei zu finden. Auch ein Krähenjunges oder ein kleines Wiesel könnten von Nutzen sein. Das ist vielleicht das Beste, was uns je passiert ist – zumindest seit der Eröffnung des Pavillons der nie enden wollenden Körner.«

Die ganze Schar war begeistert, und die Spatzen allüberall begannen aus vollster Kehle zu trällern.

Nur Scronkfinkle, ein einäugiger Spatz von mürrischem Gemüt, war von der Klugheit des Vorhabens nicht überzeugt. Er sprach: »Das wird unser Verderben sein. Sollten wir nicht erst bedenken, wie eine Eule sich zähmen und bändigen lässt, bevor wir sie in unsere Mitte bringen?«

Pastus erwiderte: »Eine Eule zu zähmen scheint mir ein höchst schwieriges Unterfangen zu sein. Es wird schon schwer genug werden, ein Ei zu finden. Fangen wir also damit an. Nachdem wir die Eule großgezogen haben, können wir uns der nächsten Herausforderung stellen.«

»Der Plan hat einen Haken!«, piepste Scronkfinkle, aber sein Protest ging im Tumult des auffliegenden Schwarms unter, der sich daranmachte, Pastus' Vorhaben in die Tat umzusetzen.

Nur zwei oder drei Spatzen blieben mit Scronkfinkle zurück. Gemeinsam versuchten sie herauszufinden, wie Eulen gezähmt oder gebändigt werden könnten. Schon bald wurde ihnen klar, dass Pastus recht gehabt hatte: Es war in der Tat ein höchst schwieriges Unterfangen, zumal ihnen eine Eule zum Üben fehlte. Nichtsdestotrotz fuhren sie fort, so gut sie konnten, und in der ständigen Furcht, die anderen Spatzen könnten mit einem Ei zurückkehren, bevor eine Lösung für das Kontrollproblem gefunden wäre.

Niemand weiß, wie die Geschichte ausgeht, aber der Autor widmet dieses Buch Scronkfinkle und seinen Anhängern.

Vorwort

In Ihrem Schädel steckt etwas, das diesen Satz liest. Dieses Ding, das menschliche Gehirn, hat einige Fähigkeiten, die den Gehirnen anderer Tiere fehlen, und diesen besonderen Fähigkeiten verdanken wir unsere dominante Stellung auf der Erde. Andere Tiere haben stärkere Muskeln oder schärfere Krallen, doch wir haben die schlaueren Gehirne. Dieser bescheidene Vorteil an allgemeiner Intelligenz hat uns schließlich Sprache, Technologie und komplexe soziale Organisationen entwickeln lassen, und er wuchs im Lauf der Zeit, da jede Generation auf den Leistungen der vorigen aufbauen konnte.

Falls wir eines Tages künstliche Gehirne bauen, die das menschliche an allgemeiner Intelligenz übertreffen, dann könnte diese neue Art von Superintelligenz überaus mächtig werden. Und genau wie das Schicksal der Gorillas heute stärker von uns Menschen abhängt als von den Gorillas selbst, so hinge das Schicksal unserer Spezies von den Handlungen dieser maschinellen Superintelligenz ab.

Wir haben allerdings einen Vorteil: Wir sind diejenigen, die das Ding bauen. Im Prinzip könnten wir eine Art von Superintelligenz erschaffen, die menschliche Werte achtet, und wir hätten sicherlich gute Gründe, genau das zu tun. In der Praxis jedoch sieht das Kontrollproblem (wie können wir kontrollieren, was die Superintelligenz tun würde?) ziemlich schwierig aus. Außerdem scheint es, als hätten wir nur einen Schuss frei. Sobald eine unfreundliche Superintelligenz existiert, wird sie uns davon abhalten, sie zu ersetzen oder ihre Präferenzen zu ändern. Dann wäre unser Schicksal besiegelt.

In diesem Buch versuche ich zu verstehen, welche Herausforderung die Superintelligenz darstellt und wie wir darauf reagieren sollten. Dies ist die wahrscheinlich größte und beängstigendste Aufgabe, der die Menschheit je gegenüberstand – und egal, ob wir sie meistern oder an ihr scheitern: Es wird wohl auch die letzte sein.

Sie werden hier keine Argumente dafür finden, dass wir kurz vor einem großen Durchbruch in der Forschung zur künstlichen Intelligenz stehen oder dass sich auch nur einigermaßen genau vorhersagen lässt, wann es so weit ist. Es sieht so aus, als ob es irgendwann in diesem Jahrhundert geschehen wird, aber sicher können wir uns dessen nicht sein.

Die ersten Kapitel zeigen mögliche Wege zur Superintelligenz auf und sagen etwas zum zeitlichen Ablauf, doch der größte Teil des Buches ist der Frage gewidmet, was danach geschieht. Wir untersuchen die Kinetik einer Intelligenzexplosion, die Formen und die Fähigkeiten einer Superintelligenz sowie die Strategien, die einem superintelligenten Akteur zur Verfügung stehen, sobald er einen entscheidenden Vorteil erlangt hat. Im Anschluss verlagern wir unseren Fokus auf das Kontrollproblem und fragen danach, was zu tun ist, damit wir das Resultat all dieser Entwicklungen überleben und es für uns günstig ausfällt. Gegen Ende des Buches treten wir schließlich einen Schritt zurück, betrachten das große Ganze, das sich aus unseren Untersuchungen ergeben hat, und machen einige Vorschläge dazu, was schon jetzt getan werden kann, um eine existentielle Katastrophe zu vermeiden.

Es war nicht leicht, dieses Buch zu schreiben. Ich hoffe, dass der nun freigeräumte Weg es anderen Forschern ermöglicht, das neue Territorium schneller und bequemer zu erreichen, sodass sie sich dort – frisch und ausgeruht – mit uns daranmachen können, die Grenzen unseres Verständnisses zu erweitern. (Und falls dieser Weg ein wenig holprig und kurvenreich ist, so hoffe ich, dass die Kritiker die ursprüngliche Unwirtlichkeit des Geländes im Nachhinein nicht unterschätzen!)

Es war nicht leicht, dieses Buch zu schreiben: Ich habe versucht, es lesbar zu machen, aber es ist mir wohl nicht ganz gelungen. Beim Schreiben hatte ich als Zielgruppe ein früheres Ich im Sinn, das am Lesen dieses Buches Gefallen gefunden hätte – und das könnte den Leserkreis ganz schön einschränken. Dennoch denke ich, dass der Inhalt vielen Menschen zugänglich ist, wenn sie ihn gründlich studieren und der Versuchung widerstehen, jeden neuen Gedanken augenblicklich mit dem nächstliegenden Klischee zu verwechseln. Leser ohne entsprechendes Vorwissen sollten sich nicht von den paar Happen Mathematik oder Fachvokabular abschrecken lassen, denn es ist immer möglich, den Hauptgedanken aus dem Kontext zu erschließen (und umgekehrt werden diejenigen Leser, die ans Eingemachte wollen, in den Anmerkungen fündig werden)1.

Viele der Argumente in diesem Buch sind vermutlich falsch,2 und wahrscheinlich habe ich auch Überlegungen von entscheidender Bedeutung nicht berücksichtigt, womit einige oder alle meine Schlussfolgerungen ungültig wären. Es hat mich einige Mühe gekostet, im gesamten Text auf Nuancen und Grade der Ungewissheit hinzuweisen, indem ich ihn mit einer Unzahl von Wörtern wie »könnte«, »dürfte«, »müsste«, »vielleicht« oder »wahrscheinlich« gespickt habe. Jede Einschränkung dieser Art wurde sorgfältig und bewusst platziert, doch selbst diese Hinweise epistemischer Bescheidenheit reichen nicht aus – sie müssen um ein globales Eingeständnis der Ungewissheit und Fehlbarkeit ergänzt werden. Das ist keine falsche Bescheidenheit: Obwohl mein Buch wahrscheinlich schwere Fehler und Irreführungen enthält, stehen die in der Literatur vorgebrachten Alternativen meiner Meinung nach noch wesentlich schlechter da – einschließlich der üblichen Ansicht (der »Nullhypothese«), der zufolge wir die Aussicht auf eine Superintelligenz vorerst gefahrlos oder vernünftigerweise ignorieren können.