BUCH

Wie groß ist die Chance, beim Online-Dating den Partner fürs Leben zu treffen? Was genau zeichnen die smarten Geräte bei uns zu Hause auf? Gehört dem autonomen Fahren die Zukunft? Überhaupt: Wo sind Algorithmen besser als der Mensch, wo aber nicht? Der weltweit renommierte Psychologe und Risikoforscher Gerd Gigerenzer beschreibt in seinem neuen Buch anhand vieler konkreter Beispiele, wie wir lernen können, auch im digitalen Zeitalter souverän und digital mündig zu bleiben. Er zeigt uns, wie wir Chancen und Risiken von Algorithmen und Künstlicher Intelligenz für unser Leben richtig einschätzen und uns vor den Verlockungen sozialer Medien schützen können, kurz: wie wir digitale Intelligenz erwerben. Ein ebenso kluges wie farbig erzähltes Buch, das uns in der smarten neuen Welt souverän zu bleiben hilft.

AUTOR

Gerd Gigerenzer ist ein weltweit renommierter Psychologe, Direktor emeritus am Max-Planck-Institut für Bildungsforschung, Direktor des Harding Zentrums für Risikokompetenz und Mitgründer der Unternehmensberatung Simply Rational. Er hat zahlreiche internationale Auszeichnungen erhalten, u. a. den AAAS Preis für den besten Artikel in den Verhaltenswissenschaften, den Communicator-Preis und den Deutschen Psychologie-Preis. Seine populärwissenschaftlichen Bücher »Das Einmaleins der Skepsis« (2002) und »Bauchentscheidungen« (2007, ausgezeichnet sowohl als »Wissenschaftsbuch des Jahres« wie als »Wirtschaftsbuch des Jahres«) sowie »Risiko. Wie man die richtigen Entscheidungen trifft« (2013) fanden große Beachtung und sind internationale Bestseller. Das Gottlieb Duttweiler Institut hat Gigerenzer als einen der 100 einflussreichsten Denker der Welt bezeichnet.

GERD

GIGERENZER

KLICK

Wie wir in einer digitalen

Welt die Kontrolle behalten

und die richtigen

Entscheidungen treffen

Aus dem Englischen übertragen

von Hainer Kober

C. Bertelsmann

Die Originalausgabe erscheint 2022 unter dem Titel

»How to Remain Smart in a Smart World« bei Penguin, London.

Der Inhalt dieses E-Books ist urheberrechtlich geschützt und enthält technische Sicherungsmaßnahmen gegen unbefugte Nutzung. Die Entfernung dieser Sicherung sowie die Nutzung durch unbefugte Verarbeitung, Vervielfältigung, Verbreitung oder öffentliche Zugänglichmachung, insbesondere in elektronischer Form, ist untersagt und kann straf- und zivilrechtliche Sanktionen nach sich ziehen.

Sollte diese Publikation Links auf Webseiten Dritter enthalten, so übernehmen wir für deren Inhalte keine Haftung, da wir uns diese nicht zu eigen machen, sondern lediglich auf deren Stand zum Zeitpunkt der Erstveröffentlichung verweisen.

© 2021 by Gerd Gigerenzer

© 2021 für die deutschsprachige Ausgabe

by C. Bertelsmann Verlag, München,

in der Penguin Random House Verlagsgruppe GmbH,

Neumarkter Straße 28, 81673 München

Umschlaggestaltung: Büro Jorge Schmidt, München

Satz: Leingärtner, Nabburg

ISBN 978-3-641-27736-9
V001

www.cbertelsmann.de

Für Athena

INHALT

Einleitung

Teil 1  DER MENSCH UND DIE KI

1  Ist wahre Liebe nur einen Klick entfernt?

2  Was KI am besten kann: Das Prinzip der stabilen Welt

3  Maschinen beeinflussen unsere Vorstellung von Intelligenz

4  Sind selbstfahrende Autos zum Greifen nah?

5  Gesunder Menschenverstand und KI

6  Ein Datenpunkt kann Big Data schlagen

Teil 2  ES STEHT VIEL AUF DEM SPIEL

7  Transparenz

8  Schlafwandelnd in die Überwachung

9  Wie man Nutzer abhängig macht

10  Sicherheit und Selbstkontrolle

11  Fakt oder Fake?

Dank

Anmerkungen

Literatur

Bildteil

EINLEITUNG

Papa, als du jung warst, vor den Computern, wie bist du da ins Internet gekommen?

EIN SIEBENJÄHRIGER IN BOSTON1

Wenn Roboter alles machen, was machen wir dann?

EIN FÜNFJÄHRIGER IN PEKING2

Stellen Sie sich einen digitalen Assistenten vor, der alles besser macht als Sie. Egal, was Sie sagen, er weiß es besser. Egal, was Sie entscheiden, er wird Sie verbessern. Wenn Sie mit einem Plan fürs nächste Jahr kommen, er wird einen geeigneteren haben. Irgendwann geben Sie es auf, noch irgendwelche persönlichen Entscheidungen zu treffen. Von jetzt an kümmert sich die KI perfekt um alles – sie regelt Ihre Finanzen, schreibt Ihre Nachrichten, wählt Ihren Lebenspartner aus und plant, wann es am günstigsten ist, Kinder zu bekommen. An Ihrer Tür werden Pakete mit Waren abgeliefert, von denen Sie noch nicht einmal wussten, dass Sie sie brauchen. Vielleicht meldet sich eine Sozialarbeiterin bei Ihnen, weil der digitale Assistent vorausgesehen hat, dass Ihr Kind möglicherweise eine schwere Depression entwickelt. Und bevor Sie sich lange den Kopf zerbrechen, welcher politische Kandidat Ihnen mehr zusagt, weiß Ihr Assistent es schon und wählt für Sie. Es ist nur eine Frage der Zeit, bis Tech-Unternehmen Ihr Leben bestimmen und der getreue Assistent sich in eine Superintelligenz verwandelt. Wie eine Schafsherde werden unsere Enkelkinder ihrem neuen Herrn ehrfürchtig, brav und gehorsam folgen.

In den letzten Jahren habe ich bei vielen populärwissenschaftlichen Veranstaltungen über künstliche Intelligenz (KI) gesprochen und war immer wieder überrascht, wie verbreitet das bedingungslose Vertrauen in komplexe Algorithmen zu sein scheint. Gleich, um welches Thema es ging, die Vertreter der Tech-Unternehmen versicherten den Zuhörern, eine Maschine könne die anstehende Aufgabe genauer, schneller und billiger erledigen. Mehr noch, indem man Menschen durch Software ersetze, könne man die Welt besser und angenehmer machen. So hören wir beispielsweise, Google kenne uns besser als wir uns selbst und KI könne unser Verhalten fast perfekt vorhersagen oder werde es jedenfalls bald können. Tech-Unternehmen nehmen diese Fähigkeit für sich in Anspruch, wenn sie ihre Dienste Werbekunden, Versicherungen oder Geheimdiensten andienen. Auch wir neigen dazu, ihnen das zu glauben. Selbst Weltuntergangsszenarien in Filmen und Büchern schreiben KI fast Allwissenheit zu. Insofern gleichen sie einigen der erklärten Gegner der Branche, die KI als Inbegriff des bösen Überwachungskapitalismus und Gefahr für unsere Freiheit und Würde brandmarken.3 Diese Überzeugung veranlasst manche Menschen, in Facebook eine Schrecken einflößende Überwachungsmaschine à la Orwell zu sehen. Datenlecks und der Skandal um Cambridge Analytica haben diese Sorge zu ängstlicher Ehrfurcht anwachsen lassen. Ob auf Glaube oder Furcht gegründet, das Argument bleibt immer gleich:

KI hat die größten Meister in Schach und Go besiegt.

Die Computerleistung verdoppelt sich alle zwei Jahre.

Deshalb werden Maschinen bald alles besser machen als Menschen.

Nennen wir es kurz das Maschine-über-Mensch-Argument. Die beiden Prämissen sind richtig, aber die Schlussfolgerung ist falsch.

Der Grund ist, dass Computer für bestimmte Probleme hervorragend geeignet sind, für andere nicht. Bislang hat KI ihre beeindruckendsten Siege in genau definierten Spielen mit exakten Regeln wie Schach und Go errungen und ähnlich gute Ergebnisse bei der Gesichts- und Stimmerkennung unter relativ unveränderten Bedingungen erzielt. Wenn die Umgebung stabil ist, kann KI Menschen übertreffen. Gleicht die Zukunft der Vergangenheit, erweist sich Big Data als äußerst nützlich. Doch wenn es zu Überraschungen kommt, kann Big Data – also Daten, die immer nur die Vergangenheit widerspiegeln können – uns in Hinblick auf die Zukunft in die Irre führen. 2008 verschliefen die Big-Data-Algorithmen die Finanzkrise, und 2016 sagten sie einen klaren Wahlsieg von Hillary Clinton voraus.

Tatsächlich sind viele Probleme, denen wir uns gegenübersehen, keine wohldefinierten Spiele, sondern Situationen, in denen Ungewissheit herrscht – wenn es beispielsweise darum geht, die wahre Liebe zu finden, das nächste Verbrechen vorauszusagen und in unerwarteten Notsituationen richtig zu reagieren. Hier können noch mehr Rechenleistung und noch größere Datenmengen nur begrenzt helfen. Menschen sind die Hauptquelle von Ungewissheit. Stellen Sie sich vor, wie viel schwieriger Schach wäre, wenn der König aus einer Laune heraus die Regeln verletzen und die Dame unter Protest das Brett verlassen könnte, nachdem sie die Türme in Brand gesteckt hat.

Die Einsicht, dass komplexe Algorithmen in stabilen Situationen Erfolg versprechen, aber bei Unsicherheit ins Schleudern geraten, verdeutlicht das zentrale Thema dieses Buchs, nämlich wie wir in einer smarten Welt smart bleiben können:

Smart bleiben heißt, die Möglichkeiten und Risiken von digitalen Technologien zu verstehen und entschlossen zu sein, in einer von Algorithmen bevölkerten Welt die Kontrolle zu behalten.

Sollen wir entspannt die Hände in den Schoß legen, während eine Software unsere persönlichen Entscheidungen trifft? Auf keinen Fall. Smart bleiben heißt nicht, der Technologie blind zu vertrauen, aber auch nicht, ihr ängstlich zu misstrauen. Vielmehr geht es darum zu verstehen, was KI leisten kann und was ins Fantasiereich von Marketing-Hype und techno-religiöser Träumerei gehört. Außerdem geht es um die persönliche Fähigkeit und Bereitschaft, die Technologie zu steuern, statt von ihr ferngesteuert zu werden.

Smart bleiben ist nicht mit den digitalen Fertigkeiten für die Verwendung von Technologien zu verwechseln. Weltweit bemüht man sich, mit neuen Lehrprogrammen digitale Fertigkeiten zu verbessern, indem man Tablets und smarte Whiteboards für Klassenräume anschafft und Schüler in ihrer Anwendung unterweist. Aber diese Programme machen Kinder und Jugendliche nur selten mit den Risiken der digitalen Technologie vertraut. Die erschreckende Folge ist, dass die meisten Digital Natives nie gelernt haben, versteckte Werbung von echten Nachrichten zu unterscheiden, und sich vielmehr vom äußerlichen Schein einer unseriösen Webseite beeindrucken lassen. Beispielsweise zeigte eine Studie, dass 96 Prozent der Digital Natives nicht in der Lage sind, die Vertrauenswürdigkeit einer Webseite zu beurteilen.4

Eine smarte Welt ist nicht nur die Ergänzung unseres Lebens durch smarte Fernseher, Online-Dating und technischen Schnickschnack. Sie ist eine Welt, die durch digitale Technologie verwandelt wird. Als die Tür zur smarten Welt zum ersten Mal aufgestoßen wurde, entwarfen viele das Bild eines Paradieses, in dem alle Zugang zum Baum wahrhaftiger Information hätten, und beschworen das Ende von Unwissenheit, Lügen und Korruption. Sie dachten, die Fakten über Klimawandel, Terrorismus, Steuerhinterziehung, Ausbeutung der Armen und Verletzung der Würde des Menschen kämen endlich auf den Tisch. Unmoralische Politiker und gierige Manager würden bloßgestellt und zum Rücktritt gezwungen. Regierungen würden daran gehindert, die Öffentlichkeit auszuspionieren und die Privatsphäre zu verletzen.

Bis zu einem gewissen Grad hat sich dieser Traum verwirklicht, wenn auch das Paradies nicht unverdorben blieb. Die Welt wird aber nicht einfach besser oder schlechter. Tatsächlich wandelt sich die Gesellschaft. Was wir für gut und schlecht halten, verändert sich. Beispielsweise waren die Menschen vor gar nicht so langer Zeit außerordentlich um ihre Privatsphäre besorgt und gingen auf die Straße, um gegen Regierungen und Unternehmen zu protestieren, die versuchten, sie zu überwachen und sich ihre persönlichen Daten zu beschaffen. Ein breites Spektrum von Aktivisten, jungen Liberalen und etablierten Organisationen protestierte heftig gegen die deutsche Volkszählung 1987, weil die Leute befürchteten, Computer könnten ihre Antworten deanonymisieren. Zornige Verweigerer bepflasterten die Berliner Mauer mit Tausenden von leeren Fragebögen. Bei der Volkszählung 2001 in Australien gaben 70 000 Befragte als Religion »Jedi« an (nach dem Film Star Wars). Und noch 2011 protestierten britische Bürger gegen Fragen, die ihre Privatsphäre verletzten, etwa wenn sie ihre Religionszugehörigkeit angeben sollten.5 Wenn heute unser smartes Haus ununterbrochen aufzeichnet, was wir tun, selbst im Schlafzimmer, und die smarte Puppe unseres Kindes jedes Geheimnis aufzeichnet, das ihr anvertraut wird, zucken immer mehr nur die Achseln. Das Empfinden für Privatsphäre und Würde passt sich der Technik an oder wird möglicherweise obsolet. Einst war der Traum von Internet gleichbedeutend mit Freiheit; heute bedeutet Freiheit für viele Menschen kostenloses Internet.

Seit undenklichen Zeiten entwickeln die Menschen eindrucksvolle neue Technologien, von denen sie nicht immer klugen Gebrauch machen. Für die Nutzung der vielen Vorteile der Technologie brauchen wir Einsicht und Mut, um in einer smarten Welt smart zu bleiben. Jetzt ist nicht der Zeitpunkt, die Hände in den Schoß zu legen und uns zu entspannen, sondern die Augen aufzumachen und die Kontrolle zu behalten.

Die Kontrolle behalten

Wenn Sie kein unerschrockener Draufgänger sind, dürften Sie sich gelegentlich um Ihre Sicherheit sorgen. Was glauben Sie, welches Verhängnis wird in den nächsten zehn Jahren wahrscheinlicher sein?

•  Sie werden von einem Terroristen getötet.

•  Sie werden von einem Autofahrer getötet, der von einem Smartphone abgelenkt ist.

Wenn Sie sich für den terroristischen Anschlag entscheiden, gehören Sie zur Mehrheit. Seit dem Anschlag vom 11. September 2001 zeigen Umfragen in Deutschland und Nordamerika, dass nach Meinung vieler Menschen vom Terrorismus die größte Gefahr für ihr Leben ausgeht. Für einige ist das ihre größte Angst. Gleichzeitig geben die meisten ziemlich unbefangen zu, dass sie beim Fahren Nachrichten verschicken. In den zehn Jahren vor 2020 wurden in Deutschland durchschnittlich drei Menschen pro Jahr von islamistischen, rechtsextremen oder anderen Terroristen umgebracht. Im gleichen Zeitraum fielen jährlich mehr als 300 Menschen abgelenkten Autofahrern zum Opfer, die häufig auf ihrem Handy Nachrichten verschickten, lasen oder streamten. In den Vereinigten Staaten waren es 36 Terroristenopfer pro Jahr6 und mehr als 3000 Menschen, die abgelenkten Autofahrern zum Opfer fielen.7 Diese Ziffer entspricht der Opferzahl vom 11. September, aber pro Jahr.

Die meisten Amerikaner haben auch mehr Furcht vor Terrorismus als vor Waffen, obwohl es viel unwahrscheinlicher ist, dass sie von einem Terroristen erschossen werden als von einem Kind, das in ihrer Familie mit einer Waffe herumspielt. Wenn Sie nicht in Afghanistan oder Nigeria leben, ist die Wahrscheinlichkeit erheblich größer, durch einen abgelenkten Autofahrer – und das könnten Sie selbst sein – getötet zu werden. Das ist kein Wunder. Wenn ein 20-jähriger Fahrer ein Handy benutzt, fällt seine Reaktionszeit plötzlich auf die eines 70-Jährigen zurück.8 Ein Fall »spontaner Hirnalterung«.

Warum schreiben Menschen Nachrichten, während sie Auto fahren? Möglicherweise sind sie sich nicht bewusst, wie gefährlich es ist. Doch in einer Umfrage habe ich festgestellt, dass die meisten sehr wohl um die Gefahr wissen.9 Hier handelt es sich nicht um mangelndes Bewusstsein, sondern um mangelnde Selbstbeherrschung. »Wenn eine Textnachricht reinkommt, muss ich einfach nachsehen, egal, was ist«, erklärte ein Student. Die Selbstbeherrschung ist noch erschwert worden, seit Plattformen Benachrichtigungen, Likes und andere psychologische Tricks eingeführt haben, damit sich die Augen der Nutzer auf ihre Seiten statt auf die Umgebung richten. Dabei ließe sich viel Unheil vermeiden, wenn man den Drang, auf dem Handy nachzusehen, zügeln und stattdessen auf die Straße achten würde. Und das betrifft nicht nur junge Leute. »Schreibt euren Lieben nicht, wenn ihr wisst, dass sie Auto fahren«, meinte eine verzweifelte Mutter, als sie ihre Tochter auf der Intensivstation besuchte. Die junge Frau hatte das Gesicht voller Narben und ein Auge verloren, nachdem die Mutter ihr eine »blöde Textnachricht« geschickt hatte.10 Ein Smartphone ist eine tolle Technologie, aber es braucht smarte Menschen, die es vernünftig verwenden. Hier erweist sich die Fähigkeit, verantwortlich zu handeln und eine Technologie unter Kontrolle zu behalten, als ein Schutz für Ihre eigene Sicherheit und die Ihrer Lieben.

Massenüberwachung ist ein Problem und keine Lösung

Warum wir einen terroristischen Angriff mehr fürchten als einen abgelenkten Fahrer, erklärt sich zum Teil daraus, dass die Medien Terroristen mehr Aufmerksamkeit schenken als abgelenkten Fahrern und dass Politiker ihrem Beispiel folgen. Um ihre Bürger zu schützen, experimentieren Regierungen weltweit mit Systemen zur Überwachung durch Gesichtserkennung. Im Labor funktionieren diese Systeme hervorragend, wenn Pass- oder Bewerbungsfotos oder andere gut beleuchtete Bilder mit ähnlichen Kopfhaltungen als Vorlagen verwendet werden. Doch wie genau sind sie in der Wirklichkeit? Ein Test fand nicht weit von mir entfernt statt.

Am Abend des 19. Dezember 2016 kaperte ein 24-jähriger islamistischer Terrorist einen schweren Lastwagen und raste mit ihm in einen gut besuchten Berliner Weihnachtsmarkt voller Touristen und Einheimischer, die sich Bratwürste und Glühwein schmecken ließen, tötete dabei zwölf Menschen und verletzte 49 weitere. Im folgenden Jahr ließ der deutsche Innenminister im Berliner Bahnhof Südkreuz Gesichtserkennungssysteme installieren, um festzustellen, wie genau sie Verdächtige erkennen. Am Ende des einjährigen Pilottests nannte der Minister in seiner Presseerklärung voller Stolz zwei beeindruckende Zahlen: eine Trefferquote von 80 Prozent, das heißt, von zehn Verdächtigen identifizierten die Systeme acht zutreffend, während ihnen zwei entgingen; und eine Fehlalarmrate von 0,1 Prozent, das heißt, nur einer von 1000 unschuldigen Passanten wurde zu Unrecht für verdächtig gehalten. Der Minister pries das System als großen Erfolg und gelangte zu dem Schluss, landesweite Überwachung sei machbar und wünschenswert.

Nach der Presseerklärung entbrannte eine heftige Debatte. Eine Gruppe vertrat die Ansicht, dass mehr Sicherheit mehr Überwachung rechtfertige, während die andere Gruppe fürchtete, die Kameras würden am Ende die »Telemonitore« aus George Orwells 1984 werden. Beide aber nahmen die Genauigkeit des Systems als gegeben hin.11 Statt für eine Seite in der emotionalen Debatte Partei zu ergreifen, wollen wir lieber klarstellen, was tatsächlich passieren würde, wenn es solche Gesichtserkennungssysteme flächendeckend gäbe. Tagtäglich laufen rund 12 Millionen Menschen durch die Bahnhöfe in Deutschland. Abgesehen von ein paar Hundert gesuchten Verdächtigen handelt es sich um gewöhnliche Menschen, die auf dem Weg zu ihrer Arbeit oder ihrem Vergnügen sind. Hinter der eindrucksvoll klingenden Fehlalarmrate von 0,1 Prozent verbergen sich fast 12 000 Passanten pro Tag, die zu Unrecht als Verdächtige betrachtet würden. Sie alle würden angehalten, nach Waffen oder Drogen durchsucht und in Verwahrung genommen, bis ihre Identität geklärt wäre.12 Teile der ohnehin stark beanspruchten polizeilichen Ressourcen würde man zur Überprüfung dieser unschuldigen Bürger verbrauchen, statt sie für effektive Verbrechensprävention zu nutzen. In anderen Worten, ein solches System ginge in Wirklichkeit zu Lasten der Sicherheit. Letztlich hätte man ein Überwachungssystem, das die individuelle Freiheit einschränkte und ein Störfaktor des sozialen und wirtschaftlichen Lebens wäre.

Gesichtserkennung kann gute Dienste leisten, aber bei einer anderen Aufgabe: Identifizierung eines Individuums statt Massenscreening. Nachdem ein Verbrechen in einer U-Bahn-Station begangen worden ist oder ein Auto eine rote Ampel überfahren hat, kann eine Videoaufzeichnung bei der Identifizierung des Täters helfen. Hier wissen wir, dass die Person eine Straftat verübt hat. Wenn wir dagegen alle in der Station screenen, wissen wir nicht, ob die Personen Verdächtige sind. Die meisten von ihnen sind es nicht, was – wie beim medizinischen Massenscreening – zu einer großen Zahl von Fehlalarmen führt. Für einen weiteren Zweck eignet sich Gesichtserkennung noch besser. Wenn Sie Ihr Handy freischalten, indem Sie auf das Display schauen, führt es eine sogenannte Authentifizierung durch. Anders als ein Straftäter, der in der U-Bahn-Station davonläuft, blicken Sie direkt in die Kamera, nähern Ihr Gesicht und halten vollkommen still; praktisch wird das Handy immer nur von Ihnen freigeschaltet. Diese Situation schafft eine ziemlich stabile Welt: Sie und Ihr Handy. Fehler passieren selten.

Um das Für und Wider der Gesichtserkennungssysteme zu diskutieren, müssen wir zwischen diesen drei Situationen unterscheiden: viele-mit-vielen, einer-mit-vielen und einer-mit-einem. Beim Massenscreening werden viele Menschen mit vielen anderen in einer Datenbank verglichen; bei der Identifikation wird eine Person mit vielen anderen verglichen; und bei der Authentifizierung wird eine Person mit einer anderen verglichen. Noch einmal, je kleiner die Unsicherheit, wie bei der Identifikation im Gegensatz zum Massenscreening, desto besser die Leistung des Systems. Erinnern wir uns an den gewaltsamen Sturm auf das US-Kapitol im Januar 2021, als die Gesichtserkennungssysteme im Handumdrehen einige der Eindringlinge identifizierten. Das Fazit lautet: KI ist nicht gut oder schlecht, sondern nützlich für einige Aufgaben und weniger nützlich für andere.

Nicht zuletzt ist diese Analyse auch für die Sorge um die Privatsphäre von Bedeutung. Die Öffentlichkeit fürchtet vor allem die Massenüberwachung durch den Staat, nicht die Identifizierung von Straftätern oder die Authentifizierung. Und genau bei der Massenüberwachung erweisen sich die Gesichtserkennungssysteme als besonders unzuverlässig. Die Kenntnis dieses entscheidenden Unterschieds trägt zum Schutz der in westlichen Demokratien hochgeschätzten individuellen Freiheiten gegen die Überwachungsinteressen der eigenen Regierungen bei.

Ich habe nichts zu verbergen

Der Satz »Ich habe nichts zu verbergen« ist mittlerweile ein Gemeinplatz in Diskussionen über Social-Media-Unternehmen geworden, die alle persönlichen Daten sammeln, deren sie habhaft werden können. Oft hört man ihn von Nutzern, die lieber mit ihren Daten als mit ihrem Geld bezahlen. Der Satz könnte durchaus auf diejenigen unter uns zutreffen, deren Leben ohne besondere Ereignisse und schwerwiegende Gesundheitsprobleme verläuft, die sich nie potenzielle Feinde gemacht haben und sich nicht für Bürgerrechte einsetzen würden. Doch es geht nicht darum, persönliche Daten zu verbergen oder Bilder von niedlichen Kätzchen kostenlos posten zu können. Tech-Unternehmen interessiert es nicht, ob Sie etwas zu verbergen haben oder nicht. Vielmehr müssen sie uns, da wir kein Geld für ihre Dienstleistungen bezahlen, mit psychologischen Tricks dazu bringen, so viel Zeit wie möglich mit ihren Apps zu verbringen. Sie sind nicht der Kunde, die Kunden sind die Firmen, die die Tech-Unternehmen dafür bezahlen, dass sie sich Ihrer Aufmerksamkeit bemächtigen. Viele von uns kleben am Smartphone, bekommen zu wenig Schlaf wegen des neuen Bettpartners, finden kaum Zeit für etwas anderes und warten ungeduldig auf den nächsten Dopaminschub durch ein weiteres Like. Jia Tolentino, eine Journalistin des New Yorker, schrieb über den Kampf mit ihrem Handy:13 »Ich trage das Handy mit mir herum, als wäre es eine Sauerstoffflasche. Ich starre es an, während ich Frühstück mache und den Müll rausbringe, und ruiniere dabei, was ich am meisten an der Arbeit zu Hause schätze – die Selbstständigkeit und den relativen Frieden.« Andere sind verletzt nach einem vernichtenden Online-Kommentar von Fremden über ihr Aussehen und ihren Verstand. Wieder andere driften in extremistische Gruppen ab, die auf Fake News und Hasstiraden hereinfallen.

Die Welt ist gespalten in diejenigen, die es wenig kümmert, dass die Digitaltechnik ihr Leben beeinflusst, und diejenigen, die wie Tolentino meinen, sie mache sie so abhängig wie Spielsüchtige, die nur noch ans Glücksspiel denken können. Doch die Technologie, und insbesondere die Social Media, käme auch gut zurecht, ohne darauf ausgerichtet zu sein, den Menschen Zeit und Schlaf zu rauben. Nicht die sozialen Medien an sich erzeugen bei einigen von uns diese Sucht, sondern das personalisierte anzeigengestützte Geschäftsmodell. Die Beeinträchtigungen ihrer Nutzer resultieren aus dieser »Erbsünde«.

Das Gratis-Café

Stellen Sie sich ein Café vor, das alle Konkurrenten in der Stadt ausgeschaltet hat, indem es kostenlosen Kaffee anbietet. Sie haben also kaum eine andere Wahl, als dorthin zu gehen, wenn Sie Ihre Freunde treffen wollen. Während Sie die Stunden genießen, die Sie plaudernd mit ihnen verbringen, zeichnen Wanzen und Kameras, die in Tische und Wände verkabelt sind, Ihre Gespräche auf und halten fest, mit wem Sie dort sitzen. Außerdem ist der Raum voller Verkäufer, die Ihren Kaffee bezahlen und Sie ständig unterbrechen, um Ihnen personalisierte Produkte und Dienstleistungen anzubieten. In diesem Café sind die Verkäufer die Kunden, nicht Sie und Ihre Freunde. Nach diesem Muster funktionieren Plattformen wie Facebook.14

Social Media wären weniger destruktiv, wenn sie sich an das Geschäftsmodell von echten Cafés oder von Fernsehen, Rundfunk und anderen Dienstleistern hielten, bei denen Sie als Kunde für die gewünschten Dienstleistungen bezahlen. Tatsächlich hatten sogar Sergey Brin und Larry Page, die jugendlichen Gründer von Google, 1998 anzeigengestützte Suchmaschinen kritisiert, weil sie zwangsläufig eher die Interessen ihrer Werbekunden als ihrer Nutzer berücksichtigen.15 Doch unter dem Druck ihrer Risikokapitalgeber knickten sie rasch ein und entwickelten das erfolgreichste personalisierte Werbemodell, das es derzeit gibt. In diesem Geschäftsmodell ist Ihre Aufmerksamkeit das Produkt, das verkauft wird. Die eigentlichen Kunden sind die Firmen, die Anzeigen auf den Webseiten schalten. Je häufiger die Nutzer eine Anzeige sehen oder auf sie klicken, desto mehr zahlen die Firmen an Google. Aus diesem Grund führen die Social-Media-Plattformen ein Experiment nach dem anderen durch, um die Nutzer zu veranlassen, möglichst lange auf ihren Seiten zu verweilen und umgehend wieder auf sie zurückzukehren. Der Drang, beim Autofahren nach dem Handy zu greifen, ist ein Musterbeispiel für den Erfolg dieser Strategie. Kurzum, die Quintessenz des Geschäftsmodells besteht darin, die Zeit und Aufmerksamkeit der Nutzer so intensiv wie möglich in Anspruch zu nehmen.

Im Interesse der Werbekunden sammeln die Tech-Unternehmen im Minutentakt Daten, die darüber Auskunft geben, wo Sie sind, was Sie tun und was Sie sich anschauen. Gestützt auf Ihre Gewohnheiten, machen sie eine Art Avatar aus Ihnen. Wenn ein Werbekunde eine Anzeige schaltet, etwa für Akku-Bohrmaschinen oder teure Lippenstifte, zeigt er die Werbung jenen Nutzern, die sie am ehesten kaufen werden. In der Regel bezahlen Werbekunden die Tech-Unternehmen für jeden Klick eines Nutzers auf die Werbung oder für jeden Seitenaufruf. Um also die Wahrscheinlichkeit zu erhöhen, dass Sie auf eine Anzeige klicken oder sie zumindest ansehen, versucht man Sie mit allen Mitteln dazu zu bringen, dass Sie möglichst lange auf der Seite bleiben. Likes, ständige Benachrichtigungen und andere psychologische Tricks wirken gemeinsam darauf hin, Sie abhängig zu machen – Tag und Nacht. So sind es nicht Ihre Daten, die verkauft werden, sondern Ihre Aufmerksamkeit, Ihre Zeit und Ihr Schlaf.

Wenn Google und Facebook nach dem Prinzip Zahl-mit-deinem-Geld verführen, wäre all das nicht nötig. Die Heerscharen von Ingenieuren und Psychologen, die in Experimenten herauszufinden versuchen, wie sie Sie länger ans Smartphone binden können, könnten sich dann nützlicheren technischen Neuerungen widmen. Zwar müssten die Social-Media-Unternehmen auch weiterhin bestimmte Daten sammeln, um ihre Empfehlungen Ihren spezifischen Bedürfnisse besser anzupassen, aber sie hätten keine Veranlassung mehr, andere überflüssige persönliche Daten zu erheben – etwa Daten, aus denen sich schließen ließe, dass Sie deprimiert sind, Krebs haben oder schwanger sind. Der Hauptgrund für die Sammlung dieser Daten – personalisierte Werbung – wäre entfallen. Netflix ist ein gutes Beispiel für ein Unternehmen, das dieses Prinzip schon eingeführt hat.16 Aus Sicht der Nutzer ergäbe sich der kleine Nachteil, dass wir alle für die Nutzung sozialer Netzwerke monatlich ein paar Euro bezahlen müssten. Für die Social-Media-Unternehmen hat das einträglichere Prinzip Zahl-mit-deinen-Daten jedoch den großen Vorteil, dass die Männer – ja, es sind nahezu ausschließlich Männer – an der Spitze der Hierarchie heute zu den reichsten und mächtigsten Zeitgenossen auf dem Planeten gehören.

Auf der Höhe der technologischen Entwicklung bleiben

Diese Beispiele vermitteln einen ersten Eindruck davon, was es heißt, auf der Höhe der technologischen Entwicklung zu bleiben. Um der Verlockung zu widerstehen, während des Autofahrens eine Nachricht zu schicken, benötigt man die Fähigkeit, selbstverantwortlich zu handeln und eine Technologie zu kontrollieren. Die Möglichkeiten und Grenzen von Gesichtserkennungssystemen zeigen uns, dass die Technologie in relativ stabilen Situationen ausgezeichnet funktioniert, wie zum Beispiel beim Entsperren Ihres Handys oder bei der Grenzkontrolle, wenn Ihr Passfoto mit einer anderen Fotografie von Ihnen verglichen wird. Doch beim Massenscreening unter realen Bedingungen bekommt KI Probleme und erzeugt zu oft Fehlalarm, was zu gewaltigen Schwierigkeiten führen kann, wenn Massen unschuldiger Menschen angehalten und durchsucht werden. Die Probleme schließlich, die durch soziale Medien verursacht werden – Verlust von Zeit, Schlaf und Konzentrationsfähigkeit sowie die Folgen der Sucht –, sind nicht die Schuld der sozialen Medien an sich, sondern des Businessplans der Unternehmen: Zahl mit deinen Daten. Um diese schwerwiegenden Probleme zu beseitigen, reichen keine neuen Datenschutzregelungen oder staatlichen Vorschriften über Online-Inhalte. Dazu müssen wir die Axt an die Wurzel des Problems legen, indem wir beispielsweise den zugrunde liegenden Businessplan verändern. Regierungen brauchen mehr politischen Mut, um die Menschen zu schützen, die sie vertreten.

Man sollte meinen, allen die Chancen und Risiken der digitalen Technologie zu vermitteln müsste bereits weltweit ein vorrangiges Ziel aller Bildungssysteme und Regierungen sein. Weit gefehlt. Tatsächlich wird es weder in dem OECD-Papier »Key issues for digital transformation in the G20« (Schlüsselprobleme der digitalen Transformation in den G20-Staaten) von 2017 noch in dem 2020 vorgelegten »Weißbuch zur Künstlichen Intelligenz« der Europäischen Kommission überhaupt erwähnt.17 Diese Programme beschäftigen sich mit anderen wichtigen Aspekten – der Schaffung von Innovationsschmieden, digitalen Infrastrukturen, geeigneter Gesetzgebung und gesteigertem Vertrauen der Menschen in KI. Infolgedessen sind die meisten Digital Natives nicht im Mindesten darauf vorbereitet, Fakten von Fakes und Nachrichten von versteckten Anzeigen zu unterscheiden.

Doch für die Lösung der Probleme ist mehr erforderlich als Infrastruktur und Regulierung. Dazu müssen wir uns die Zeit zum Mitdenken nehmen und genauer hinsehen. Mussten Sie lange in einer Service-Hotline warten? Dann könnte es sein, dass aufgrund Ihrer Adresse oder eines Algorithmus Ihnen ein geringer Kundenwert zugeschrieben wurde. Haben Sie bemerkt, dass das erste Ergebnis einer Google-Suche nicht besonders nützlich für Sie war? Dann war es wahrscheinlich dasjenige, für das eine Firma am meisten bezahlt hat.18 Ist Ihnen bewusst, dass Ihr geliebter Smart-TV möglicherweise Ihre privaten Gespräche im Wohn- oder Schlafzimmer aufzeichnet?19

Wenn Ihnen dies alles nicht neu ist, dann wird es Sie vielleicht überraschen, dass es das für die meisten sehr wohl ist. Wenige Menschen wissen, dass Algorithmen ihre Wartezeit bestimmen. Sechs von sieben Deutschen wissen nicht, dass ein intelligenter Fernseher aufzeichnet, was immer sie sagen, und an ungenannte Dritte weiterleitet.20 Wie Studien zeigen, sind sich auch rund 50 Prozent der erwachsenen Nutzer nicht darüber im Klaren, dass die besonders markierten Suchresultate Anzeigen sind und nicht die relevantesten oder beliebtesten Ergebnisse.21 Der Grund für diese Unkenntnis liegt aber nicht allein bei den Nutzern; Google selbst trägt aktiv dazu bei. Die »gesponserten« Anzeigen sind tatsächlich markiert, aber im Laufe der Jahre hat Google sie immer mehr dem Aussehen von »organischen« Suchergebnissen (keine Werbung) angeglichen. Anfangs waren die Werbelinks der Suchtrefferliste durch farblich hervorgehobenen Hintergrund klar gekennzeichnet, wobei der Farbton allerdings über die Jahre abgeschwächt wurde. Ab 2013 wurde die Hintergrundfarbe weggelassen, stattdessen war nur noch das Wort »Anzeige« gelb unterlegt; seit 2020 wird auch diese Farbe fortgelassen, sodass sich die Anzeige nun noch unauffälliger in die organischen Suchergebnisse einfügt. Google experimentiert ständig damit, Werbung so ähnlich wie organische Ergebnisse aussehen zu lassen, obgleich die klare Trennung von Werbung und anderen Inhalten ein gesetzliches und ethisches Gebot ist. Das Zahl-mit-deinen-Daten-Modell verführt dazu. Von den Werbekunden wird Google für jeden Klick auf Werbung bezahlt, nicht aber für einen Klick auf organische Ergebnisse. Das heißt, wenn Nutzer irrtümlicherweise glauben, die ersten (gesponserten) Ergebnisse seien keine Werbung, sondern die relevantesten für sie, dann ist das gut fürs Geschäft.

Wie erwähnt begrüßen viele Führungskräfte und Politiker Big Data und Digitalisierung mit großer Begeisterung. Nun ist Begeisterung nicht dasselbe wie Verständnis. Viele der übereifrigen Propheten scheinen nicht zu wissen, wovon sie sprechen. Nach einer Studie von 2017 über 400 Vorstände der damals 80 deutschen DAX- und MDAX-Unternehmen hatten 92 Prozent von ihnen keine erkennbare oder dokumentierte Erfahrung mit Digitalisierung.22 Entsprechend war, als Mark Zuckerberg vor Mitgliedern des US-Kongresses zur neuesten Datenschutz-Kontroverse aussagen musste, die eigentliche Überraschung nicht, was er in seinen einstudierten Antworten mitteilte, sondern der Umstand, dass die US-Politiker offenbar kaum eine Ahnung von den undurchsichtigen Vorgehensweisen der Social-Media-Unternehmen hatten.23 Als ich im Sachverständigenrat für Verbraucherfragen des Bundesministeriums der Justiz und für Verbraucherschutz mitarbeitete, untersuchten wir, wie die verborgenen Algorithmen von Wirtschaftsauskunfteien von den Datenschutzbehörden überwacht werden. Diese müssen dafür sorgen, dass die Algorithmen verlässliche Indikatoren der Kreditwürdigkeit sind, die nicht aufgrund von Geschlecht, ethnischer Herkunft oder anderen individuellen Merkmalen diskriminieren. Als die Schufa ihren Algorithmus einreichte, räumte die Behörde ein, dass ihr die nötigen Kenntnisse auf dem Gebiet der IT und Statistik fehlten, um den Algorithmus zu bewerten. Am Ende half die Schufa selbst aus, indem sie die Fachleute auswählte, die das Gutachten schrieben, und sogar deren Honorare bezahlte.24 In unserer smarten Welt scheint Ignoranz die Regel und nicht die Ausnahme zu sein. Das sollten wir rasch ändern und nicht erst in ferner Zukunft.

Technologischer Paternalismus

Paternalismus (von dem lateinischen Wort pater, Vater) ist die Auffassung, eine ausgewählte Gruppe habe das Recht, andere Menschen wie Kinder zu behandeln, die sich der Autorität dieser Gruppe bereitwillig fügen sollten. Früher lautete die Rechtfertigung, die herrschende Gruppe sei von Gott erwählt worden, gehöre zur Aristokratie oder verfüge über geheimes Wissen beziehungsweise ungeheuren Reichtum. Die ihrer Autorität unterworfenen Bevölkerungsteile gelten als Menschen zweiter Klasse, weil sie etwa weiblich, von anderer Hautfarbe, arm oder bildungsfern sind. Während des 20. Jahrhunderts befand sich der Paternalismus auf dem Rückzug, weil die weit überwiegende Mehrheit der Menschheit endlich die Möglichkeit bekam, lesen und schreiben zu lernen, und weil Regierungen Männern wie Frauen Redefreiheit, Freizügigkeit und Wahlrecht einräumten. Diese Revolution, für die engagierte Vorkämpfer im Gefängnis landeten oder sogar ihr Leben ließen, ermöglichte den folgenden Generationen, also auch uns, unsere Angelegenheit selbst in die Hand zu nehmen. Doch das 21. Jahrhundert erlebt den Aufstieg eines neuen Paternalismus durch Unternehmen, die Computer verwenden, um unser Verhalten vorherzusagen und zu manipulieren, ob wir damit einverstanden sind oder nicht. Seine Propheten verkünden sogar die Ankunft eines neuen Gottes, einer allwissenden Superintelligenz namens AGI (Artificial General Intelligence, künstliche allgemeine Intelligenz), von der es heißt, sie übertreffe Menschen in allen Bereichen der Denkleistung. Bis zur Ankunft des neuen Gottes sollten wir seinen Propheten gehorchen.25

Technologischer Solutionismus ist die Überzeugung, dass jedes gesellschaftliche Problem eine »Störung« sei und durch einen Algorithmus »behoben« werden müsse. Technologischer Paternalismus ist die natürliche Konsequenz, Regieren durch Algorithmen. Dazu braucht noch nicht einmal die Fiktion einer Superintelligenz bemüht zu werden; wir sollen einfach nur akzeptieren, dass Unternehmen und Staaten Minute für Minute aufzeichnen, wo wir sind, was wir tun und mit wem – wie wir auch darauf vertrauen sollen, dass diese Aufzeichnungen die Welt zu einem besseren Ort machen werden. In den Worten von Googles ehemaligem CEO Eric Schmidt: »Das Ziel ist, Google-Nutzer dazu zu bringen, dass sie Fragen stellen wie zum Beispiel ›Was soll ich morgen tun?‹ und ›Für welchen Job soll ich mich entscheiden?‹.«26 Eine Menge populärwissenschaftliche Autoren befördern unsere Ehrfurcht vor dem technologischen Paternalismus, indem sie Geschichten erzählen, die, sehr vorsichtig ausgedrückt, ökonomisch mit der Wahrheit umgehen.27 Überraschender ist, dass selbst einige einflussreiche Forscher KI nahezu grenzenlose Fähigkeiten zuschreiben. Sie vertreten die Ansicht, das menschliche Gehirn sei nur ein minderwertiger Computer und wir sollten Menschen durch Algorithmen ersetzen, wo immer möglich.28 KI werde uns schon sagen, was zu tun sei, und an uns sei es, auf sie zu hören und ihr zu folgen. Wir müssten einfach abwarten, bis KI ein wenig smarter geworden sei. Merkwürdig, aber die Botschaft lautet nie, auch die Menschen müssten ein bisschen smarter werden.

Ich habe dieses Buch geschrieben, um Leser in die Lage zu versetzen, realistisch einzuschätzen, was KI leisten kann und wie sie verwendet wird, um uns zu beeinflussen. Wir brauchen nicht noch mehr Paternalismus; davon hatten wir in den vergangenen Jahrhunderten mehr als genug. Aber genauso wenig brauchen wir technophobe Panik, die von jedem größeren technologischen Fortschritt erneut entfacht wird. Als die Eisenbahn erfunden wurde, warnten Ärzte davor, dass die Passagiere ersticken würden.29 Als Rundfunkgeräte allgemein erschwinglich wurden, war man besorgt, dass zu viel Radiohören für Kinder schädlich sei, weil sie Ruhe brauchten und keinen Jazz.30 Statt Panik oder Hype braucht die digitale Welt informierte und kritikfähige Bürger, die ihr Leben selbst bestimmen wollen.

Das vorliegende Buch ist keine akademische Einführung in die KI und ihre Teildisziplinen wie maschinelles Lernen und Big-Data-Analytik. Vielmehr handelt es von der Beziehung des Menschen zur KI: von Vertrauen, Täuschung, Verständnis, Sucht und persönlichem wie sozialem Wandel. Es ist für eine breite Leserschaft geschrieben, als Hilfe für die Bewältigung der Herausforderungen in einer smarten Welt gedacht und stützt sich unter anderem auf meine eigene Forschung über Entscheidungsfindung unter unsicheren Bedingungen am Max-Planck-Institut für Bildungsforschung. Im Laufe dieses Buchs wird meine persönliche Einstellung zu Freiheit und Würde des Menschen nicht verborgen bleiben, aber ich habe mich darum bemüht, die Fakten objektiv zu präsentieren, sodass sich die Leser ihre eigene Meinung bilden können. Diese Forschung bestärkt mich auch weiterhin in der tiefen Überzeugung, dass wir Menschen nicht so dumm und unfähig sind, wie häufig behauptet wird – solange wir aktiv bleiben und von unserem Gehirn und unseren anderen Fähigkeiten Gebrauch machen, die im verwickelten Verlauf der Evolution entstanden sind. Die Gefahr, dass wir auf das negative Narrativ Maschine-über-Mensch hereinfallen und es staatlichen Autoritäten oder Tech-Unternehmen überlassen, unser Leben nach ihren Bedingungen zu »optimieren«, wächst mit jedem Tag – was mich besonders motiviert hat, dieses Buch zu schreiben. Wie in meinen früheren Büchern Bauchentscheidungen und Risiko ist auch Klick letztlich ein leidenschaftlicher Appell, hart erkämpfte Errungenschaften wie persönliche Freiheit und Demokratie am Leben zu erhalten.

Heute und in der nahen Zukunft erleben wir einen Konflikt zwischen zwei Systemen, dem autokratischen und dem demokratischen, nicht unähnlich dem Kalten Krieg. Doch anders als in jener Epoche, in der die Nukleartechnologie ein prekäres Gleichgewicht zwischen den beiden Kräften aufrechterhielt, kann heute die Digitaltechnologie leicht den Ausschlag für die autokratischen Systeme geben. Das haben wir während der Covid-19-Pandemie gesehen, als einige autokratische Staaten das Virus erfolgreich mithilfe strenger digitaler Überwachungssysteme eindämmten.

Ich kann nicht alle Aspekte behandeln, die das weite Feld der Digitalisierung betreffen, werde aber anhand von ausgewählten Themen allgemeine Prinzipien erklären – so das Prinzip der stabilen Welt und den texanischen Scharfschützen in Kapitel 2, das Prinzip der Anpassung an KI und den Russischen-Panzer-Fehler in Kapitel 4. Wie Ihnen vielleicht aufgefallen ist, verwende ich den Begriff KI in einem sehr weiten Sinne, sodass er jeden Algorithmus einschließt, der leisten soll, was die menschliche Intelligenz leistet. Aber ich werde, wann immer erforderlich, differenzieren.

In jeder Kultur müssen wir über die künftige Welt sprechen, in der wir und unsere Kinder leben möchten. Es wird nicht nur eine einzige Antwort geben. Aber es gibt eine allgemeine Botschaft, die für alle Visionen gilt. Trotz – oder wegen – der schnellen technologischen Innovation sind wir mehr als jemals zuvor aufgefordert, mitzudenken statt einfach mitzumachen.

Beginnen wir mit einem Problem, das uns allen am Herzen liegt – die wahre Liebe zu finden –, und mit geheimen Algorithmen, die so einfach sind, dass alle sie verstehen können.

Teil 1

DER MENSCH UND DIE KI

Das Problem ist nicht der Aufstieg der »smarten« Maschinen, sondern die Verdummung der Menschheit.

ASTRA TAYLOR31