Warum greife ich Thomas Friedman heraus, wenn jeder andere prominente Experte genauso gut als Beispiel dienen könnte? Ich habe die Wahl nach einer einfachen Formel getroffen: (Expertenstatus) x (Überprüfbarkeit der Prognosen) x (Relevanz des Experten). Der Experte mit der höchsten Punktzahl gewinnt. Friedman genießt hohen Status; seine Behauptungen über künftige Entwicklungen sind schwer zu überprüfen, und seine Arbeit ist relevant für geopolitische Prognostik. Die Entscheidung für Friedman hat rein gar nichts mit einer Aversion gegen seine Meinungen zu tun. Im Gegenteil, im letzten Kapitel gestehe ich eine gewisse Bewunderung für seine Arbeit ein. So schwammig Friedmans Aussagen über Zukunft sind, so interessant sind die Fragen, die er aufwirft.

Das soll wieder nicht heißen, dass Friedman in dieser Hinsicht eine Ausnahme ist. Fast alle politische Experten der Welt gehen nach denselben unausgesprochenen Regeln vor. Sie stellen zahllose Behauptungen über künftige Entwicklungen auf und kleiden diese in derart schwammige Formulierungen, dass sie sich unmöglich überprüfen lassen. Wie sollte man zum Beispiel folgende Aussagen bewerten: »Die Ausweitung der NATO könnte Russland zu einer wütenden Reaktion verleiten und sogar einen neuen Kalten Krieg auslösen« oder »Der Arabische Frühling könnte ein Zeichen dafür sein, dass die Tage der arabischen Autokratien gezählt sind«? Das Schlüsselwort in diesen Wortspielereien ist jeweils »könnte«, aber die Autoren verraten uns nicht, wie wir sie deuten sollen. »Könnte« könnte alles Mögliche bedeuten, von einer 0,00001-prozentigen Wahrscheinlichkeit, dass die Erde in den nächsten hundert Jahren von einem großen Asteroiden getroffen wird, bis zu der 70-prozentigen Wahrscheinlichkeit, dass Hillary Clinton im Jahr 2016 die Präsidentschaftswahlen gewinnt. Das macht es unmöglich, die Korrektheit der Aussagen zu überprüfen. Und damit haben Experten großen Spielraum, eine korrekte Prognose auf ihrem Konto zu verbuchen (»Ich habe doch gesagt, dass es passieren könnte«) oder sich gegen den Vorwurf einer Fehlprognose zu verwehren (»Ich habe doch nur gesagt, dass es passieren könnte«). In diesem Buch werden wir zahlreichen Beispielen für diese Art von Wortspielereien begegnen.

Es scheint, als wären uns Prognosen zur Aufstellung der Yankees wichtiger als Prognosen zum Völkermord im Südsudan. Natürlich hinkt der Vergleich. Baseball wird immer wieder unter denselben Bedingungen gespielt, während die Politik ein unwägbares Spiel ist, dessen Regeln sich dauernd verändern. Deshalb ist die Beurteilung von politischen Prognosen deutlich schwieriger als die Aufstellung von Baseballstatistiken. Aber »schwieriger« heißt nicht unmöglich. Es ist sogar sehr gut möglich.

Man könnte noch einen anderen Einwand gegen den Vergleich vorbringen: Politische Experten geben nicht nur Prognosen ab, sondern ordnen Ereignisse historisch ein, deuten sie, vertreten Positionen und werfen Fragen auf. Aber daneben geben sie eben auch zahllose implizite oder explizite Prognosen ab. Auch ihre historischen Vergleiche implizieren oft eine Prognose: Wenn von Appeasement die Rede ist, dann schwingt immer auch die Erwartung mit, dass das betreffende Land, dem man Entgegenkommen zeigt, immer neue Forderungen stellt. Und der Vergleich mit dem Zweiten Weltkrieg wird gern angestellt, um zu prognostizieren, dass Drohungen den Konflikt weiter eskalieren lassen. Auch ist es unmöglich, politische Positionen zu beziehen (wie das Experten gern tun), ohne Annahmen darüber zu treffen, dass wir mit dieser oder jener Lösung besser oder schlechter bedient wären. Zeigen Sie mir einen Experten, der nicht zumindest implizit Prognosen abgibt, und ich zeige Ihnen einen Experten, der in der Bedeutungslosigkeit versunken ist.

Siehe James Gleick, Chaos: Making a New Science History and Theory (New York: Viking, 1987); Donald N. McCloskey, »History, Differential Equations, and the Problem of Narration«, History and Theory 30 (1991), S. 21–36.

Pierre-Simon Laplace, A Philosophical Essay on Probabilities, übers. v. Frederick Wilson Truscott und Frederick Lincoln Emory (New York: Dover Publications, 1951), S. 4.

Selbst Historiker, die es besser wissen sollten, geben derartig weitreichende Prognosen von sich. Zum Beispiel Margaret MacMillan, die in Maureen Dowds New York Times-Kolumne vom 7. September 2014 zitiert wird: »Das 21. Jahrhundert wird ein Jahrhundert niederschwelliger, gemeiner Kriege, die sich ohne klare Ergebnisse dahinschleppen und viele zivile Opfer fordern« – eine gute Zusammenfassung der letzten Jahre, aber ein zweifelhafter Leitfaden für die Welt des Jahres 2083. Bücher wie Die nächsten 100 Jahre stürmen die Bestsellerlisten. Der Autor des letztgenannten Buchs ist zufällig George Friedman, Vorsitzender des Beratungsunternehmens Stratfor, das betuchte Kunden im öffentlichen und privaten Sektor mit geopolitischen Prognosen versorgt. Gerade einmal zwei Jahre nach Erscheinen des Buchs wurde der Nahe Osten durch den Arabischen Frühling auf den Kopf gestellt, aber dazu finde ich in Friedmans Buch kein Wort, was Zweifel über die Prognosen zu den verbleibenden 98 Jahren aufkommen lässt. Friedman ist außerdem der Autor von The Coming War with Japan, in dem er einen Krieg zwischen Japan und den Vereinigten Staaten prophezeit, doch auch dieser ist bislang ausgeblieben.

Inseln der Professionalität in einem Meer der Stümperei finden Sie in Nate Silver, The Signal and the Noise: Why So Many Predictions Fail – but Some Don’t (New York: Penguin Press, 2012); J. Scott Armstrong (Hg.), Principles of Forecasting: A Handbook for Researchers and Practitioners (Boston: Kluwer, 2001); und Bruce Bueno de Mesquita, The Predictioneer’s Game (New York: Random House, 2009). Dem Meer weiteres Land abzuringen hat sich als schwer erwiesen. Oft werden selbst einfache statistische Vorstellungen wie die Regression zur Mitte vergessen. Siehe D. Kahneman und A. Tversky, »On the Study of Statistical Intuitions«, Cognition 11 (1982), S. 123–41. Das ist eine große Herausforderung für Projekte wie das Good Judgment Project, die Menschen beibringen wollen, wie Superprognostiker zu denken.

»Bill Gates: My Plan to Fix the World’s Biggest Problems«, Wall Street Journal, 25. Januar 2013, http://www.wsj.com/articles/SB10001424127887323539804578261780648285770.

B. Fischhoff und C. Chauvin (Hg.), Intelligence Analysis: Behavioral and Social Scientific Foundations (Washington, DC: National Academies Press, 2011); Committee on Behavioral and Social Science Research to Improve Intelligence Analysis for National Security, Board on Behavioral, Cognitive, and Sensory Sciences, Division of Behavioral and Social Sciences and Education, National Research Council, Intelligence Analysis for Tomorrow: Advances from the Behavioral and Social Sciences (Washington, DC: National Academies Press, 2011)

P. E. Tetlock, B. Mellers, N. Rohrbaugh und E. Chen, »Forecasting Tournaments: Tools for Increasing Transparency and Improving the Quality of Debate«, Current Directions in Psychological Science (2014), S. 290–95.

Aaron Brown, Gespräch mit dem Autor, 30. April 2013.

Paul Meehl, Clinical Versus Statistical Prediction (Minneapolis: University of Minnesota Press, 1954).

Stephen Baker, Final Jeopardy (Boston: Houghton Mifflin Harcourt, 2011), S. 35.

David Ferrucci, Gespräch mit dem Autor, 8. Juli 2014.

Archibald L. Cochrane und Max Blythe, One Man’s Medicine: An Autobiography of Professor Archie Cochrane (London: British Medical Journal, 1989).

Ebd., S. 171.

Ebd.

Druin Burch, Taking the Medicine: A Short History of Medicine’s Beautiful Idea, and Our Difficulty Swallowing It (London: Vintage, 2010), S. 4.

Ebd., S. 37.

Ira Rutkow, Seeking the Cure: A History of Medicine in America (New York: Scribner, 2010), S. 98.

Ebd., S. 94.

Burch, Taking the Medicine, S. 158.

Richard Feynman, Commencement Address am California Institute of Technology, Pasadena, 1974.

Richard Feynman, The Meaning of It All: Thoughts of a Citizen-Scientist (New York: Basic Books, 2005), S. 28.

Ebd., S. 27.

Cochrane und Blythe, One Man’s Medicine, S. 46, 157, 211, 190.

Daniel Kahneman, Thinking, Fast and Slow (New York: Farrar, Straus and Giroux, 2011), S. 209. Deutsche Ausgabe: Schnelles Denken, langsames Denken (München: Siedler, 2012).

Wenn Sie mit der Kognitionspsychologie vertraut sind, dann wissen Sie vermutlich, dass die Denkrichtungen zu Heuristik und kognitiven Verzerrungen nicht unumstritten sind. Skeptiker sind beeindruckt, wie korrekt System 1 sein kann. Automatisch und mühelos setzen wir sinnlose Photonen und Schallwellen zu Bildern und Sprache zusammen (Steven Pinker, Wie das Denken im Kopf entsteht, München: Kindler, 1998).

Es ist strittig, wie oft uns die Heuristik von System 1 aufs Glatteis führt (Gerd Gigerenzer und Peter Todd, Simple Heuristics that Make Us Smart, New York: Oxford University Press, 1999) oder wie schwer es ist, kognitive Täuschungen durch Lernen oder Anreize zu überwinden (Philip Tetlock und Barbara Mellers, »The Great Rationality Debate: The Impact of the Kahneman und Tversky Research Program«, Psychological Science 13/5 [2002], S. 94–99). Die Psychologie muss die verschiedenen Mosaiksteinchen erst noch zusammenfügen. Die Erforschung der Verzerrungen bietet jedoch ein gutes Verständnis für die Fehler, die wir bei Prognosen machen, und ist ein guter Leitfaden, um diese Fehler zu reduzieren.

Michael Gazzaniga, The Mind’s Past (Berkeley: University of California Press, 1998), S. 24–25.

Ziva Kunda, Social Cognition: Making Sense of People (Cambridge, MA: MIT Press, 1999).

Kahneman, Schnelles Denken, langsames Denken, S. 212.

Das kann man bei Präsidentschaftswahlen beobachten. Wenn ein Amtsinhaber zur Wiederwahl antritt, wollen viele Wähler eine Antwort auf die Frage: »Hat er in der ersten Amtsperiode gute Arbeit geleistet?« Das ist allerdings eine schwierige Frage. Sie erfordert eine Analyse, was der Präsident in den ersten vier Jahren gut gemacht hat und was nicht, und, was noch schwieriger ist, eine Antwort auf die Frage, ob ein anderer Präsident es besser oder schlechter gemacht hätte. Selbst für Experten ist das kaum zu beantworten, und für jemanden, der sich nicht intensiv mit Politik beschäftigt, ist es unmöglich. Also vertauschen Wähler Haken und Köder und entscheiden danach, wie sie ihre momentane wirtschaftliche Lage und die des Landes sechs Monate vor der Wahl einschätzen. An die Stelle der schwierigen Frage »Hat der Präsident in der ersten Amtsperiode gute Arbeit geleistet?« tritt daher die einfachere Frage: »War das Land in den letzten sechs Monaten auf der richtigen Spur?« Nur wenige Wähler sagen explizit: »Es ist zu schwer, die Bilanz des Präsidenten zu beurteilen, also stelle ich mir eine Stellvertreterfrage.« Aber implizit machen es viele von uns genauso. Siehe zum Beispiel Christopher Achen und Larry Bartels, »Musical Chairs: Pocketbook Voting and the Limits of Democratic Accountability«, Vortrag auf der Jahrestagung der American Political Science Association, Chicago, 2004.

Daniel Kahneman und Gary Klein, »Conditions for Intuitive Expertise: A Failure to Disagree«, American Psychologist 64/6 (September 2009), S. 515–26.

W.G. Chase und H.A. Simon, »The Mind’s Eye in Chess«, in Visual Information Processing, hg.v.W.G. Chase (New York: Academic Press, 1973).

Kahneman und Klein, »Conditions for Intuitive Expertise«, S. 520.

Ebd.

Nigel Farndale, »Magnus Carlsen: Grandmaster Flash«, Observer, 19. Oktober 2013.

Peggy Noonan, »Monday Morning«, Wall Street Journal, 5. November 2012, http://blogs.wsj.com/peggynoonan/2012/11/05/monday-morning.

Mark Spoonauer, »The Ten Worst Tech Predictions of All Time«, Laptop, 7. August 2013, blog.laptopmag.com/10-worst-tech-predictions-of-all-time.

Bryan Glick, »Timing Is Everything in Steve Ballmer’s Departure – Why Microsoft Needs a New Vision«, Computer Weekly Editor’s Blog, 27. August 2013, http://www.computerweekly.com/blogs/editors-blog/2013/08/timing-is-everything-in-steve.html.

»Starr Report: Narrative«. Nature of President Clinton’s Relationship with Monica Lewinsky (Washington, DC: US Government Printing Office, 2004), Fußnote 1128.

Sameer Singh, Tech-Thoughts, 18. November 2013, http://www.tech-thoughts.net/2013/11/smartphone-market-share-by-country-q3-2013.html#.VQM0QEJYW‑Q.

Barry Ritholtz, »2010 Reminder: QE = Currency Debasement and Inflation«, The Big Picture, 15. November 2013, http://www.ritholtz.com/blog/2013/11/qe-debasement-inflation/print.

Ein ähnliches Problem betrifft Steve Ballmers iPhone-Prognose. Der hier erwähnte Marktanteil des iPhones stammt aus dem sechsten Jahr nach der Markteinführung, und im siebten war er weiter gewachsen. Prinzipiell könnte Ballmer argumentieren, dass seine Prognose einen impliziten Zeitrahmen von zwei oder drei Jahren hatte. Das wäre das Gegenteil der »Wart’s ab«-Verteidigung. Dieses Argument ließe sich anführen, aber es würde genau das Gezänk provozieren, das wir bei der Beurteilung der Korrektheit von Vorhersagen vermeiden wollen.

Jonathan Schell, The Fate of the Earth and The Abolition (Stanford, CA: Stanford University Press, 2000), S. 183. Deutsche Ausgabe: Das Schicksal der Erde: Gefahr und Folgen eines Atomkriegs (München: Piper, 1982).

Brian Till, »Mikhail Gorbachev: The West Could Have Saved the Russian Economy«, Atlantic, 16. Juni 2001, http://www.theatlantic.com/international/archive/2011/06/mikhail-gorbachev-the-west-could-have-saved-the-russian-economy/240466.

Sherman Kent, »Estimates and Influence«, Studies in Intelligence (Summer 1968), S. 35.

Sherman Kent, »Words of Estimative Probability«, in Sherman Kent and the Board of National Estimates, hg. v. Donald P. Steury (Washington, DC: History Staff, Center for the Study of Intelligence, CIA, 1994), S. 134–35.

Ebd., S. 135.

Richard E. Neustadt und Ernest R. Mai, Thinking in Time (New York: Free Press, 1988).

Sherman Kent and the Profession of Intelligence Analysis, Center for the Study of Intelligence, Central Intelligence Agency, November 2002, S. 55.

Ebd.

David Leonhardt, »When the Crowd Isn’t Wise«, New York Times, 7. Juli 2012.

Henry Blodget, »Niall Ferguson: Okay, I Admit It – Paul Krugman Was Right«, Business Insider, 30. Januar 2012, http://www.businessinsider.com/niall-ferguson-paul-krugman-was-right-2012-1.

Brier-Werte sind angemessen, da sie den Prognostikern einen Anreiz bieten, ihre wahren Überzeugungen anzugeben und politischem Druck zu widerstehen. Prognostiker, die sich nur für ihren Brier-Wert interessieren, werden die Wahrscheinlichkeit für einen iranischen Atomtest im Jahr 2015 vielleicht mit 4 Prozent angeben, aber andere, die sich Sorgen um mögliche Konsequenzen bei einer Fehlprognose machen, könnten diesen Wert erhöhen. Brier-Werte bestrafen Überbewertungen und entsprechen den Verlusten, die Spieler nach demselben Fehler machen. Wenn Sie nicht bereit sind, Geld auf die von Ihnen geschätzten Wahrscheinlichkeiten zu setzen, dann sollten Sie Ihre Einschätzung überdenken. Siehe Glenn W. Brier, »Verification of Forecasts Expressed in Terms of Probability«, Monthly Weather Review 78/1 (1950), S. 1–3; Robert L. Winkler, »Evaluating Probabilities: Asymmetric Scoring Rules«, Management Science 40/11 (1994), S. 1395–405.

Larry Kudlow war zwar keiner der anonymen Teilnehmer meiner Untersuchung zu politischen Experten, aber er hätte dem Profil eines Igels entsprochen. Ich habe ihn nicht gewählt, weil er ein Konservativer ist; in meiner Untersuchung gab es auch viele Beispiele für linke Igel. In der Tat sehen viele Igel unabhängig von ihrer politischen Position die Bezeichnung »Igel« als Kompliment, nicht als Beleidigung. Sie sind entschlossener und meinungsfreudiger als die abwägenden Füchse.

Larry Kudlow, »Bush Boom Continues«, National Review, 10. Dezember 2007, http://nationalreview.com/article/223061/bush-boom-continues/larry-kudlow.

Larry Kudlow, »Bush’s ›R‹ is for ›Right‹«, creators.com, 2. Mai 2008, http://www. creators.com/opinion/lawrence-kudlow-bush-s-r-is-for-right.html.

Larry Kudlow, »If Things Are So Bad …« National Review, 25. Juli 2008.

Annie Duke, Gespräch mit dem Autor, 30. April 2013. Das ist keine Macke von Pokerspielern. Stellen Sie sich vor, Sie leiden unter Schlaflosigkeit, Sie haben seit Tagen nicht gut geschlafen, verlieren die Beherrschung und schreien im Büro eine Kollegin an. Dann entschuldigen Sie sich. Was sagt diese Szene über Sie aus? Sie sagt aus, dass Sie Schlaf brauchen. Darüber hinaus verrät sie gar nichts. Aber stellen Sie sich vor, Sie sehen jemanden, der herumschreit, sich dann entschuldigt und erklärt, er leide unter Schlafmangel. Was verrät Ihnen dieser Vorfall über diesen Menschen? Logischerweise sollte es dasselbe über diesen Menschen aussagen wie über Sie selbst, aber Jahrzehnte der Forschung zeigen, dass Sie ganz andere Schlüsse ziehen. Sie halten diesen Menschen gelinde gesagt für einen Armleuchter. Psychologen sprechen hier von einem Zuschreibungsfehler. Wir sind uns bewusst, dass situationsbedingte Faktoren wie Schlafmangel unser eigenes Verhalten beeinträchtigen können, und schreiben dieses Verhalten korrekt diesen Faktoren zu. Aber wenn es um andere Menschen geht, sehen wir darin einen Ausdruck ihrer Persönlichkeit. Warum verhält sich dieser Mann wie ein Armleuchter? Weil er einer ist. Das ist ein folgenschwerer Denkfehler. Wenn sich eine Studentin in einem Redewettbewerb für einen Republikanischen Kandidaten aussprechen soll, neigen Beobachter dazu, sie als Republikanerin wahrzunehmen – auch dann, wenn sie ihr die Aufgabe gestellt haben, diese Rolle zu spielen. Es ist schwer, einen Schritt aus sich herauszugehen und die Dinge so zu sehen, wie andere sie sehen. Siehe Lee Ross, »The Intuitive Psychologist and His Shortcomings: Distortions in the Attribution Process«, in Advances in Experimental Social Psychology, hg. v. Leonard Berkowitz, Bd. 10 (New York: Academic Press, 1977), S. 173–220; Daniel T. Gilbert, »Ordinary Personology«, in The Handbook of Social Psychology, Bd. 2, hg. v. Daniel T. Gilbert, Susan T. Fiske und Gardner Lindzey (New York: Oxford University Press, 1998), S. 89–150.

In der Universität kann es der Karriere dienen, in unentschiedenen Fragen eine extreme Position einzunehmen. Zum Beispiel: Wird unsere Denkweise von unserer Persönlichkeit vorgegeben, oder können wir so einfach zwischen Denkweisen hin und her wechseln wie zwischen sozialen Rollen? Die Wahrheit liegt irgendwo in der Mitte: Es hängt von der Flexibilität der Betroffenen und von der Situation ab. Anderes Beispiel: In den offenen IARPA-Wettbewerben waren die Teilnehmer deutlich zurückhaltender als in der Untersuchung zu Expertenurteilen, in der die Teilnehmer anonym waren. Ergebnis: In den IARPA-Wettbewerben kam der Unterschied zwischen Igel und Fuchs deutlich weniger zum Tragen.

National Intelligence Estimate background debriefing at the White House on weapons of mass destruction in Iraq, Oktober 2001, http://fas.org/irp/cia/product/ iraq-wmd.html.

Condoleezza Rice, Interview mit Wolf Blitzer, CNN, 8. September 2002.

Committee on Behavioral and Social Science Research to Improve Intelligence Analysis for National Security, Board on Behavioral, Cognitive, and Sensory Sciences, Division of Behavioral and Social Sciences and Education, National Research Council, Intelligence Analysis for Tomorrow: Advances from the Behavioral and Social Sciences (Washington, DC: National Academies Press, 2011).

Unter Kosten-Nutzen-Gesichtspunkten stellt sich die Frage, wie viel die Vereinigten Staaten für ein System der verbesserten Wahrscheinlichkeitseinschätzung zahlen würden, wenn dieses das Risiko eines 2 Billionen Dollar teuren Fehlers um 20 bis 30 Prozent senken würde. Wirtschaftswissenschaftler würden vorrechnen, dass es Hunderte Milliarden Dollar wert wäre. So gesehen ist das Good Judgment Project das Schnäppchen des Jahrhunderts.

The Commission on the Intelligence Capabilities of the United States Regarding Weapons of Mass Destruction, Report to the President of the United States (Washington, DC: 31. März 2005), S. 155.

Robert Jervis, Gespräch mit dem Autor, 27. März 2013.

Committee on Behavioral and Social Science Research to Improve Intelligence Analysis for National Security, Intelligence Analysis for Tomorrow, National Academies Press, 2011.

Es ist nicht einfach, die Fragen mit dem idealen Schwierigkeitsgrad zu stellen. Dazu mussten die einfachsten Fragen herausgesiebt werden (die mit weniger als 10 oder mehr als 90 Prozent Wahrscheinlichkeit eintraten), genau wie die unlösbaren. Dieser Verdienst gebührt Michael Horowitz und seinem Team.

Diese Erkenntnis geht auf zwei Kollegen von der University of Pennsylvania zurück, Lyle Ungar und Jonathan Baron. Lyle entwickelte die Algorithmen für unser Projekt, mit Ausnahme von »L2E«, der von David Scott an der Rice University entwickelt wurde.

David Ignatius, »More Chatter Than Needed«, Washington Post, 1. November 2013. Ignatius muss mit jemandem gesprochen haben, der Zugang zu nachrichtendienstlichen Informationen hatte.

Ebd. Die Nachrichtendienste haben der Ignatius-Geschichte nie widersprochen, und ich glaube, dass sie stimmt. Ich würde sogar so weit gehen, meinen Ruf zu verwetten, dass die Superprognostiker die Analysten in jedem Jahr des Wettbewerbs geschlagen haben.

Warum Superprognostiker besser sind als Analysten der Nachrichtendienste, ist allerdings unklar. Aber ich bezweifle, dass sie klüger oder offener sind. Ich nehme an, es liegt daran, dass sie Prognose als erlernbare Fähigkeit angehen, während Analysten in einer Organisation arbeiten, die Prognose als Nebentätigkeit und nicht als Hauptaufgaben der Analysten ansieht. Thomas Fingar, früherer Chef des Nationalen Geheimdienstrates, sagt zum Beispiel: »Prognose ist nicht das Ziel der strategischen Analyse und sollte es auch nicht sein … Das Ziel ist vielmehr, die wichtigsten Entwicklungen auszumachen und herauszufinden, wie diese einander beeinflussen, wohin sie gehen, was diese Prozesse antreibt und welche Signale einen Richtungswechsel anzudeuten scheinen.« Siehe Thomas Fingar, Reducing Uncertainty: Intelligence Analysis and National Security (Stanford: Stanford University Press, 2011), S. 53, 74.

Im Jahr 2010 arbeiteten Thomas Fingar und ich in dem Komitee des Nationalen Geheimdienstrates zusammen, das den Geheimdiensten zu IARPA-ähnlichen Experimenten riet. Fingar ist ein engagierter Beamter, und seine Aussage macht klar, warum die Geheimdienste in naher Zukunft kaum in die Ausbildung eigener Superprognostiker investieren dürfte. Aber wie kann man herausfinden, »wohin Entwicklungen gehen«, ohne Prognosen zu treffen?

Analysten sind nicht die Einzigen, die ungern eingestehen, wie sehr ihre Arbeit auf Prognosen basiert. Zum Beispiel der Time-Journalist Joe Klein: »Ein Professor von der Wharton School an der University of Pennsylvania will mich an einen Computer anschließen, um zu sehen, wie gut meine Prognosen sind«, schrieb er, nachdem ich ihn und andere Experten zu einem Wettbewerb eingeladen hatte. »Ich kann ihm die Mühe sparen. Journalisten sind genial in der Analyse der Vergangenheit, ziemlich gut in der Beschreibung der Gegenwart, aber beschämend schlecht, wenn es um Übermorgen geht. Ich gebe keine Prognosen mehr ab, seit ich auf CNN behauptet habe, dass George W. Bush niemals Präsidentschaftskandidat der Republikaner werden würde, nachdem er 2000 die Vorwahlen in New Hampshire verloren hatte.« Siehe http://swampland.time.com/2013/04/11/congress-may-finally-do-a-budget-deal.

Aber bei allem Respekt für Klein – und ich habe großen Respekt vor Leuten, die zu ihren Irrtümern stehen –, er irrt. Natürlich stellt er nach wie vor Prognosen an. Er erkennt sie nur nicht als solche. »Ist es nicht interessant, dass die immer größeren militärischen Drohgebärden Nordkoreas in der amerikanischen Presse kaum Aufmerksamkeit erregen?«, fragte er beispielsweise, kurz nachdem er angeblich der Prognose abgeschworen hatte. »Niemand erwartet einen Krieg. Aber wenn es doch dazu kommt? Was, wenn Kim sich mit seinen Drohungen gegen Südkorea und die Vereinigten Staaten so weit vorwagt, dass er nicht mehr zurückkann? Es ist unwahrscheinlich, aber nicht unmöglich.« Siehe http://swampland.time.com/ 2013/03/29/the-kim-who-cried-wolf.

»Unwahrscheinlich, aber nicht unmöglich« ist eine Prognose. Und davon gibt es viele in den Artikeln von Klein und vielen anderen Leitartikelschreibern. Oder im Denken von jedem von uns. Wir machen dauernd Vorhersagen.

Also: Es ist schwer, eine Tätigkeit zu verbessern, wenn man nicht einmal weiß, dass man sie ausübt.

Ellen Langer, »The lllusion of Control«, Journal of Personality and Social Psychology 32/2 (August 1975), S. 311–28.

Einige Beispiele aus diesem Genre haben ein kurzes Verfallsdatum. Zum Beispiel das Buch Radical E, das Enron als unternehmerisches Vorbild beschrieb und acht Monate vor der Pleite des Konzerns in die Buchhandlungen kam. Andere Beispiele sind weniger offensichtlich. Ihre schlechten Prognosen werden jahrzehntelang nicht entdeckt und fallen selbst in den Kursen renommierter Business Schools nicht auf. Im Jahr 1994 veröffentlichten Jim Collins und Jerry Porras das Buch Immer erfolgreich: Die Strategien der Topunternehmen, in dem sie achtzehn Unternehmen vorstellten, die »eine Blaupause für den Aufbau eines zukunftsfähigen Unternehmens« boten. Es war ein spannendes Buch, das viele Fans gewann. Aber wenn Collins und Porras recht haben, dann müssten diese Beispielunternehmen auch weiter erfolgreich sein, wie der Wirtschaftswissenschaftler Phil Rosenzweig zu Recht feststellte. Collins und Porras schlossen ihre Untersuchung im Jahr 1990 ab, und Rosenzweig überprüfte, wie es diesen Unternehmen in den folgenden zehn Jahren erging. »Sie wären besser beraten gewesen, Ihr Geld in einen Indexfonds zu investieren als in die von Collins und Porras beschriebenen visionären Unternehmen.« Siehe Phil Rosenzweig, The Halo Effect … and the Eight Other Business Delusions That Deceive Managers (New York: Free Press, 2014), S. 98. Hier waren offenbar wieder die Schimpansen am Werk.

Der Korrelationsfaktor entscheidet darüber, wie nah man die Prognose bezüglich der Größe des Sohnes an den Bevölkerungsdurchschnitt heranrücken sollte. Wenn die Korrelation vollkommen ist, beträgt der Faktor 1, und die Prognose basiert allein auf der Größe des Vaters (keine Regression zur Mitte). Wenn keinerlei Korrelation besteht, beträgt der Faktor 0, und die Schätzung kehrt vollständig zum Durchschnitt zurück. In unserem Fall beträgt der Faktor 0,5, und die Prognose liegt auf halbem Weg zwischen der Körpergröße des Vaters und dem Durchschnitt.

Michael J. Mauboussin, The Success Equation: Untangling Skill and Luck in Business, Sports, and Investing (Boston: Harvard Business Review Press, 2012), S. 73.

http://fivethirtyeight.com/features/the-conventional-wisdom-on-oil-is-always-wrong.

Rund 90 Prozent aller »aktiven« Superprognostiker, die pro Jahr mindestens 50 Fragen beantworteten, landeten unter den besten 20 Prozent, das heißt, selbst wenn sie fielen, dann nie allzu weit. Das lässt vermuten, dass das Können bei Superprognostikern einen größeren Anteil am Ergebnis ausmacht als bei normalen Teilnehmern. Doch die Schätzung des Verhältnisses von Können zu Glück ist schwierig. Die Werte schwanken je nach Gruppen, Jahren und Fragen. Wenn ich einen Tipp für die aktiven Superprognostiker über den Zeitraum der gesamten vier Jahre abgeben sollte, würde ich auf ein Verhältnis von mindestens 60 zu 40 tippen, vielleicht sogar bis 90 zu 10.

Sanford Sillman, Gespräch mit dem Autor, 15. Februar 2013 und 19. Mai 2014.

B.A. Mellers, L. Ungar, K. Fincher, M. Horowitz, S. Atanasov, S. Swift, T. Murray und P. Tetlock, »The Psychology of Intelligence Analysis: Drivers of Prediction Accuracy in World Politics«, Journal of Experimental Psychology: Applied 21/1 (März 2015), S. 1–14; B.A. Mellers, E. Stone, T. Murray, A. Minster, N. Rohrbaugh, M. Bishop, E. Chen, J. Baker, Y. Hou, M. Horowitz, L. Ungar und P. E. Tetlock, »Identifying and Cultivating ›Superforecasters‹ as a Method of Improving Probabilistic Predictions«, Perspectives in Psychological Science (2015).

Aus dem Forecasting Aptitude Inventory von Greg Mitchell und Fred Oswald.

Die Auswertung wurde vom CIA-Direktor angeordnet und kam zu dem Schluss, dass der Verlust von Vietnam einen Preis haben, aber keinesfalls so teuer kommen würde, wie Politiker meinten. Die Prognose erwies sich als korrekt. Der Direktor übergab den Bericht persönlich an Präsident Johnson, aber nachdem dieser bereits eine halbe Million Soldaten nach Vietnam geschickt hatte, gefiel ihm diese Botschaft nicht. Der Bericht verschwand in der Schublade. Erst Jahrzehnte später erfuhr McNamara von dessen Existenz.

Robert McNamara, In Retrospect (New York: Vintage, 1996), S. 33.

Daniel J. Levitin, The Organized Mind: Thinking Straight in the Age of Information Overload (New York: Dutton, 2014).

Für Superprognostiker ist Fermisierung – der Mut zum Fehler – entscheidend. Zum Beispiel ein Superprognostiker mit dem Spitznamen Cobbler, ein Programmierer aus Virginia, der kaum etwas über Nigeria wusste und 2012 eine Frage darüber beantworten sollte, ob die Regierung des Landes formelle Verhandlungen mit der Dschihadistengruppe Boko Haram aufnehmen würde. Er begann mit der Außensicht und schätzte die Erfolgsquote für frühere Verhandlungen mit Widerstandsgruppen im Allgemeinen und Boko Haram im Besonderen. Er nahm den Durchschnitt (0 Prozent Erfolgsquote mit Boko Haram und 40 Prozent für Verhandlungen mit Widerstandsgruppen im Allgemeinen). Dann wechselte er zur Innensicht und schätzte die Optionen jeder Seite ein. Die Regierung will sich mit moderaten Islamisten gutstellen, die zwischen Regierung und Terroristen vermitteln wollen. Boko Haram könnte ein Interesse daran haben, zumindest zum Schein zu verhandeln. Er hörte auch viele Gerüchte über bevorstehende Verhandlungen. Aber dem stellte er die Grausamkeit von Boko Haram gegenüber und kam zu einer Schätzung von 30 Prozent. Dann nahm er den Durchschnitt aus Außen- und Innensicht und kam auf eine Schätzung von 25 Prozent, die zur Deadline hin abnahm. Ergebnis dieser beiden mutigen Schätzungen: Ein Spitzen-Brier-Wert von 0,1 auf eine Frage, die in Reaktion auf Gerüchte eine Menge falsche Positive erbrachte.

Ein anderes Beispiel ist die Superprognostikerin Regina Joseph, die das Risiko einer tödlichen Vogelgrippeepidemie in China schätzen sollte – nicht einfach für eine Frau, die in digitalen Medien arbeitet und früher mit der olympischen Fechtmannschaft trainierte, aber keine Ahnung von Epidemiologie hat. Auch sie begann mit der Außensicht: Wie oft hat die Zahl der Opfer einer Vogelgrippe die kritische Schwelle überschritten? Ihre Antwort: In rund 80 Prozent der Fälle. Aber da die Grippesaison schon zu einem Viertel um war, reduziert sie dies auf 60 Prozent. Dann ging sie zur Innensicht über und sah, dass die Gesundheitspolitik besser geworden war und es bessere Frühwarnsysteme gab. Das alles drückte die Wahrscheinlichkeit ihrer Ansicht nach auf 40 Prozent, eine Ziffer, die sie im Laufe der Zeit immer weiter senkte. Ergebnis: kein spektakulärer Wert, aber besser als 85 Prozent der übrigen Prognostiker.

Oder Welton Chang, ein ehemaliger Offizier mit Kriegserfahrung im Irak, der die Wahrscheinlichkeit einer Einnahme von Aleppo durch die Freie Syrische Armee im Jahr 2013 einschätzte, indem er zunächst die Außensicht einnahm: Wie lange brauchten selbst überlegene Kräfte, um eine Großstadt wie Aleppo einzunehmen? Kurze Antwort: Eine Ausgangswahrscheinlichkeit von 10 bis 20 Prozent, dass die Rebellen Aleppo einnehmen würden. Aber als Welton zur Innensicht wechselte, stellte er fest, dass die Rebellen auch nicht annähernd als »überlegene Kraft« gelten konnten, und senkte die Prognose. Ergebnis: Mit seiner Antwort lag er unter den besten 5 Prozent der Brier-Werte.

Es ist erstaunlich, wie oft willkürliche Annahmen zu soliden Prognosen führen. Es geht nicht darum, ob wir raten oder nicht; es geht darum, ob wir das offen oder versteckt tun.

Bill Flack, Gespräch mit dem Autor, 5. August 2014.

Peggy Noonan, »The Presidential Wheel Turns«, Wall Street Journal, 26. April 2013.

Amos Tversky und Daniel Kahneman, »Judgment Under Uncertainty: Heuristics and Biases«, Science 185 (4157), S. 1124–31.

In The Predictioneer’s Game (New York: Random House, 2009) bietet Bruce Bueno de Mesquita einen eleganten, in der Spieltheorie begründeten Ansatz zur Schätzung von Wahrscheinlichkeiten aus der Innensicht. Stellen Sie gezielte Fragen wie »Wer sind die Schlüsselakteure?«, »Wer hat welchen Einfluss?«, »Was will jeder?« und »Wie sehr wollen sie das?«. Dann überprüfen Sie mögliche Kombinationen für Koalitionen. Bueno de Mesquita rät uns auch, die Schwarmintelligenz zu nutzen, und bittet in der Regel mehrere Experten um Antworten auf jede Innensicht-Frage. Wir wissen nicht, wie diese Methode im Vergleich mit den Superprognostikern abschneidet, aber prinzipiell könnte man es nachprüfen.

Die Antwort war Ja, das heißt, man könnte argumentieren, dass David einen besseren Brier-Wert bekommen hätte, wenn er sich an sein Bauchgefühl gehalten hätte. Fragen Sie: Wie leicht ist es, sich nach dem Angriff auf Charlie Hebdo einen weiteren Terroranschlag in Europa vorzustellen? Die Antwort: sehr leicht. In Wahrscheinlichkeiten: Extrem wahrscheinlich. Dieses Argument ist richtig, aber unvernünftig, das Gegenteil der vernünftigen, aber falschen Prognose zu den irakischen Massenvernichtungswaffen in Kapitel 4. Superprognostiker sind langfristig deshalb so gut, weil sie das Bauchgefühl von System 1 der Überprüfung durch System 2 unterziehen.

Stefan Herzog und Ralph Hertwig, »The Wisdom of Many in One Mind«, Psychological Science 20/2 (Februar 2009), S. 231–37.

George Soros, Soros über Soros: Börsenguru und Mäzen (Frankfurt: Eichborn, 1996).

Forscher benutzen oft ein System namens »integrative complexity coding system«, um das Argumentationsmuster aus These-Antithese-Synthese zu überprüfen (das System wurde von meinem ersten Mentor Peter Suedfeld entwickelt). Dabei stellt sich oft heraus, dass integrierende komplexe Denker resistenter gegen Verzerrung von System 1 sind. Siehe P. E. Tetlock und J.I. Kim, »Accountability and Judgment in a Personality Prediction Task«, Journal of Personality and Social Psychology 52 (1987), S. 700–709; P. E. Tetlock, L. Skitka und R. Boettger, »Social and Cognitive Strategies of Coping with Accountability: Conformity, Complexity, and Bolstering«, Journal of Personality and Social Psychology 57 (1989), S. 632–41. Es gibt allerdings auch Situationen, in denen komplexe Denker im Nachteil sind. Siehe P. E. Tetlock und R. Boettger, »Accountability: A Social Magnifier of the Dilution Effect«, Journal of Personality and Social Psychology 57 (1989), S. 388–98; P. E. Tetlock und R. Boettger, »Accountability Amplifies the Status Quo Effect When Change Creates Victims«, Journal of Behavioral Decision Making 7 (1994), S. 1–23; P. E. Tetlock und A. Tyler, »Churchill’s Cognitive and Rhetorical Style: The Debates Over Nazi Intentions and Self-Government for India«, Political Psychology 17 (1996), S. 149–70.

Einführung zu den Big Five und Offenheit siehe Oliver P. John und Sanjay Srivastava, »The Big Five Trait Taxonomy: History, Measurement, and Theoretical Perspectives«, in Handbook of Personality: Theory and Research, 2. Ausg., hg. v. Lawrence A. Pervin und Oliver P. John (New York: Guilford Press, 1999), S. 102–38; Robert R. McCrae, »Social Consequences of Experiential Openness«, Psychological Bulletin 120/3 (1996), S. 323–37.

Lionel Levine, Gespräch mit dem Autor, 14. Februar 2013.

Leon Panetta, Gespräch mit dem Autor, 6. Januar 2014.

Die echte Maya denkt möglicherweise eher wie eine Superprognostikerin. In seinen Memoiren Worthy Fights (New York: Penguin, 2014) schreibt Panetta, als er »Maya« gefragt habe, mit welcher Wahrscheinlichkeit sich Osama bin Laden in dem Anwesen aufhielt, habe sie nicht »100 Prozent« gesagt, sondern entschieden mit »95 Prozent« geantwortet.

Mark Bowden, The Finish: The Killing of Osama Bin Laden (New York: Atlantic Monthly Press, 2012), S. 158–62.

Baruch Fischhoff und Wändi Bruine de Bruin, »Fifty-Fifty = 50%?«, Journal of Behavioural Decision Making 12 (1999), S. 149–63.

Diese Diskussion wirft weiter gehende Fragen darüber auf, wie wir Wahrscheinlichkeitsschätzungen in unseren Entscheidungen verwenden. Das klassische Modell vom erwarteten Nutzen impliziert, dass jede Veränderung der Wahrscheinlichkeit eine Rolle spielt, weil wir die Wahrscheinlichkeit jeder möglichen Folge einer Handlung mit deren Nutzen multiplizieren und die Produkte addieren, um die Attraktivität jeder Option zu ermitteln. Wenn wir der Einfachheit halber davon ausgehen, dass der Angriff eine einzige Konsequenz hat, dann macht der Anstieg der Wahrscheinlichkeit für bin Ladens Anwesenheit von 50 auf 75 Prozent einen Angriff um 50 Prozent attraktiver. Ein qualitativ besseres und psychologisch realistischeres Modell ist die vernunftbegründete Wahl. Hier spielt eine Veränderung der Wahrscheinlichkeit nur dann eine Rolle, wenn damit ein Faktor entweder zu einem guten oder zu einem schlechten Grund für eine Handlung wird. Wenn Obama vor der Sitzung unentschlossen war, signalisiert er mit seinem »fifty-fifty«, dass er noch nichts gehört hatte, was seine Meinung entscheidend verändert hätte. Siehe Eldar Shafir, Itamar Simonson und Amos Tversky, »Reason-based Choice«, Cognition 49 (1993), S. 11–36. Hier kann die zuvor erwähnte »Schärfung« der Wahrscheinlichkeiten einen großen Unterschied machen. Je nach der Vielfalt der Sichtweisen könnte sie eine mittlere Einschätzung der Berater von 75 Prozent auf etwa 90 Prozent anheben, und das könnte den Präsidenten veranlassen zu sagen: »Okay, ich glaube, wir haben ausreichenden Grund zu handeln.« Nach dieser Sicht spielen Veränderungen der Wahrscheinlichkeit nur dann eine Rolle, wenn sie vernunftbegründete Handlungsschwellen überschreiten.

Zu weiteren Ausführungen siehe Richard Zeckhauser und Jeffrey Friedman, »Handling and Mishandling Estimative Probability: Likelihood, Confidence, and the Search for Bin Laden«, Intelligence and National Security 30/1 (Januar 2015), S. 77–99.

Einen Überblick über diese Forschungen finden Sie in Daniel Kahneman, Schnelles Denken, langsames Denken. (München: Siedler, 2012).

Diese Abneigung gegenüber der Ungewissheit steht hinter dem Ellsberg-Paradox, benannt nach Daniel Ellsberg, der sie in seiner Abschlussarbeit beschrieb, lange bevor er sich durch die Veröffentlichung der Pentagon Papers einen Namen machte. In der einfachsten Version des Problems gibt es zwei Urnen. In der ersten befinden sich 50 weiße und 50 schwarze Kugeln. In der zweiten befinden sich ebenfalls 100 Kugeln, aber der Anteil der weißen und schwarzen Kugeln ist unbekannt – es könnten 99 weiße und eine schwarze, 98 weiße und zwei schwarze und so weiter sein. Nun sollen Sie aus einer Urne eine Kugel ziehen. Wenn die Kugel schwarz ist, bekommen Sie Geld. Welche Urne wählen Sie? Man muss nicht lange nachdenken, um zu wissen, dass die Wahrscheinlichkeit, eine schwarze Kugel zu ziehen, in beiden Urnen dieselbe ist, aber wie Ellsberg zeigt, bevorzugen wir die erste Urne. Der Unterschied ist die Gewissheit. In beiden Urnen ist ungewiss, ob Sie eine schwarze Kugel ziehen, aber in der ersten besteht keine Ungewissheit über den Inhalt, weshalb wir sie bevorzugen. In unserer Abneigung gegen Ungewissheit können wir uns sogar für eine mit Gewissheit schlechte Sache entscheiden und gegen eine nur möglicherweise schlechte Sache. Patienten, die einen dauerhaften künstlichen Darmausgang erhielten, waren beispielsweise nach sechs Monaten glücklicher als andere, die einen künstlichen Darmausgang erhielten und nicht wussten, ob er dauerhaft sein würde. Siehe Daniel Gilbert, »What You Don’t Know Makes You Nervous«, New York Times, 20. Mai 2009, http://opinionator.blogs.nytimes.com/2009/05/20/what-you-dont-know-makes-you-nervous.

J.F. Yates, S.C. Price, J. Lee und J. Ramirez, »Good Probabilistic Forecasters: The ›Consumer’s‹ Perspective«, International Journal of Forecasting 12 (1996), S. 41–56.

In Risiko. Wie man die richtigen Entscheidungen trifft (Berlin: C. Bertelsmann Verlag, 2013) zeigt der Psychologe Gerd Gigerenzer, wie Berliner den Wetterbericht missverstehen. Unter den Fehlinterpretationen der Aussage »30 prozentige Regenwahrscheinlichkeit« war beispielsweise (a) es regnet morgen 30 Prozent des Tages; (b) es regnet über 30 Prozent der Stadtfläche; (c) 30 Prozent der Meteorologen sagen Regen vorher. Die korrekte Interpretation ist schwerer zu verstehen: Wenn Meteorologen die gegenwärtigen Wetterbedingungen im Raum Berlin in ihr Modell einspeisen, dann sehen sie für den morgigen Tag eine Regenwahrscheinlichkeit von 30 Prozent vor. Oder wenn wir das Berliner Wetter tausendmal simulieren und alle Schmetterlingseffekte mit einbeziehen, dann wird es in 300 der computergenerierten Welten regnen. Kein Wunder, dass die Berliner konkretere Vereinfachungen vorziehen.

David Leonhardt, »How Not to Be Fooled by Odds«, New York Times, 15. Oktober 2014.

Robert Rubin, Gespräch mit dem Autor, 28. Juni 2012.

William Byers, The Blind Spot: Science and the Crisis of Uncertainty (Princeton, NJ: Princeton University Press, 2011), S. vii.

Ebd, S. 56.

Siehe zum Beispiel Samuel Arbesman, The Half-Life of Facts: Why Everything We Know Has an Expiration Date (New York: Current, 2012).

Jacob Weisberg, »Keeping the Boom from Busting«, New York Times, 19. Juli 1998.

Rubin, Gespräch mit dem Autor.

Prognostiker oder Algorithmen hätten einen gewaltigen Vorteil, wenn sie die Unvorhersehbarkeit vorhersehen könnten (in Begriffen der Finanzwelt: die Volatilität). Ein schärfender Algorithmus, der »weiß«, wann er vorsichtig vorgehen muss, könnte Abzüge beim Brier-Wert vermeiden. Ich will nicht behaupten, dass Superprognostiker diese Kunst beherrschen. Obwohl sie sowohl in turbulenten als auch in ruhigen Phasen besser sind als normale Prognostiker, schrumpft der Vorsprung in turbulenten Zeiten. Ich komme in Kapitel 11 darauf zurück, wo ich auf Nassim Talebs Kritik an den Wettbewerben eingehe.