Superforecasting: Zusammenfassung und Rückblick

Fortschrittsanzeige

Superforecasting: Zusammenfassung und Rückblick

Buchrezension

Die Intelligence Advanced Research Projects Activity (IARPA) ist ein Geheimdienst, der die Kunst der Vorhersage erforschen wollte. Sie erstellten eine Studie, in der Prognostiker im Turnierstil gegeneinander antraten, um Vorhersagen über aktuelle Ereignisse zu treffen.

Im Rahmen dieses Wettbewerbs wurden Freiwillige gebeten, Vorhersagen zu machen. Die Freiwilligen, die durchweg die genauesten Vorhersagen machten – die „Superforecaster“ – hatten nachweislich überlegene Prognosefähigkeiten. Interessanterweise zeigt die Forschung deutlich, dass genaue Vorhersagen nicht von einem besonderen Talent abhängig sind – es ist eine erlernte Fähigkeit.

Superforecasting: Die Kunst und Wissenschaft der Vorhersage widmet sich dem Verständnis dieser Superforecaster und der Untersuchung, wie eine durchschnittliche Person einer von ihnen werden könnte. In Superprognose, Philip Tetlock und Dan Gardner heben eine Reihe wichtiger Eigenschaften von Superforecastern hervor:

  • Philosophischer Ausblick = vorsichtig, bescheiden, nicht deterministisch
  • Denkstil = aufgeschlossen, intelligent und neugierig, nachdenklich, rechnend
  • Prognosestil = Pragmatisch, analytisch, libellenäugig, probabilistisch, durchdachte Updater, intuitiver Psychologe
  • Arbeitsmoral = Wachstumsmentalität, Grit

Tetlock ist ein gründlicher, sorgfältiger Denker, und er baut seine Argumentation langsam, Block für Block auf. Er telegrafiert selten seine Absicht, was für den Leser, der darauf wartet, dass er seinen Punkt erreicht, frustrierend sein kann. Dies hat unter anderem zur Folge, dass das Buch sehr langsam anfängt. Erst nach einem Drittel des Buches kommt Tetlock zum Kern seiner Argumentation, und der Leser ist sich dabei nicht ganz sicher, in welche Richtung er geht. Sobald er jedoch in Schwung kommt, hat Tetlock einige interessante Dinge über sein Thema zu erzählen, und der Ton im gesamten Buch ist nachdenklich und ernst, während er zugänglich bleibt. Ein fortgeschrittener Abschluss ist nicht erforderlich, um die hier vorgestellten Ideen zu verstehen.

Viele der hier vorgestellten Ideen könnten für den Leiter eines Unternehmens, einer Regierungsabteilung oder einer anderen Organisation nützlich sein. Obwohl dies nicht ausdrücklich erwähnt wird, hält eine solche Person nichts davon ab, diese Methoden an ihre eigenen Bedürfnisse anzupassen. Ein solches Projekt wäre jedoch mit erheblichem Aufwand verbunden. Es wäre viel einfacher, wenn es eine Anleitung gäbe.

Dieses Buch ist nicht dieser Leitfaden. Es weist zwar den Weg, ist aber kein Handbuch. Daraus folgt, dass zu diesem Thema noch Raum zu schreiben ist, und man hofft, dass Tetlock und seine Kohorten es weiterhin erforschen werden.

Zusammenfassung

Zusammenfassender Hinweis: Der Leser wird sofort bemerken, dass es keine Einleitung oder Vorwort gibt. Neben dem Inhaltsverzeichnis gibt es eine ergreifende (wenn auch rätselhafte) Widmung und dann geht es direkt zur Sache mit dem Haupttext. Der Anhang enthält Zehn Gebote für angehende Superforecaster die praktische, wenn auch elementare Ratschläge enthält, wie zum Beispiel „Schaffen Sie das richtige Gleichgewicht zwischen Unter- und Überreaktion auf Beweise.“ Der Mangel an Frontmaterial wird denen willkommen sein, die solches Material sowieso überspringen, wenn es aufgenommen wird. Wer sich mehr Kontext wünscht, wird die Hinweise mit Referenzen zu schätzen wissen.

Kapitel 1

Während einige Leute besser in Vorhersagen sind als andere, sind etwa 2% Superforecaster. Vorhersagen sind eine erlernte Fähigkeit, und Sie können in diesem Buch lernen, wie Sie es selbst machen können.

Alle möglichen Leute machen Vorhersagen im Fernsehen und in anderen Medien, aber ihre Genauigkeit wird nie wirklich gemessen. Sie sind nicht im Fernsehen, weil sie gut vorhersagen können; sie sind im Fernsehen, weil sie gut darin sind, eine Geschichte zu erzählen, sie sind interessant, sie sind unterhaltsam. Die wahren Gründe für die Erstellung von Prognosen sind nicht immer die Vorhersage der Zukunft. Manchmal sollen Prognosen einfach nur unterhalten, überzeugen oder beruhigen, dass alles in Ordnung ist. Normalerweise werden diese verschiedenen Ziele nicht genannt.

Superprognose diskutiert Forschungsergebnisse, die zeigen, dass die meisten Experten bei Vorhersagen ungefähr so genau sind wie ein Schimpanse beim Werfen von Pfeilen auf ein Ziel. (Dies ist eine anscheinend bekannte Fallstudie, auf die er später in diesem Buch zurückkommt und die in Kapitel 3 viel mehr Kontext liefert.) Das Wichtigste, was diese Schimpansenstudie jedoch gezeigt hat, ist, dass die meisten Experten zwar nicht sehr genau waren in ihre Prognosen waren einige, zumindest mit Kurzstreckenanalysen – je länger, desto weniger genau waren die Vorhersagen. Vorhersagen in drei bis fünf Jahren nähern sich der Genauigkeit des berüchtigten Dart-werfenden Affen.

Der Arabische Frühling, als Revolution und Wandel in der arabischen Welt ausbrachen, begann mit dem Protest eines einzigen Mannes, und niemand konnte ahnen, was dabei herauskommen würde. Wissenschaftler dachten früher, dass die Realität mit einer solchen Präzision eines Uhrwerks funktioniert, dass wir, wenn wir erst einmal verstanden haben, wie sie funktioniert, alles vorhersagen können. Diese Idee wurde von Edward Lorenz und der Vorstellung, dass ein Schmetterling, der in Brasilien mit den Flügeln schlägt, einen Tornado in Texas auslösen könnte, durchkreuzt: Chaostheorie. Wenn es Chaos gibt, wird es Unvorhersehbarkeit geben. Vorhersehbarkeit und Unvorhersehbarkeit sind beides. Das eine übertrumpft das andere nicht; es ist eine Mischung.

Es gibt jedoch eine Menge, die wir vorhersagen können. Wir können Routineereignisse vorhersagen, aber selbst diese können durch Anomalien verschoben werden. Je länger es dauert, desto schwieriger ist es vorherzusagen, aber es gibt sogar Ausnahmen. Und während die Zukunft wahrscheinlich mehr Computer-Mensch-Mischungen bei Prognosen sehen wird, steht der Mensch immer noch im Mittelpunkt dieser Mischung. Um gute Vorhersagen zu treffen, braucht man gute Algorithmen, aber man sollte akzeptieren, dass man sie wahrscheinlich nicht immer haben wird.

Das Good Judgement Project stellte fest, dass manche Leute gute Vorhersagen machen. Diese Menschen verwenden spezifische Techniken und haben ihre eigene einzigartige Art zu denken und die Welt zu betrachten. Unabhängig davon, ob Sie zu diesen gehören oder nicht, wird die Befolgung der Techniken in diesem Buch zu einer messbaren Verbesserung der Prognose führen. In diesem Spiel sind selbst kleine Verbesserungen im Laufe der Zeit oft von Bedeutung.

Kapitel 2

Tetlock beginnt hier mit einer Medizingeschichte und betont, dass es lange Zeit keine methodische Prüfung gab. Gute Wissenschaft erfordert eine gesunde Skepsis, und die Ärzteschaft begann erst nach dem Zweiten Weltkrieg mit randomisierten Studien. Anstelle von Wissenschaft wurden Entscheidungen in der Regel auf der Grundlage von Tradition und Autorität getroffen. Experten vertrauen oft genug auf ihre eigenen Fähigkeiten und ihr Urteilsvermögen, ohne zu recherchieren. Zum Beispiel unterstützte die Regierung von Margaret Thatcher eine Politik der Inhaftierung junger Straftäter unter spartanischen Bedingungen. Hat es funktioniert? Sie haben keine Studien gemacht; sie nahmen an, ihre Intuition wisse es am besten.

Psychologen sagen, dass unsere mentalen Welten in zwei Bereiche unterteilt sind. System 2 ist unser bewusstes Leben. Es beinhaltet alles, woran wir denken. System 1 ist die Welt der automatischen Reaktionen, der Autopilot-Funktion. Die Nummerierung ist beabsichtigt – System 1 steht an erster Stelle. Es läuft immer im Hintergrund. Das Nachdenken über Probleme kann uns eine genauere Analyse bringen, aber es ist nicht immer praktikabel. In der neolithischen Welt mussten die Menschen manchmal schnell reagieren. System 1 ist sehr nützlich. Aber die Dichotomie zwischen Impuls und Analyse ist falsch. Es ist nicht das eine oder das andere – die beste Strategie besteht darin, einige von beiden einzusetzen.

Die Menschen müssen ihre Welt verstehen. Wenn sie Dinge nicht verstehen, erfinden sie normalerweise Gründe, um es zu erklären, oft ohne sich dessen bewusst zu sein. Wissenschaftler sind jedoch darauf trainiert, in Bezug auf ihre Ahnungen eine gewisse Selbstdisziplin zu haben. Sie suchen nach anderen möglichen Erklärungen für Dinge; sie halten die Möglichkeit für möglich, dass ihre Vermutung falsch ist. Es ist wichtig, Zweifel zu hegen, aber das widerspricht der menschlichen Natur. Das Natürliche ist, sich die erste plausible Erklärung zu schnappen und Beweise zu sammeln, die sie stützen, während Beweise ignoriert werden, die dies nicht tun. Bestätigungsfehler: Wir mögen keine Beweise, die unseren Überzeugungen widersprechen. Ein weiterer Denkfehler ist der „Köder und Schalter“: Wenn wir eine schwierige Frage nicht beantworten können, ersetzen wir sie durch eine einfachere.

Ein wichtiger Faktor in diesem Gespräch ist die Mustererkennung. Dies hilft uns, Probleme fast sofort zu erkennen, ohne lange nachdenken zu müssen. Obwohl die Mustererkennung sehr nützlich ist, hat sie ihre Probleme. Die Leute sehen das Antlitz Jesu in ihrem Toast. Sie vertrauen der Mustererkennung zu sehr. Mustererkennung ist in manchen Situationen hilfreicher als in anderen. Es geht darum, die Situationen zu kennen und die Hinweise zu lernen. Ohne alle möglichen Muster zu lernen, ist Intuition nicht besser als zufälliger Zufall. Aber es ist schwer zu sagen, ob Sie genügend gültige Hinweise für die Intuition haben, um die Intuition produktiv zu machen.

Kapitel 3

Um Vorhersagen auf Genauigkeit zu bewerten, müssen wir in der Lage sein, genau zu verstehen, was die Vorhersage sagt. Das ist schwieriger, als Sie vielleicht denken.

Viele Dinge werden nicht gesagt, wenn Leute Vorhersagen machen, zum Beispiel wenn der Prognostiker annimmt, dass das Publikum den Kontext kennt, was in Ordnung sein kann, bis Sie die Vorhersage fünf Jahre später herausziehen und sich niemand mehr an den Kontext erinnert. Viele Prognosen haben keinen Zeitrahmen, wie er zum Zeitpunkt der Prognose impliziert wird. Aber ohne Zeitrahmen sind Prognosen nutzlos.

Es gibt auch größere Hindernisse bei der Beurteilung von Prognosen – zum Beispiel die Wahrscheinlichkeit. Wenn du sagst es ist wahrscheinlich dass etwas passieren wird, es ist ein ganz anderes Tier, als etwas zu sagen Wille passieren. Tetlock erzählt von einem Fall, in dem den Leuten gesagt wurde, dass es eine „ernsthafte Möglichkeit“ geben würde, dass etwas passieren würde, und dann nach ihrer Meinung zur genauen Wahrscheinlichkeit gefragt, die es passieren würde. Die Antworten reichten von 20% bis 80% Wahrscheinlichkeit, was zeigt, dass Menschen manchmal sehr unterschiedliche Vorstellungen davon haben, was etwas bedeutet. Die Folgen können katastrophal sein.

Prognostiker, die Wahrscheinlichkeit in Zahlen ausdrücken, sind gezwungen, ihren eigenen Prozess klarer zu denken. Aber das Problem mit Zahlen ist, dass sie sehr maßgebend erscheinen. Die Leute denken vielleicht, dass etwas eine objektive Tatsache und keine subjektive Meinung ist, wenn eine Idee mit Zahlen ausgedrückt wird. Die Lösung für dieses Problem besteht darin, dass die Menschen besser darüber aufgeklärt werden.

Eine weitere Schwierigkeit: Sagen wir, ein Meteorologe sagt, dass die Regenwahrscheinlichkeit 70% beträgt. Wenn es nicht regnet, denken einige Leute vielleicht, dass die Vorhersage falsch war, aber in Wirklichkeit bedeutet eine Regenwahrscheinlichkeit von 70%, dass es eine Chance von 30% gibt, dass es nicht regnet. Die einzige wirkliche Möglichkeit, die Genauigkeit der Vorhersage zu beurteilen, wäre, das Wetter 100 Mal zu wiederholen und zu sehen, wie oft es regnet. Da wir das aber nicht können, können wir nur sagen, dass die Prognose nicht widerlegt wurde.

Wir können den Verlauf nicht wiederholen, also können wir keine isolierte Prognose beurteilen. Was wir jedoch tun können, ist, eine große Anzahl von Vorhersagen zusammen zu betrachten – schauen Sie sich die Erfolgsbilanz eines Meteorologen an. Die zu stellende Frage lautet nicht: „Hat es das eine Mal geregnet, als sie 70% Regenwahrscheinlichkeit sagte?“ Aber: "Von all den Zeiten, in denen sie 70% Regenwahrscheinlichkeit sagte, hat es dann 70% geregnet?" Dies ist Kalibrierung, und indem Sie die Vorhersagen des Meteorologen kalibrieren (Prozentsatz korrekt nach Anzahl der Vorhersagen darstellen), können Sie feststellen, ob er zu wenig zuversichtlich oder zu zuversichtlich ist. Um diese Bewertungen vornehmen zu können, benötigen Sie jedoch viele Daten. Bei seltenen Ereignissen funktioniert das nicht sehr gut.

Es ist auch nicht sehr interessant oder aufregend zu sagen, dass eine 60%-Chance besteht, dass etwas passiert – die Leute wollen mehr Informationen. Je entschiedener der Prognostiker, desto besser, und das nennt man Auflösung. Der Sweet Spot ist eine hohe Auflösung und Kalibrierung.

In der oben erwähnten Schimpansenstudie wurden Experten gebeten, Vorhersagen zu treffen, und die Ergebnisse zeigten, dass die Experten nicht besser waren als Schimpansen (oder zufälliger Zufall). Hinter diesem durchschnittlichen Ergebnis verbergen sich jedoch wichtige Details. Tatsächlich gab es zwei verschiedene Arten von Experten: Die ersten waren nicht besser als zufällige Vorhersagen; die zweite Gruppe machte geringfügig bessere Vorhersagen als die Schimpansen, aber ihre Ergebnisse waren immer noch nicht herausragend.

Der Unterschied zwischen diesen Gruppen lag in ihrem Denken. Eine Gruppe organisierte ihre Gedanken rund um Big Ideas. Ob Umweltschützer, Fundamentalisten des freien Marktes, Sozialisten usw., diese Idealisten passen die Informationen, die sie hatten, in bestehende Rahmen ein. Um zu argumentieren, neigten sie dazu, Gründe für die Richtigkeit ihrer Analysen anzuhäufen. Sie waren sehr zuversichtlich in ihre eigenen Fähigkeiten, auch wenn sie sich irrten. Die andere Gruppe von Analysten verwendete eine Vielzahl von Werkzeugen, um Informationen zu sammeln. Es ging ihnen mehr um Möglichkeiten und Wahrscheinlichkeiten als um Gewissheiten, und sie konnten ihre Fehler zugeben. Diese Experten schlagen die andere Gruppe sowohl bei der Kalibrierung als auch bei der Auflösung.

Die Menschen der großen Idee neigen dazu, ihr gesamtes Denken um die große Idee herum zu organisieren, was ihre Sicht auf die Welt verzerrt. Sie können alle gewünschten Informationen sammeln; es wird sie nicht genauer machen, weil sie es so organisieren, dass es zur Idee passt. Diese Menschen können selbstbewusst wirken, was dazu führt, dass andere ihnen eher glauben. (Diese Leute schneiden im Fernsehen gut ab, auch wenn sie keine so guten Prognostiker sind.)

Net-Net: Es ist schwer, außerhalb unserer eigenen Perspektive zu sehen, daher ist es gut, Informationen aus vielen Quellen zusammenzufassen und so viele verschiedene Perspektiven wie möglich zu berücksichtigen. Nehmen Sie die Libelle: Die Augen einer Libelle bestehen aus vielen verschiedenen Linsen, die sich alle zu einem einzigen Bild im Kopf der Libelle verbinden. Tetlock schlägt vor, dass wir versuchen sollten, Dinge wie eine Libelle zu betrachten.

Kapitel 4

Als die USA auf der Suche nach Massenvernichtungswaffen in den Iran einmarschierten, waren sich Analysten der Regierung sicher, dass diese Waffen dort waren. Aber sie lagen sehr falsch. Es stellte sich heraus, dass Analysten nicht wussten, wie gut ihre Analysemethoden funktionieren, weil sie die Genauigkeit ihrer Arbeit nicht verfolgten. Die Geheimdienstgemeinschaft war entsprechend alarmiert über diesen Zustand, und die Intelligence Advanced Research Projects Activity (IARPA) erstellte eine Studie, die darauf abzielte, mehr über Prognosen zu erfahren und zu bestimmen, wie diese gemessen werden können.

Die Studie richtete einen turnierähnlichen Wettbewerb zwischen Prognostikern ein, und als Teil des Wettbewerbs wurde die Öffentlichkeit gebeten, Vorhersagen zu machen. Die Personen, die durchweg die genauesten Vorhersagen machten, wurden herausgefiltert, und die Vorhersagen der besten Prognostiker wurden gewichtet, um die Ergebnisse zu vergrößern. Die Studie ergab, dass eine kleine Minderheit der Menschen sehr gut im Vorhersagen war; sie waren genauer als die meisten professionellen Rater der Zukunft.

Die Leute verstehen den Zufall nicht. In einer Yale-Studie wurden die Leute gebeten, die Ergebnisse eines Münzwurfs zu nennen, und ihnen wurde dann gesagt, ob sie Recht hatten oder nicht. Von 30 Würfen wurde ihnen gesagt, dass sie 15 Mal richtig und 15 Mal falsch lagen, aber die Ergebnisse waren manipuliert. Manche Leute hatten schon früh eine Menge richtiger Würfe, und diese Leute hatten am ehesten den Eindruck, dass sie eine Art Talent darin hatten, Münzwürfe zu nennen. Dies war offensichtlich falsch, da bei einem Münzwurf keine Fertigkeit erforderlich ist.

Es gibt alle möglichen logischen Irrtümer. Wenn zum Beispiel in einer Fernsehsendung ein Prognostiker eine große Sache macht, weil er bei einer bestimmten Gelegenheit Recht hatte, bedeutet das nichts, weil jemand versehentlich einmal Recht haben könnte. Das sind nur zufällige Quoten.

Glück spielt immer eine Rolle, und niemand, egal wie gut, ist unfehlbar. Aber es gibt Menschen, die die Zukunft besser vorhersagen können als andere. Diese Superforecaster haben nicht nur Glück; sie haben echtes Können. Während sich gute Prognostiker im Laufe der Zeit langsam zurückbilden (Regression zum Mittelwert = Dinge tendieren zurück zum Durchschnitt), Ja wirklich gute Prognostiker bilden sich kaum zurück. Jahr für Jahr gibt es Menschen, die den Superforecaster-Status behalten, und dies wäre nicht möglich, wenn es nur eine Frage des Zufalls wäre.

Kapitel 5

Eine Fermi-Schätzung ist eine gute Möglichkeit, eine Analyse zu starten. Dazu müssen Sie ein Problem in kleinere Komponenten zerlegen und herausfinden, was Sie vernünftigerweise abschätzen können. Von da an bleibt alles, was Sie nicht wissen, und Sie sollten ebenfalls versuchen, diese Dinge in eine möglichst kleine Kategorie zu unterteilen. Dieser Schätzungsprozess führt zu viel genaueren Schätzungen.

Wenn Sie herausfinden möchten, wie häufig eine Sache ist, sollten Sie zunächst versuchen, die äußeren Grenzen der betrachteten Sache zu finden. Wenn Sie beispielsweise die Anzahl von Haushalten mit zwei Erwachsenen und einem Kind schätzen, die einen Hund haben, würden Sie mit der Anzahl der Haushalte beginnen, die Haustiere haben und von dort aus weiterarbeiten. Oft eilen die Leute durch diesen Teil, aber die äußere Grenze ist wichtig, weil die Menschen dazu neigen, auf die erste Zahl zu achten, die sie haben, und sich von dort aus anzupassen. Die Startnummer ist also ein Anker und verhindert, dass man ins Unmögliche abdriftet. Um die innere Grenze zu bestimmen, entwickeln Sie einige Hypothesen über das Problem. Untersuchen Sie dann die Möglichkeiten jeder Hypothese.

Ein Teil des Prozesses der Synthese der beiden Ansichten besteht darin, nach Meinungen von außen zu suchen. Sie können auch selbst nach verschiedenen Perspektiven suchen. Nehmen Sie beispielsweise an, dass Ihre erste Schlussfolgerung falsch ist, und suchen Sie nach den Gründen dafür. Sie können auch versuchen, die Arbeit für eine Woche oder so beiseite zu legen – wenn Sie mit frischen Augen darauf zurückkommen, sieht sie anders aus. Oder ändern Sie die Perspektive, indem Sie den Wortlaut von etwas ändern; es aus einem anderen Blickwinkel zu betrachten und die Frage neu zu formulieren. Prognostiker müssen aufgeschlossen sein. Sie müssen neugierig sein und dorthin gehen, wo die Beweise sie hinführen, auch wenn sie ihren Lieblingstheorien widersprechen. Prognostiker brauchen Libellenaugen: die Fähigkeit, viele Perspektiven gleichzeitig zu sehen.

Kapitel 6

Wenn Sie eine Menge Leute zusammenbringen und sie alle bitten, etwas vorherzusagen, kommen sie mit einer breiten Palette von Antworten zurück. Ist das etwas schlechtes? Nein, es zeigt, dass sie kein Gruppendenken betreiben; jeder benutzt seinen eigenen Verstand. Wenn Sie einen Durchschnitt aller ihrer Schätzungen finden, haben Sie oft eine ziemlich gute Annäherung an die Wahrheit. Dies ist „die Weisheit der Menge“.

Die Idee der Wahrscheinlichkeit ist ein modernes Konstrukt, das viele Menschen nicht verstehen. Unsere Instinkte sehen eine einfache Welt: eine Welt von JawohlNein und kann sein. (Als sich unsere Spezies weiterentwickelte, brauchten wir normalerweise nicht mehr Einstellungen. Ist etwas eine Bedrohung? Ja – reagieren! Nein – entspannen. Vielleicht – wachsam bleiben.) Wahrscheinlichkeit ist frustrierend für die Menschen, weil der menschliche Geist dazu neigt, vereinfachen Sie alles zurück in das Ja/Nein/Vielleicht-Paradigma. Wenn es zum Beispiel eine Regenwahrscheinlichkeit von 75% gab und es am Ende des Tages nicht regnete, bedeutet das nicht, dass die Vorhersage falsch war – 75% Regenwahrscheinlichkeit bedeutet auch eine 25% Chance, dass es regnen wird nicht Regen. Aber die Leute wollen wissen, „ja, es wird regnen“ oder „Nein, es wird nicht regnen“, und das Beste, was viele mit einer Wettervorhersage tun können, ist, sie als „vielleicht“ zu klassifizieren. Superforecaster denken jedoch normalerweise probabilistisch, und diejenigen, die sich ihren Reihen anschließen möchten, müssen das Ja/Nein/Vielleicht-Denkmuster beiseite legen und lernen, auf diese Weise zu denken.

Die Leute mögen auch Gewissheit, aber es gibt immer eine gewisse Unsicherheit. Dies an und für sich ist etwas zu analysieren, und es gibt zwei Arten von Unsicherheit: 1) Sie können sich bei Dingen, die erkennbar sind, unsicher sein und 2) Sie können bei Dingen, die nicht erkennbar sind, unsicher sein. Bei Unsicherheit über nicht erkennbare Dinge ist es normalerweise besser, vorsichtig zu sein und Vorhersagen im Bereich von 35–65% zu halten. In der IARPA-Studie waren die Schätzungen von 50% am wenigsten genau, da diese Zahl verwendet wurde, um Unsicherheit auszudrücken. Mit anderen Worten, wenn Leute sagen, dass es eine 50-50%-Chance gibt, ist dies nur eine schicke Art, vielleicht zu sagen. Gute Prognostiker neigen jedoch dazu, sehr detailliert zu sein, da sie so viele Details untersucht haben. Granularität kann die Genauigkeit einer Vorhersage erhöhen.

Menschen suchen nach Sinn, besonders in tragischen Zeiten. Sie suchen nach "Warum?" Manche suchen nach Religion. Wenn etwas passiert, sagen die Leute manchmal, es sollte passieren. Wie stehen die Chancen, fragen sie, dass wir uns an diesem Tag getroffen hätten? Aber egal wie unwahrscheinlich, man musste an diesem Tag irgendwo sein, und man hätte stattdessen genauso gut jemand anderen treffen können. Wissenschaftler fragen nicht: "Warum?" Sie fragen: "Wie?" Superforecaster glauben nicht an das Schicksal.

Kapitel 7

Es gibt keine einfache Malen-nach-Zahlen-Methode für gute Vorhersagen. Es gibt jedoch Maßnahmen, die normalerweise hilfreich sind:

  • Zerlegen Sie die Frage in kleinere Komponenten.
  • Identifizieren Sie das Bekannte und das Unbekannte.
  • Schauen Sie sich alle Ihre Annahmen genau an.
  • Betrachten Sie die Außenansicht und fassen Sie das Problem nicht als eine einzigartige Sache, sondern als eine Variante einer größeren Klasse von Phänomenen ein.
  • Schauen Sie sich dann an, was es einzigartig macht; Schauen Sie sich an, inwiefern Ihre Meinung dazu gleich oder anders ist als die anderer Leute.
  • Nehmen Sie all diese Informationen mit Ihren Libellenaugen auf und konstruieren Sie eine einheitliche Vision davon. Beschreiben Sie Ihr Urteil darüber so klar und prägnant wie möglich und so detailliert wie möglich.

Sobald eine Vorhersage gemacht ist, ist die Arbeit noch nicht beendet. Vorhersagen sollten jedes Mal aktualisiert werden, wenn zusätzliche Informationen vorliegen, und Superforecaster aktualisieren ihre Vorhersagen häufiger als andere Prognostiker. Diese aktualisierten Prognosen sind in der Regel genauer, da der Prognostiker, der häufiger aktualisiert, wahrscheinlich besser informiert ist.

Es ist schwierig, eine Prognose zu aktualisieren – man kann unterreagieren und man kann überreagieren. Wenn wir mit neuen Informationen konfrontiert werden, möchten wir oft an unseren Überzeugungen festhalten, ungeachtet der neuen Beweise. Die Meinungen der Menschen über Dinge können sich tatsächlich mehr auf ihre eigene Identität beziehen als auf alles andere. Je mehr Menschen emotional in etwas investieren, desto schwieriger ist es, zuzugeben, dass man sich geirrt hat. Eine weitere Herausforderung: Wenn Menschen einmal öffentlich Stellung beziehen, ist es schwer, sie dazu zu bringen, ihre Meinung zu ändern. Aber Sie müssen in der Lage sein, Ihre Meinung zu ändern, wenn sich die Fakten ändern.

Es ist auch schwierig, wichtige von irrelevanten Informationen zu unterscheiden. Manchmal denken Leute, dass etwas wichtig ist, aber das ist nicht so, und irrelevante Informationen können verwirren und Vorurteile auslösen. Wenn man sich den Ergebnissen nicht verpflichtet fühlt, können sie überreagieren; wenn sie wirklich anhänglich sind, können sie unterreagieren.

Der Trick besteht darin, eine Prognose häufig zu aktualisieren, aber in den meisten Fällen nur kleine Anpassungen vorzunehmen. Manchmal müssen Sie natürlich eine dramatische Veränderung vornehmen. Wenn Sie wirklich weit vom Ziel entfernt sind, werden inkrementelle Änderungen nicht ausreichen.

Kapitel 8

Manche Leute denken, dass sie sind, was sie sind und dass sie sich nicht ändern und wachsen können. Das sind nicht die Menschen, die sich verändern und wachsen. Weil sie denken, dass sie es nicht können, versuchen sie es nie. Es wird zu einer sich selbst erfüllenden Prophezeiung. Diese Leute haben feste Denkweisen. Superforecaster haben eine wachstumsorientierte Denkweise.

John Keynes, der berühmte Ökonom, wurde sehr gut darin, an der Börse zu investieren. Er wertete alle seine Fehler sorgfältig aus und verbesserte seine Leistung systematisch. Er wurde sehr erfolgreich.

Um erfolgreich zu sein, müssen wir es versuchen. Um uns zu verbessern, müssen wir es versuchen, scheitern, analysieren, anpassen und es erneut versuchen. Wir lernen durch Handeln. Wir verbessern uns durch Wiederholung. Dies gilt für absolut jede Fähigkeit. Vorhersagen zu lernen ist der gleiche Weg. Sie lernen es nicht allein durch das Lesen eines Buches. Du musst es tun. Tetlock erklärt auch, dass, wenn Sie in einem Kontext – dem Wetter – wirklich gut vorhersagen können, dies nicht so gut auf einen anderen Kontext – globale Politik – übertragen wird. Sie müssen sich selbst anwenden, üben und für jeden Kontext üben.

Und manchmal muss man damit einverstanden sein, falsch zu liegen. Fehler zu machen ist Teil des Lernprozesses. Um aus Fehlern zu lernen, müssen wir wissen, dass wir gescheitert sind. Daher muss die Praxis mit Feedback verfolgt werden. Ohne Feedback können die Leute davon ausgehen, dass es ihnen gut geht und werden zu selbstsicher. Ohne Feedback werden die Leute immer wieder ungenau über ihre eigene Leistung nachdenken. Feedback sollte unmittelbar nach der Veranstaltung erfolgen, wenn alles noch frisch in unseren Köpfen ist. Andernfalls setzt eine rückblickende Verzerrung ein – sobald wir das Ergebnis von etwas kennen, beeinflusst es unsere Erinnerung an Ereignisse.

Obduktionen sind daher sehr wichtig. Dekonstruieren Sie Ihre Prognose nach dem Fall gründlich. Was hast du richtig gemacht? Was hast du falsch gemacht? Wieso den? Und verstehen Sie, dass, nur weil das, was Sie vorhergesagt haben, eingetreten ist, es nicht unbedingt bedeutet, dass Ihr Prozess solide war – es könnte auch nur Zufall gewesen sein. Es liegt in der Natur des Menschen, sich für korrekte Prognosen zu loben und das Element des Zufalls zu minimieren, aber eine nüchterne Analyse hilft Ihnen, sich zu verbessern.

Perpetual Beta bedeutet kontinuierliche Analyse und Verbesserung. Die Aufrechterhaltung eines ständigen Beta-Zustands ist viel wichtiger als Intelligenz. Tatsächlich ist von allen Eigenschaften, die Superforecastern gemeinsam sind, die Qualität, die am besten vorhersagt, wer ein Superforecaster wird, die der ewigen Beta. Körnung und Zähigkeit sind dabei wichtige Eigenschaften.

Kapitel 9

Die Invasion in der Schweinebucht war schlecht geplant und durchgeführt. Die Kennedy-Regierung verlor an Glaubwürdigkeit, aber während der Kubakrise änderten sich die Dinge. Es war so ziemlich dasselbe Team, das beide Veranstaltungen betreute.

Nach der Schweinebucht leitete Kennedy eine Untersuchung ein, um herauszufinden, was schief gelaufen ist. Als Problem wurde der Entscheidungsprozess identifiziert. Die Teammitglieder wurden Opfer des Gruppendenkens, das geschieht, weil die Leute miteinander auskommen wollen. Manchmal passen sie ihre Überzeugungen unbewusst an, um mit dem Team mitzumachen. Ganze Personengruppen können auf diese Weise von rationalen Verankerungen abdriften.

Das Kennedy-Team entwickelte eine neue, skeptische Methode und begann, ihre Annahmen zu hinterfragen. Manchmal verließ Kennedy den Raum absichtlich, um dem Team Raum zu geben, Ideen ohne den Chef herumzuwerfen. Das war wirklich wertvoll. Als es schließlich zur Kubakrise kam, konnten sie alle möglichen alternativen Lösungen hervorbringen. Ihre verbesserte Methode hätte der Welt möglicherweise einen Atomkrieg erspart.

Dies zeigt, dass es für eine Gruppe möglich ist, ihren Entscheidungsprozess zum Besseren zu verändern. Die Suche nach der perfekten Gruppe entfällt, wenn ein motiviertes Team lernen kann, sich zu verändern. Und trotz der Risiken des Gruppendenkens kann die Arbeit im Team das Urteilsvermögen schärfen und größere Ziele erreichen, als Einzelpersonen allein erreichen können. Tetlock stellt die Frage: Sollen Prognostiker in Teams arbeiten oder soll jeder einzeln arbeiten?

  • Nachteile: Teams können Menschen faul machen. Lass andere die Arbeit machen, sagen sie sich, während wir im Backoffice herumlungern und Pinochle spielen. Teams können auch anfällig für Gruppendenken sein.
  • Vorteile: Menschen können Informationen austauschen, wenn sie in Teams arbeiten. Sie können Perspektiven teilen. Mit vielen Perspektiven wird das Libellenauge zugänglicher. Aggregation ist so wichtig.

Um festzustellen, ob sich die Vor- und Nachteile gegenseitig aufheben, führten sie eine Studie durch, um zu sehen, ob Teams von Prognostikern besser arbeiteten als Einzelpersonen. Die Ergebnisse waren eindeutig: Teams sind eindeutig genauer als Menschen. Wenn Superforecaster in Teams zusammengestellt wurden, übertrafen sie außerdem die Vorhersagemärkte.

Diese Ergebnisse sind zwar kein automatisches Erfolgsrezept, unterstreichen aber die Bedeutung einer guten Gruppendynamik. Teams sollten auch aufgeschlossen sein; sie sollten eine Kultur des Teilens haben. Schließlich ist Vielfalt außerordentlich wichtig – noch wichtiger als Fähigkeiten. Superteams, die aus verschiedenen Personen mit unterschiedlichen Perspektiven bestehen, haben weitere Informationen.

Kapitel 10

Superteams funktionieren am besten mit flachen, nicht hierarchischen Strukturen. Aber Unternehmen und Regierungen – die Prognostiker brauchen, um ihnen bei ihren Entscheidungen zu helfen – sind sehr hierarchisch. Wie können diese zusammenpassen? Kann man in einer hierarchischen Organisation eine flache, flexible Struktur fördern? Interessanterweise nimmt Tetlock als Beispiel die Wehrmacht. (Er tut dies, um die Notwendigkeit zu veranschaulichen, Gefühle und Vorurteile zu trennen – zum Beispiel Reaktionen auf oder Unbehagen gegenüber der Wehrmacht als Modell –, damit sie Vorhersagen nicht beeinflussen.)

Im 19. Jahrhundert errang die preußische Armee den Sieg über ihre Nachbarn. Die Preußen verstanden, dass Unsicherheit ein wichtiger Teil der Realität war, und preußische Führer dachten viel über Unsicherheit nach. Es war wichtig zu erkennen, dass sich die Umstände sehr schnell ändern können. Aufgrund dieser Betonung der Unsicherheit wurden die Beamten darauf trainiert, flexibel zu sein, damit sie mit Situationen umgehen konnten, die sie auftauchten. Sogar Soldaten wurden ermutigt, Autorität zu hinterfragen, wenn es angebracht war. Dieses Prinzip wurde buchstäblich „auftragstaktik“ genannt. Missionskommando. Im Krieg mussten Entscheidungen vor Ort getroffen werden, um auf sich ändernde Situationen zu reagieren. Die Kommandeure sagten den Untergebenen, was das Ziel war, aber nicht, wie sie es erreichen sollten. Selbst vom niedrigsten Soldaten wurde erwartet, dass er autonom handelt.

Die Nazis haben diese Armee geerbt: die Wehrmacht. Die Wehrmacht war lange Zeit sehr erfolgreich. Letztlich wurden sie jedoch von überlegenen Kräften überwältigt. Ihre Niederlage wurde durch Fehler beschleunigt, darunter Hitlers autokratische Führung, die gegen die Grundsätze der Auftragstaktik verstieß.

Im Vergleich dazu durften Untergebene in der US-Armee ihre Vorgesetzten nie befragen. Sie erhielten langatmige, detaillierte Anweisungen, die jede Aktion, die sie zu ergreifen hatten, buchstabierten. Es gab wenige Ausnahmen. Die US-Armee hat die Lektion der Auftragstaktik erst in den 1980er Jahren gelernt. Sie haben wohl noch einen Weg vor sich, aber sie sind seitdem viel dezentraler geworden. Als die USA in den Irak einmarschierten, war General Petraeus ermächtigt, auf die Umstände zu reagieren, die er vor Ort vorfand, und konnte den Widerstand minimieren. Er betonte, wie wichtig es sei, dass seine Leute lernen, flexibel zu denken und mit Dingen umzugehen, die auf sie zukommen; wie wichtig es ist, die Dinge aus verschiedenen Perspektiven zu betrachten.

Kapitel 11

Eine große Falle, der wir begegnen, ist zu denken, dass das, was Sie sehen, alles ist, was es gibt. Wir alle können Fehler machen und vergessen, unsere Annahmen zu überprüfen. Und oft achten wir nicht genug auf den Umfang einer Frage. Wenn Sie zum Beispiel jemanden fragen: „Wird die Assad-Regierung in Syrien dieses Jahr fallen?“ ihre Antwort wird widerspiegeln, ob sie glauben, dass die Assad-Regierung dies tun wird je Herbst. Sie sind unempfindlich gegenüber dem Umfang.

Superforecaster zeigen eine bessere – nicht perfekte, aber viel bessere – Scope-Sensitivität als normale Prognostiker. Sie verwenden System 2, um System 1 so regelmäßig zu überprüfen, dass es automatisch wird. Auf diese Weise wird System 2 ein Teil von System 1.

In einem Buch über Vorhersagen muss Tetlock natürlich über Nassim Talebs schwarzen Schwan sprechen. Ursprünglich waren alle Schwäne in Europa weiß. Wenn Sie einen Engländer bitten würden, sich einen wirklich seltsamen Schwan vorzustellen, würde er wahrscheinlich an einen von ungewöhnlicher Größe oder mit einem lustigen Schnabel oder so etwas denken. Aber all die verschiedenen Schwäne in seiner Vorstellung wären wahrscheinlich weiß, denn er hatte noch nie einen andersfarbigen Schwan gesehen. Er konnte sich keinen vorstellen, selbst wenn er versuchte, an eine andere Art von Schwan zu denken. Dann, im 17. Jahrhundert, fahren britische Boote nach Australien und zurück und bringen einige Souvenirs und Kuriositäten mit, darunter einen schwarzen Schwan. Der Engländer sieht etwas, das er sich vorher nicht einmal vorstellen konnte. Verstand = aufgeblasen.

Die ganze Theorie über schwarze Schwäne, wie sie von Nassim Taleb entwickelt wurde, gefährdet Tetlocks Theorie, also dekonstruiert er sie für die Leser. Wie definieren Sie „Schwarzer Schwan“ genau? Wenn Sie etwas meinen, das vorher undenkbar war, ist das in der Tat äußerst selten. Oder vielleicht könnten Sie es auf „höchst unwahrscheinliche Folgeereignisse“ verwässern. Es ist sehr schwierig, Daten zu höchst unwahrscheinlichen Ereignissen zu erhalten – sie passieren naturgemäß nicht oft. Das Good Judgement Project läuft noch nicht lange genug, um genügend Daten darüber zu sammeln.

Und wenn man sich vermeintliche Schwarze Schwan-Ereignisse genau ansieht, waren sie meistens, aber nicht genau vorhersehbar. Prognosen sind umso ungenauer, je weiter sie in die Zukunft gehen. Die Genauigkeit einer Vorhersage nimmt mit der Zeit ab, bis etwa fünf Jahre später, wenn sie dem Zufall gleichkommt. Langfristige Prognosen sind also nicht tragfähig. Dennoch machen alle möglichen Unternehmen und Institutionen langfristige Prognosen. Manchmal werden sie benötigt, damit langfristige Pläne gemacht werden können. In diesen Fällen ist es am besten, sich auf eine Überraschung vorzubereiten. Belastbarkeit und Anpassungsfähigkeit planen; Stellen Sie sich verschiedene Szenarien vor, in denen unwahrscheinliche Dinge passieren, und entscheiden Sie, wie Sie reagieren würden.

Kapitel 12

Manchmal sind Menschen gegenüber Prognostikern, die Dinge vorhersagen, die ihnen nicht gefallen, feindlich gesinnt. Umgekehrt sind sie möglicherweise besonders freundlich zu denen, die prognostizieren, was sie hören möchten. Manchmal ist Politik stärker als Vorhersagen. Manchmal verwenden Menschen Prognosen, um ihre Interessen oder die ihres Stammes zu verteidigen, und in solchen Situationen tritt Genauigkeit oft in den Hintergrund. Manche Menschen klammern sich aus Angst vor Veränderungen am Status Quo fest, lassen sich aber durch gute Recherche überzeugen. (Tetlock nutzt inspirierende Beispiele von Menschen, die Beweise und Analysen nutzten, um die Meinungen der Menschen zu beeinflussen und die Gesellschaft zu verändern.)

Aus vielen Gründen ist eine gute Prognose so wichtig. Sie kann den Unterschied zwischen Erfolg und Misserfolg, zwischen Frieden und Krieg ausmachen. Und das Aufbewahren von Scores und Tracking-Ergebnissen ist der beste Weg, um Vorhersagen auszuwerten. Dies wird den Prognostikern helfen, sich zu verbessern. Dies wird uns auch helfen, Menschen für vage Vorhersagen, die nicht gemessen werden können, zur Verantwortung zu ziehen. Wir müssen ernsthaft mit dem Punktestand anfangen.

Der Brier-Score – der den Unterschied zwischen einer Vorhersage und dem tatsächlichen Ergebnis misst – ist ziemlich gut, aber wie bei allem gibt es immer Raum für Verbesserungen. Glücklicherweise hat der Aufstieg der Informationstechnologie unsere Fähigkeiten zum Zählen und Testen beschleunigt. Sportler beispielsweise konnten durch die systematische Suche nach evidenzbasierten Lösungen bemerkenswerte Leistungssteigerungen erzielen.

Zahlen sind zwar schöne Dinge, aber letztlich nur Werkzeuge. Wir können Dingen, die im Wesentlichen unzählbar sind, keine Metriken zuordnen. Manchmal sind die wirklich wichtigen Fragen am schwierigsten zu bewerten. Manchmal muss man eine komplexe Situation betrachten und in kleinere Fragen zerlegen. Dafür muss eine bessere Methodik entwickelt werden.