Superforecasting: Zusammenfassung und Rückblick

Expandieren

Kapitel 1

Während einige Leute besser in Vorhersagen sind als andere, sind etwa 2% Superforecaster. Vorhersagen sind eine erlernte Fähigkeit, und Sie können in diesem Buch lernen, wie Sie es selbst machen können.

Im Fernsehen und in anderen Medien machen alle möglichen Menschen Vorhersagen, aber ihre Genauigkeit wird nie wirklich gemessen. Sie sind nicht im Fernsehen, weil sie gut vorhersagen können; Sie sind im Fernsehen, weil sie gut darin sind, eine Geschichte zu erzählen, weil sie interessant und unterhaltsam sind. Der wahre Grund für Prognosen besteht nicht immer darin, die Zukunft vorherzusagen. Manchmal sollen Prognosen nur unterhalten, überzeugen oder den Menschen versichern, dass alles in Ordnung ist. Normalerweise bleiben diese verschiedenen Ziele unausgesprochen.

SuperprognoseErörtert Forschungsergebnisse, die zeigen, dass die meisten Experten bei Vorhersagen ungefähr so genau sind wie ein Schimpanse beim Werfen von Pfeilen auf ein Ziel. (Dies ist eine scheinbar bekannte Fallstudie, auf die er später in diesem Buch zurückkommt und die in Kapitel 3 viel mehr Kontext bietet.) Das Wichtige, was diese Schimpansenstudie zeigte, ist jedoch, dass die meisten Experten zwar nicht sehr genau waren Ihre Prognosen stimmten zumindest bei der Analyse mit kurzer Reichweite nicht überein – je länger die Prognosen waren, desto ungenauer waren die Vorhersagen. Vorhersagen in drei bis fünf Jahren kommen der Genauigkeit des berüchtigten Pfeil-werfenden Affen nahe.

Der Arabische Frühling, als in der arabischen Welt Revolution und Wandel ausbrachen, begann mit dem Protest eines einzelnen Mannes, und niemand konnte ahnen, was dabei herauskommen würde. Früher glaubten Wissenschaftler, dass die Realität mit einer solchen Präzision wie ein Uhrwerk funktionierte, dass wir alles vorhersagen könnten, wenn wir erst einmal verstanden hätten, wie sie funktioniert. Diese Idee wurde durch Edward Lorenz und die Vorstellung, dass ein Schmetterling, der in Brasilien mit den Flügeln schlägt, in Texas einen Tornado auslösen könnte, durchkreuzt: Chaostheorie. Wenn es Chaos gibt, wird es Unvorhersehbarkeit geben. Vorhersehbarkeit und Unvorhersehbarkeit sind beides. Das eine übertrumpft das andere nicht; es ist eine Mischung.

Wir können jedoch eine Menge vorhersagen. Wir können Routineereignisse vorhersagen, aber auch diese können durch Anomalien gestört werden. Je länger es dauert, desto schwieriger ist es vorherzusagen, aber auch hier gibt es Ausnahmen. Und auch wenn es in Zukunft wahrscheinlich eher zu einer Mischung aus Computer und Mensch bei der Prognose kommen wird, steht der Mensch in dieser Mischung immer noch im Mittelpunkt. Um gute Vorhersagen treffen zu können, benötigen Sie gute Algorithmen. Sie sollten jedoch akzeptieren, dass Sie diese wahrscheinlich nicht immer haben werden.

Das Good Judgement Project stellte fest, dass manche Leute gute Vorhersagen machen. Diese Menschen verwenden spezifische Techniken und haben ihre eigene einzigartige Art zu denken und die Welt zu betrachten. Unabhängig davon, ob Sie zu diesen gehören oder nicht, wird die Befolgung der Techniken in diesem Buch zu einer messbaren Verbesserung der Prognose führen. In diesem Spiel sind selbst kleine Verbesserungen im Laufe der Zeit oft von Bedeutung.

Kapitel 2

Tetlock beginnt hier mit einer Geschichte der Medizin und betont, dass es lange Zeit keine methodischen Tests gab. Gute Wissenschaft erfordert eine gesunde Skepsis, und die Ärzteschaft begann erst nach dem Zweiten Weltkrieg mit der Verwendung randomisierter Studien. Anstelle von Wissenschaft wurden Entscheidungen im Allgemeinen auf der Grundlage von Tradition und Autorität getroffen. Oft genug vertrauen Experten auf ihre eigenen Fähigkeiten und ihr Urteilsvermögen, ohne selbst Nachforschungen anzustellen. Beispielsweise unterstützte die Regierung von Margaret Thatcher eine Politik der Inhaftierung junger Straftäter unter spartanischen Bedingungen. Hat es funktioniert? Sie haben keine Studien gemacht; Sie gingen davon aus, dass ihre Intuition es am besten wusste.

Psychologen sagen, dass unsere mentalen Welten in zwei Bereiche unterteilt sind. System 2 ist unser bewusstes Leben. Es beinhaltet alles, woran wir denken. System 1 ist die Welt der automatischen Reaktionen und der Autopilot-Funktion. Die Nummerierung ist beabsichtigt – System 1 steht an erster Stelle. Es läuft immer im Hintergrund. Das Nachdenken über Probleme bringt uns vielleicht eine genauere Analyse, ist aber nicht immer praktikabel. In der neolithischen Welt mussten die Menschen manchmal schnell reagieren. System 1 ist sehr nützlich. Aber die Dichotomie zwischen Impuls und Analyse ist falsch. Es geht nicht um das eine oder das andere – die beste Strategie besteht darin, einiges von beidem zu nutzen.

Die Menschen müssen ihre Welt verstehen. Wenn sie etwas nicht verstehen, denken sie sich meist Gründe aus, um es zu erklären, oft ohne sich dessen bewusst zu sein. Wissenschaftlern wird jedoch beigebracht, bei ihren Ahnungen eine gewisse Selbstdisziplin an den Tag zu legen. Sie suchen nach anderen möglichen Erklärungen für Dinge; Sie erwägen die Möglichkeit, dass ihre Vermutung falsch ist. Es ist wichtig, Zweifel zu hegen, aber das widerspricht der menschlichen Natur. Das Natürliche ist, sich an die erste plausible Erklärung zu klammern und Beweise zu sammeln, die sie stützen, während man Beweise ignoriert, die das nicht tun. Bestätigungsfehler: Wir mögen keine Beweise, die unseren Überzeugungen widersprechen. Ein weiterer Denkfehler ist der „Köder und Schalter“: Wenn wir eine schwierige Frage nicht beantworten können, ersetzen wir sie durch eine einfachere.

Ein wichtiger Faktor in diesem Gespräch ist die Mustererkennung. Dies hilft uns, Probleme fast sofort zu erkennen, ohne lange darüber nachdenken zu müssen. Die Mustererkennung ist zwar sehr nützlich, hat aber ihre Probleme. Die Menschen sehen das Gesicht Jesu in ihrem Toast. Sie vertrauen zu sehr auf die Mustererkennung. Mustererkennung ist in manchen Situationen hilfreicher als in anderen. Es geht darum, die Situationen zu kennen und die Hinweise zu lernen. Ohne das Erlernen aller möglichen Muster ist die Intuition nicht besser als der Zufall. Aber es ist schwer zu wissen, ob Sie genügend gültige Hinweise für die Intuition haben, um die Intuition produktiv zu machen. Daher ist es gut, dies noch einmal zu überprüfen, bevor Sie auf Ihre Intuition reagieren, um sicherzustellen, dass sie den Logiktest besteht.

Kapitel 3

Um Vorhersagen auf Genauigkeit zu bewerten, müssen wir in der Lage sein, genau zu verstehen, was die Vorhersage sagt. Das ist schwieriger, als Sie vielleicht denken.

Viele Dinge werden nicht erwähnt, wenn Menschen Prognosen erstellen, beispielsweise wenn der Prognostiker davon ausgeht, dass das Publikum den Kontext kennt, was in Ordnung sein kann, bis Sie fünf Jahre später die Prognose herausholen und sich niemand mehr an den Kontext erinnert. Viele Prognosen enthalten keinen Zeitrahmen, wie er zum Zeitpunkt der Prognose impliziert wurde. Aber ohne einen Zeitrahmen sind Prognosen nutzlos.

Es gibt auch größere Hürden bei der Beurteilung von Prognosen – zum Beispiel die Wahrscheinlichkeit. Wenn du sagstes ist wahrscheinlichdass etwas passieren wird, ist etwas ganz anderes als etwas zu sagenWillepassieren. Tetlock erzählt von einem Fall, bei dem Menschen gesagt wurde, es bestehe eine „ernsthafte Möglichkeit“, dass etwas passieren würde, und sie dann nach ihrer Meinung über die genaue Wahrscheinlichkeit, dass etwas passieren würde, gefragt wurden. Die Antworten reichten von 20% bis 80% Wahrscheinlichkeit, was verdeutlicht, dass Menschen manchmal sehr unterschiedliche Vorstellungen davon haben, was etwas bedeutet. Die Folgen können katastrophal sein.

Prognostiker, die Wahrscheinlichkeit in Zahlen ausdrücken, sind gezwungen, ihren eigenen Prozess klarer zu denken. Aber das Problem mit Zahlen ist, dass sie sehr maßgebend erscheinen. Die Leute denken vielleicht, dass etwas eine objektive Tatsache und keine subjektive Meinung ist, wenn eine Idee mit Zahlen ausgedrückt wird. Die Lösung für dieses Problem besteht darin, dass die Menschen besser darüber aufgeklärt werden.

Eine weitere Schwierigkeit: Nehmen wir an, ein Meteorologe sagt, dass die Regenwahrscheinlichkeit 70% beträgt. Wenn es nicht regnet, denken einige Leute vielleicht, dass die Vorhersage falsch war, aber in Wirklichkeit bedeutet eine Regenwahrscheinlichkeit von 70%, dass die Wahrscheinlichkeit, dass es nicht regnet, 30% beträgt. Die einzige wirkliche Möglichkeit, die Genauigkeit der Vorhersage zu beurteilen, wäre, das Wetter 100 Mal zu wiederholen und zu sehen, wie oft es regnet. Da wir das aber nicht können, können wir eigentlich nur sagen, dass die Prognose nicht widerlegt wurde.

Wir können den Verlauf nicht wiederholen, daher können wir keine isolierte Prognose beurteilen. Was wir jedoch tun können, ist, eine große Anzahl von Vorhersagen gemeinsam zu betrachten – schauen Sie sich die Erfolgsbilanz eines Meteorologen an. Die zu stellende Frage lautet nicht: „Hat es das eine Mal geregnet, als sie sagte: 70% Regenwahrscheinlichkeit?“ aber: „Hat es von allen Zeiten, in denen sie sagte, dass es 70% regnen würde, 70% geregnet?“ Dies ist eine Kalibrierung, und indem Sie die Vorhersagen des Meteorologen kalibrieren (indem Sie den Prozentsatz richtiger Vorhersagen in Abhängigkeit von der Anzahl der Vorhersagen auftragen), können Sie feststellen, ob sie zu wenig oder zu zuversichtlich ist. Um diese Einschätzungen vornehmen zu können, sind jedoch viele Daten erforderlich. Bei seltenen Ereignissen funktioniert es nicht sehr gut.

Es ist auch nicht sehr interessant oder aufregend zu sagen, dass die Wahrscheinlichkeit, dass etwas passiert, 60% beträgt – die Leute wollen mehr Informationen als das. Je entschiedener der Prognostiker, desto besser, und dies wird als Auflösung bezeichnet. Der Sweet Spot ist eine hohe Auflösung und Kalibrierung.

In der oben erwähnten Schimpansenstudie wurden Experten gebeten, Vorhersagen zu treffen, und die Ergebnisse zeigten, dass die Experten nicht besser waren als Schimpansen (oder zufälliger Zufall). Hinter diesem durchschnittlichen Ergebnis verbergen sich jedoch wichtige Details. Tatsächlich gab es zwei verschiedene Arten von Experten: Die ersten waren nicht besser als zufällige Vorhersagen; die zweite Gruppe machte geringfügig bessere Vorhersagen als die Schimpansen, aber ihre Ergebnisse waren immer noch nicht herausragend.

Der Unterschied zwischen diesen Gruppen lag in ihrem Denken. Eine Gruppe organisierte ihre Gedanken rund um Big Ideas. Ob Umweltschützer, Fundamentalisten des freien Marktes, Sozialisten usw., diese Idealisten passen die Informationen, die sie hatten, in bestehende Rahmen ein. Um zu argumentieren, neigten sie dazu, Gründe für die Richtigkeit ihrer Analysen anzuhäufen. Sie waren sehr zuversichtlich in ihre eigenen Fähigkeiten, auch wenn sie sich irrten. Die andere Gruppe von Analysten verwendete eine Vielzahl von Werkzeugen, um Informationen zu sammeln. Es ging ihnen mehr um Möglichkeiten und Wahrscheinlichkeiten als um Gewissheiten, und sie konnten ihre Fehler zugeben. Diese Experten schlagen die andere Gruppe sowohl bei der Kalibrierung als auch bei der Auflösung.

Die Menschen mit der großen Idee neigen dazu, ihr gesamtes Denken um die große Idee herum zu organisieren, was ihre Sicht auf die Welt verzerrt. Sie können alle gewünschten Informationen sammeln; Dadurch werden sie nicht genauer, weil sie es so organisieren, dass es zur Idee passt. Diese Menschen scheinen zuversichtlich zu sein, was die Wahrscheinlichkeit erhöht, dass andere ihnen glauben. (Diese Leute schneiden im Fernsehen gut ab, auch wenn sie keine so guten Prognostiker sind.)

Net-Net: Es ist schwer, außerhalb unserer eigenen Perspektive zu sehen. Daher ist es gut, Informationen aus vielen Quellen zusammenzuführen und so viele verschiedene Perspektiven wie möglich zu berücksichtigen. Nehmen Sie die Libelle: Die Augen einer Libelle bestehen aus vielen verschiedenen Linsen, die sich alle zu einem einzigen Bild im Kopf der Libelle verbinden. Tetlock schlägt vor, dass wir versuchen sollten, Dinge wie eine Libelle zu betrachten.

Kapitel 4

Als die USA auf der Suche nach Massenvernichtungswaffen in den Iran einmarschierten, waren sich Regierungsanalysten sicher, dass diese Waffen dort waren. Aber sie lagen sehr falsch. Es stellte sich heraus, dass die Analysten nicht wussten, wie gut ihre Analysemethoden funktionieren, weil sie die Genauigkeit ihrer Arbeit nicht nachverfolgten. Die Geheimdienstgemeinschaft war über diese Sachlage angemessen alarmiert, und die Intelligence Advanced Research Projects Activity (IARPA) erstellte eine Studie, die darauf abzielte, mehr über Prognosen zu erfahren und zu bestimmen, wie diese gemessen werden kann.

Die Studie richtete einen turnierähnlichen Wettbewerb zwischen Prognostikern ein, und als Teil des Wettbewerbs wurde die Öffentlichkeit gebeten, Vorhersagen zu machen. Die Personen, die durchweg die genauesten Vorhersagen machten, wurden herausgefiltert, und die Vorhersagen der besten Prognostiker wurden gewichtet, um die Ergebnisse zu vergrößern. Die Studie ergab, dass eine kleine Minderheit der Menschen sehr gut im Vorhersagen war; sie waren genauer als die meisten professionellen Rater der Zukunft.

Die Leute verstehen den Zufall nicht. In einer Yale-Studie wurden Menschen gebeten, die Ergebnisse eines Münzwurfs aufzurufen, und ihnen wurde dann mitgeteilt, ob sie richtig waren oder nicht. Von 30 Würfen wurde ihnen gesagt, dass sie 15 Mal richtig und 15 Mal falsch lagen, aber die Ergebnisse waren manipuliert. Einige Leute hatten schon früh eine Flut von richtigen Würfen, und diese Leute hatten am ehesten den Eindruck, dass sie ein gewisses Talent darin hatten, Münzwürfe zu bestimmen. Dies war offensichtlich falsch, da bei einem Münzwurf keine Geschicklichkeit erforderlich ist.

Es gibt alle möglichen logischen Irrtümer. Wenn zum Beispiel in einer Fernsehsendung eine große Sache über einen Prognostiker gemacht wird, weil er bei einer bestimmten Gelegenheit Recht hatte, bedeutet das nichts, weil jeder aus Versehen einmal Recht haben könnte. Das sind nur zufällige Quoten.

Glück spielt immer eine Rolle und niemand, egal wie gut, ist unfehlbar. Aber es gibt Menschen, die die Zukunft besser vorhersagen können als andere. Diese Superforscher haben nicht nur Glück; Sie haben echtes Können. Während gute Prognostiker sich im Laufe der Zeit langsam zurückbilden (Regression auf die Mittelwerte = die Dinge tendieren zum Durchschnitt zurück), ist dieJa wirklichGute Prognostiker machen kaum Rückschritte. Jahr für Jahr gibt es Menschen, die den Superforecaster-Status behalten, und das wäre nicht möglich, wenn es nur eine Frage des Zufalls wäre.

Kapitel 5

Eine Fermi-Schätzung ist ein guter Einstieg in eine Analyse. Dabei geht es darum, ein Problem in kleinere Komponenten zu zerlegen und herauszufinden, was Sie vernünftigerweise einschätzen können. Von da an bleibt alles übrig, was Sie nicht wissen, und Sie sollten ebenfalls versuchen, diese Dinge in eine möglichst kleine Kategorie zu unterteilen. Dieser Schätzprozess führt zu viel genaueren Schätzungen.

Wenn Sie herausfinden möchten, wie häufig eine Sache ist, sollten Sie zunächst versuchen, die äußeren Grenzen der betrachteten Sache zu finden. Wenn Sie beispielsweise die Anzahl von Haushalten mit zwei Erwachsenen und einem Kind schätzen, die einen Hund haben, würden Sie mit der Anzahl der Haushalte beginnen, die Haustiere haben und von dort aus weiterarbeiten. Oft eilen die Leute durch diesen Teil, aber die äußere Grenze ist wichtig, weil die Menschen dazu neigen, auf die erste Zahl zu achten, die sie haben, und sich von dort aus anzupassen. Die Startnummer ist also ein Anker und verhindert, dass man ins Unmögliche abdriftet. Um die innere Grenze zu bestimmen, entwickeln Sie einige Hypothesen über das Problem. Untersuchen Sie dann die Möglichkeiten jeder Hypothese.

Ein Teil des Prozesses der Synthese der beiden Ansichten besteht darin, nach externen Meinungen zu suchen. Sie können auch bei sich selbst nach verschiedenen Perspektiven suchen. Gehen Sie beispielsweise davon aus, dass Ihre erste Schlussfolgerung falsch ist, und suchen Sie nach den Gründen dafür. Sie können auch versuchen, die Arbeit etwa eine Woche lang beiseite zu legen – wenn Sie mit neuen Augen wieder an die Arbeit herangehen, wird sie anders aussehen. Oder ändern Sie die Perspektive, indem Sie den Wortlaut von etwas ändern. Ich betrachte es aus einem anderen Blickwinkel und formuliere die Frage neu. Prognostiker müssen aufgeschlossen sein. Sie müssen neugierig sein und dorthin gehen, wohin die Beweise sie führen, auch wenn diese ihren Lieblingstheorien widersprechen. Prognostiker brauchen Libellenaugen: die Fähigkeit, viele Perspektiven gleichzeitig zu sehen.

Kapitel 6

Wenn Sie eine Gruppe von Leuten zusammenbringen und sie alle bitten, etwas vorherzusagen, erhalten sie eine große Auswahl an Antworten. Ist das etwas schlechtes? Nein, es zeigt, dass sie kein Gruppendenken betreiben; Jeder von ihnen benutzt seinen eigenen Verstand. Wenn Sie den Durchschnitt aller Schätzungen ermitteln, erhalten Sie oft eine ziemlich gute Annäherung an die Wahrheit. Das ist „die Weisheit der Menge“.

Der Wahrscheinlichkeitsgedanke ist ein modernes Konstrukt, das viele Menschen nicht verstehen. Unsere Instinkte sehen eine einfache Welt: eine Welt vonJawohl,NeinUndkann sein. (Als sich unsere Spezies weiterentwickelte, brauchten wir normalerweise nicht mehr Einstellungen als diese. Ist etwas eine Bedrohung? Ja – reagieren! Nein – entspannen. Vielleicht – wachsam bleiben.) Wahrscheinlichkeit ist für Menschen frustrierend, weil der menschliche Geist dazu neigt Vereinfachen Sie alles zurück in das Ja/Nein/Vielleicht-Paradigma. Wenn beispielsweise eine Regenwahrscheinlichkeit von 75% bestand und es am Ende des Tages nicht regnete, heißt das nicht, dass die Vorhersage falsch war – eine Regenwahrscheinlichkeit von 75% bedeutet auch eine Regenwahrscheinlichkeit von 25%nichtRegen. Aber die Leute wollen wissen: „Ja, es wird regnen“ oder „Nein, es wird nicht regnen“, und das Beste, was viele mit einer Wettervorhersage machen können, ist, sie als „Vielleicht“ einzustufen. Superforecaster denken jedoch normalerweise probabilistisch, und diejenigen, die sich ihren Reihen anschließen möchten, müssen das Denkmuster „Ja/Nein/Vielleicht“ beiseite legen und lernen, auf diese Weise zu denken.

Menschen mögen auch Gewissheit, aber es gibt immer eine gewisse Unsicherheit. Dies ist an und für sich etwas, das analysiert werden muss, und es gibt zwei Arten von Unsicherheit: 1) Sie können unsicher sein, wenn es um Dinge geht, die erkennbar sind, und 2) Sie können sich unsicher sein, wenn es um Dinge geht, die nicht erkennbar sind. Wenn Unsicherheit über nicht erkennbare Dinge besteht, ist es normalerweise besser, vorsichtig zu sein und die Vorhersagen im Bereich von 35–65% zu halten. In der IARPA-Studie waren die Schätzungen für 50% am ungenauesten, da diese Zahl zur Angabe der Unsicherheit verwendet wurde. Mit anderen Worten: Wenn Leute sagen, dass die Wahrscheinlichkeit bei 50–50% liegt, dann ist das nur eine ausgefallene Ausdrucksweise. Gute Prognostiker neigen jedoch dazu, sehr detailliert vorzugehen, da sie so viele Details im Blick haben. Granularität kann die Genauigkeit einer Vorhersage erhöhen.

Menschen suchen nach Sinn, besonders in Zeiten der Tragödie. Sie suchen nach „Warum?“ Manche orientieren sich an der Religion. Manchmal, wenn etwas passiert, sagen die Leute, dass es passieren sollte. Wie groß sei die Wahrscheinlichkeit, fragen sie, dass wir uns an diesem Tag getroffen hätten? Aber egal wie unwahrscheinlich es war, man musste an diesem Tag irgendwo sein und hätte stattdessen genauso gut jemand anderen treffen können. Wissenschaftler fragen nicht: „Warum?“ Sie fragen: „Wie?“ Superforecaster glauben nicht an Schicksal.

Kapitel 7

Für gute Prognosen gibt es keine einfache Mal-nach-Zahlen-Methode. Es gibt jedoch Maßnahmen, die normalerweise hilfreich sind:

Sobald eine Vorhersage getroffen wurde, ist die Arbeit noch nicht beendet. Vorhersagen sollten jedes Mal aktualisiert werden, wenn zusätzliche Informationen vorliegen, und Superforecaster aktualisieren ihre Vorhersagen häufiger als andere Prognostiker. Diese aktualisierten Prognosen sind tendenziell genauer, da der Prognostiker, der häufiger aktualisiert, wahrscheinlich besser informiert ist.

Es ist schwierig, eine Prognose zu aktualisieren – man kann unterreagieren und man kann überreagieren. Wenn wir mit neuen Informationen konfrontiert werden, möchten wir oft an unseren Überzeugungen festhalten, ungeachtet der neuen Beweise. Die Meinungen der Menschen über Dinge können sich tatsächlich mehr auf ihre eigene Identität als auf alles andere beziehen. Außerdem ist es umso schwieriger, zuzugeben, dass man etwas falsch gemacht hat, je mehr Menschen eine emotionale Bindung zu etwas haben. Eine weitere Herausforderung: Wenn Menschen erst einmal öffentlich Stellung zu etwas beziehen, ist es schwierig, sie zu einer Meinungsänderung zu bewegen. Aber Sie müssen in der Lage sein, Ihre Meinung zu ändern, wenn sich die Fakten ändern.

Außerdem ist es schwierig, wichtige von irrelevanten Informationen zu unterscheiden. Manchmal denken Menschen, dass etwas wichtig ist, aber das ist nicht der Fall, und irrelevante Informationen können verwirren und Vorurteile auslösen. Wenn man sich den Ergebnissen nicht verpflichtet fühlt, kann es zu Überreaktionen kommen; Wenn sie wirklich anhänglich sind, können sie unterreagieren.

Der Trick besteht darin, eine Prognose häufig zu aktualisieren, in den meisten Fällen jedoch nur kleine Anpassungen vorzunehmen. Manchmal muss man natürlich eine dramatische Veränderung vornehmen. Wenn Sie wirklich weit vom Ziel entfernt sind, reicht eine schrittweise Änderung nicht aus.

Kapitel 8

Manche Menschen denken, dass sie sind, was sie sind, und dass sie sich nicht ändern und wachsen können. Das sind nicht die Menschen, die sich verändern und wachsen. Weil sie denken, dass sie es nicht können, versuchen sie es nie. Es wird zu einer sich selbst erfüllenden Prophezeiung. Diese Menschen haben feste Denkweisen. Superforecaster haben eine Wachstumsmentalität.

John Keynes, der berühmte Ökonom, wurde sehr gut darin, an der Börse zu investieren. Er wertete alle seine Fehler sorgfältig aus und verbesserte seine Leistung systematisch. Er wurde sehr erfolgreich.

Um erfolgreich zu sein, müssen wir es versuchen. Um uns zu verbessern, müssen wir versuchen, scheitern, analysieren, anpassen und es erneut versuchen. Wir lernen durch Handeln. Wir verbessern uns durch Wiederholung. Das gilt für absolut jede Fähigkeit. Das Erlernen von Prognosen funktioniert auf die gleiche Weise. Man lernt es nicht allein durch das Lesen eines Buches. Du musst es tun. Tetlock erklärt auch, dass sich die Vorhersagen in einem Kontext – dem Wetter – wirklich gut auf einen anderen Kontext – die Weltpolitik – übertragen lassen. Sie müssen sich anstrengen und für jeden Kontext üben und üben.

Und man muss damit einverstanden sein, dass man manchmal falsch liegt. Fehler zu machen ist Teil des Lernprozesses. Um aus Fehlern zu lernen, müssen wir wissen, dass wir versagt haben. Daher muss der Praxis Feedback folgen. Ohne Feedback können Menschen davon ausgehen, dass es ihnen gut geht, und übermütig werden. Ohne Feedback werden die Menschen weiterhin falsch über ihre eigene Leistung nachdenken. Feedback sollte direkt nach der Veranstaltung erfolgen, wenn alles noch frisch in unseren Köpfen ist. Andernfalls kommt es zu einer Voreingenommenheit im Nachhinein: Sobald wir den Ausgang einer Sache kennen, beeinflusst dies unsere Erinnerung an Ereignisse.

Obduktionen sind daher sehr wichtig. Dekonstruieren Sie Ihre Prognose nach dem Fall gründlich. Was hast du richtig gemacht? Was hast du falsch gemacht? Warum? Und verstehen Sie, dass die Tatsache, dass das, was Sie vorhergesagt haben, eingetreten ist, nicht zwangsläufig bedeutet, dass Ihr Prozess solide war – es könnte einfach Zufall gewesen sein. Es liegt in der Natur des Menschen, sich für korrekte Prognosen zu rüsten und den Zufall zu minimieren, aber eine objektive Analyse wird Ihnen dabei helfen, sich zu verbessern.

Perpetual Beta bedeutet kontinuierliche Analyse und Verbesserung. Die Aufrechterhaltung eines ständigen Beta-Zustands ist viel wichtiger als Intelligenz. Tatsächlich ist von allen Eigenschaften, die Superforecastern gemeinsam sind, die Qualität, die am besten vorhersagt, wer ein Superforecaster wird, die der ewigen Beta. Körnung und Zähigkeit sind dabei wichtige Eigenschaften.

Kapitel 9

Die Invasion in der Schweinebucht war schlecht geplant und durchgeführt. Die Kennedy-Regierung verlor an Glaubwürdigkeit, aber während der Kubakrise änderten sich die Dinge. Es war so ziemlich dasselbe Team, das beide Veranstaltungen betreute.

Nach der Schweinebucht leitete Kennedy eine Untersuchung ein, um herauszufinden, was schief gelaufen ist. Als Problem wurde der Entscheidungsprozess identifiziert. Die Teammitglieder wurden Opfer des Gruppendenkens, das geschieht, weil die Leute miteinander auskommen wollen. Manchmal passen sie ihre Überzeugungen unbewusst an, um mit dem Team mitzumachen. Ganze Personengruppen können auf diese Weise von rationalen Verankerungen abdriften.

Das Kennedy-Team entwickelte eine neue, skeptische Methode und begann, ihre Annahmen zu hinterfragen. Manchmal verließ Kennedy den Raum absichtlich, um dem Team Raum zu geben, Ideen ohne den Chef herumzuwerfen. Das war wirklich wertvoll. Als es schließlich zur Kubakrise kam, konnten sie alle möglichen alternativen Lösungen hervorbringen. Ihre verbesserte Methode hätte der Welt möglicherweise einen Atomkrieg erspart.

Dies zeigt, dass es für eine Gruppe möglich ist, ihren Entscheidungsprozess zum Besseren zu verändern. Es ist nicht nötig, nach der perfekten Gruppe zu suchen, wenn ein motiviertes Team lernen kann, sich zu verändern. Und trotz der Risiken des Gruppendenkens kann die Arbeit im Team das Urteilsvermögen schärfen und größere Ziele erreichen, als Einzelpersonen allein erreichen könnten. Tetlock stellt die Frage: Sollten Prognostiker in Teams arbeiten oder sollte jeder einzeln arbeiten?

Um festzustellen, ob sich die Vor- und Nachteile gegenseitig aufheben, führten sie eine Studie durch, um zu sehen, ob Teams von Prognostikern besser arbeiteten als Einzelpersonen. Die Ergebnisse waren eindeutig: Teams sind eindeutig genauer als Menschen. Wenn Superforecaster in Teams zusammengestellt wurden, übertrafen sie außerdem die Vorhersagemärkte.

Obwohl diese Erkenntnisse kein automatisches Erfolgsrezept sind, unterstreichen sie die Bedeutung einer guten Gruppendynamik. Teams sollten auch aufgeschlossen sein; Sie sollten eine Kultur des Teilens haben. Schließlich ist Vielfalt außerordentlich wichtig – sogar noch wichtiger als Fähigkeiten. Superteams, die aus unterschiedlichen Menschen mit unterschiedlichen Perspektiven bestehen, verfügen über mehr Informationen.

Kapitel 10

Superteams funktionieren am besten mit flachen, nichthierarchischen Strukturen. Aber Unternehmen und Regierungen, die Prognostiker benötigen, um ihre Entscheidungen zu treffen, sind sehr hierarchisch. Wie können diese zusammenpassen? Ist es möglich, in einer hierarchischen Organisation eine flache, flexible Struktur zu fördern? Interessanterweise nutzt Tetlock die Wehrmacht als Beispiel. (Er tut dies, um die Notwendigkeit zu veranschaulichen, Gefühle und Vorurteile – zum Beispiel Reaktionen auf oder Unbehagen gegenüber der Wehrmacht als Vorbild – zu trennen, damit sie die Vorhersagen nicht beeinflussen.)

Im 19. Jahrhundert errang die preußische Armee den Sieg über ihre Nachbarn. Die Preußen verstanden, dass Unsicherheit ein wichtiger Teil der Realität war, und die preußischen Führer machten sich viele Gedanken über die Unsicherheit. Es war wichtig zu erkennen, dass sich die Umstände sehr schnell ändern können. Aufgrund dieser Betonung der Unsicherheit wurden die Beamten darin geschult, flexibel zu sein, damit sie mit auftretenden Situationen umgehen können. Sogar Soldaten wurden ermutigt, die Autorität gegebenenfalls in Frage zu stellen. Dieses Prinzip wurde wörtlich „Auftragstaktik“ genannt.Missionskommando. Im Krieg mussten Entscheidungen vor Ort getroffen werden, um auf sich ändernde Situationen zu reagieren. Die Kommandeure sagten den Untergebenen, was das Ziel war, aber nicht, wie sie es erreichen sollten. Selbst vom niedrigsten Soldaten wurde erwartet, dass er autonom handelt.

Die Nazis haben diese Armee geerbt: die Wehrmacht. Die Wehrmacht war lange Zeit sehr erfolgreich. Letztendlich wurden sie jedoch von überlegenen Kräften überwältigt. Ihre Niederlage wurde durch Fehler beschleunigt, darunter Hitlers autokratische Führung, die gegen die Grundsätze der Auftragstaktik verstieß.

Im Vergleich dazu durften Untergebene in der US-Armee ihre Vorgesetzten nie befragen. Sie erhielten langwierige, detaillierte Befehle, in denen alle zu ergreifenden Maßnahmen genau beschrieben waren. Es gab wenige Ausnahmen. Die Lektion der Auftragstaktik lernte die US-Armee erst in den 1980er Jahren. Sie haben wohl noch einen weiten Weg vor sich, aber sie sind seitdem viel dezentraler geworden. Als die USA in den Irak einmarschierten, war General Petraeus befugt, auf die Umstände vor Ort zu reagieren und den Widerstand zu minimieren. Er betonte, wie wichtig es sei, dass seine Leute lernen, flexibel zu denken und mit den Dingen umzugehen, wenn sie auftauchen; wie wichtig es ist, Dinge aus verschiedenen Perspektiven zu betrachten.

Kapitel 11

Eine große Falle, der wir begegnen, besteht darin, zu glauben, dass das, was man sieht, alles ist, was es gibt. Wir alle können Fehler machen und vergessen, unsere Annahmen noch einmal zu überprüfen. Und oft schenken wir dem Umfang einer Frage nicht genügend Aufmerksamkeit. Wenn Sie beispielsweise jemanden fragen: „Wird die Assad-Herrschaft in Syrien dieses Jahr fallen?“ Ihre Antwort wird widerspiegeln, ob sie glauben, dass die Herrschaft Assads so sein wirdjefallen. Sie sind unempfindlich gegenüber dem Umfang.

Superforecaster zeigen eine bessere – nicht perfekte, aber viel bessere – Scope-Sensitivität als normale Prognostiker. Sie verwenden System 2, um System 1 so regelmäßig zu überprüfen, dass dies automatisch erfolgt. Auf diese Weise wird System 2 ein Teil von System 1.

In einem Buch über Prognosen muss Tetlock natürlich über Nassim Talebs schwarzen Schwan sprechen. Ursprünglich waren alle Schwäne in Europa weiß. Wenn Sie einen Engländer bitten würden, sich einen wirklich seltsamen Schwan vorzustellen, würde er wahrscheinlich an einen mit ungewöhnlicher Größe oder einen mit einem komischen Schnabel oder so etwas denken. Aber alle Schwäne in seiner Vorstellung wären wahrscheinlich weiß, weil er noch nie einen andersfarbigen Schwan gesehen hatte. Er konnte sich keinen vorstellen, selbst wenn er versuchte, an eine andere Art von Schwan zu denken. Dann, im 17. Jahrhundert, fuhren britische Boote nach Australien und zurück und brachten einige Souvenirs und Kuriositäten mit, darunter einen schwarzen Schwan. Der Engländer sieht etwas, was er sich vorher nicht einmal hätte vorstellen können. Verstand = umgehauen.

Die gesamte von Nassim Taleb entwickelte Theorie über schwarze Schwäne gefährdet Tetlocks Theorie, weshalb er sie für die Leser dekonstruiert. Wie genau definieren Sie „Schwarzer Schwan“? Wenn Sie etwas meinen, was vorher undenkbar war, ist das in der Tat äußerst selten. Oder vielleicht könnten Sie es auf „höchst unwahrscheinliche Folgeereignisse“ verwässern. Es ist sehr schwierig, Daten über höchst unwahrscheinliche Ereignisse zu erhalten – sie passieren naturgemäß nicht oft. Das Good Judgement Project läuft noch nicht lange genug, um genügend Daten darüber zu sammeln.

Und wenn man sich die vermeintlichen „Black Swan“-Ereignisse genau anschaut, waren sie größtenteils, aber nicht genau, vorhersehbar. Prognosen sind umso ungenauer, je weiter sie in der Zukunft liegen. Die Genauigkeit einer Vorhersage nimmt mit der Zeit ab, bis sie nach etwa fünf Jahren wieder dem Zufall entspricht. Daher sind langfristige Prognosen nicht tragfähig. Dennoch erstellen verschiedenste Unternehmen und Institutionen langfristige Prognosen. Manchmal werden sie benötigt, damit langfristige Pläne gemacht werden können. In diesen Fällen ist es am besten, sich auf eine Überraschung vorzubereiten. Resilienz und Anpassungsfähigkeit planen; Stellen Sie sich verschiedene Szenarien vor, in denen unwahrscheinliche Dinge passieren, und entscheiden Sie, wie Sie reagieren würden.

Kapitel 12

Manchmal sind Menschen feindselig gegenüber Prognostikern, die Dinge vorhersagen, die ihnen nicht gefallen. Umgekehrt sind sie möglicherweise besonders freundlich zu denen, die prognostizieren, was sie hören möchten. Manchmal ist Politik mächtiger als Vorhersagen. Manchmal nutzen Menschen Prognosen, um ihre Interessen oder die ihres Stammes zu verteidigen, und in solchen Situationen tritt die Genauigkeit oft in den Hintergrund. Manche Menschen halten am Status quo fest, weil sie Angst vor Veränderungen haben, aber sie können durch gute Recherche überzeugt werden. (Tetlock nutzt inspirierende Beispiele von Menschen, die Beweise und Analysen nutzten, um die Meinungen der Menschen zu beeinflussen und die Gesellschaft zu verändern.)

Aus vielen Gründen ist eine gute Prognose so wichtig. Es kann den Unterschied zwischen Erfolg und Misserfolg, zwischen Frieden und Krieg ausmachen. Und das Behalten der Punktzahl und das Verfolgen der Ergebnisse ist die beste Möglichkeit, Vorhersagen auszuwerten. Dies wird den Prognostikern helfen, sich zu verbessern. Dies wird uns auch dabei helfen, Menschen für vage Vorhersagen, die nicht messbar sind, zur Verantwortung zu ziehen. Wir müssen es ernst meinen, Punkte zu sammeln.

Der Brier-Score – der den Unterschied zwischen einer Vorhersage und dem tatsächlichen Ergebnis misst – ist ziemlich gut, aber wie bei allem gibt es immer Raum für Verbesserungen. Glücklicherweise hat der Aufstieg der Informationstechnologie unsere Fähigkeit zum Zählen und Testen beschleunigt. Sportler beispielsweise konnten durch die systematische Suche nach evidenzbasierten Lösungen bemerkenswerte Leistungssteigerungen erzielen.

Obwohl Zahlen zwar schöne Dinge sind, sind sie doch nur Werkzeuge. Wir können Dingen, die im Wesentlichen unzählbar sind, keine Metriken zuordnen. Manchmal sind die wirklich wichtigen Fragen am schwierigsten zu bewerten. Manchmal muss man eine komplexe Situation betrachten und in kleinere Fragen zerlegen. Hierfür muss eine bessere Methodik entwickelt werden.