„Superforecasting: Die Kunst der richtigen Prognose“ von Philip E. Tetlock und Dan Gardner ist ein ausgezeichnetes Buch über die Wissenschaft des Vorhersagens. Es erklärt, wie man Vorhersagen bewertet und wie man Menschen identifiziert und fördert, die darin besonders gut sind, sogenannte Superforecaster. Da Vorhersagen die Basis für viele Entscheidungen im öffentlichen und privaten Leben sind, kann die Relevanz dieses Buches gar nicht überbewertet werden: wir müssen als Gesellschaft dringend daran arbeiten, auf diesem Gebiet besser zu werden.

Je länger der Vorhersagezeitraum ist, desto schwieriger und ungenauer werden Vorhersagen. Ein Grund dafür findet sich in der Chaostheorie. Die Welt ist unglaublich komplex und kleine Veränderungen können große Auswirkungen haben, wie das klassische Beispiel des "Schmetterlingseffekts" zeigt. Dieser besagt, dass bereits der Flügelschlag eines Schmetterlings einen späteren Zustand so beeinflussen kann, dass irgendwo ein Tornado entsteht, den es ohne diese minimale Veränderung im Anfangszustand nicht gegeben hätte. Das Buch weist auch darauf hin, dass bei einer großen Anzahl von Vorhersagen einige rein zufällig eintreffen werden. Personen, denen das gelingt, werden ihren Erfolg jedoch wahrscheinlich nicht konsequent wiederholen können. Und dennoch kann eine einzige erfolgreiche kühne Vorhersage jemanden ungerechtfertigt zum Expertenstatus erheben, trotz einer vorangehenden Historie ungenauer Prognosen.

In einer Zeit, die von Vorhersagen und Prognosen überflutet wird, zeigt dieses Buch eindrücklich, dass die meisten Vorhersagen im Kern fehlerhaft sind. Das betrifft fast alle Experten, die regelmäßige Prognosen abgeben, von Politikern und Ökonomen bis zu Beratern und Wissenschaftlern. Das große Problem ist, dass ihre Vorhersagen nie systematisch analysiert und bewertet werden. Eine der wenigen Ausnahmen stellen Meteorologen dar – ihre Wettervorhersagen werden fortlaufend systematisch analysiert und verbessert.

Das gleicht ähnlichen Problemen, die andere wissenschaftliche Felder früher hatten. Zum Beispiel wurden die heute vorherrschenden randomisierten Kontrollstudien in der Medizin erst nach dem Zweiten Weltkrieg populär. Dabei werden die Testpersonen in zwei Gruppen aufgeteilt, von der eine das Medikament erhält und die andere das Placebo. So lässt sich identifizieren, ob das Medikament wirklich nützt. Bis zu diesem Zeitpunkt wurde die Wirksamkeit einer Behandlung primär mit Anekdoten, Fallberichten und Expertenmeinungen bewertet, was oft zu Medikamenten mit fehlender Wirksamkeit oder lange unerkannten Nebenwirkungen führte.

Die Autoren beschreiben die Hauptprobleme mit Vorhersagen, etwa ideologisch festgefahrene Experten, die versuchen, jedes Problem in ihr bevorzugtes Schema zu pressen und regelmäßig dem Bestätigungsfehler („Confirmation bias“) erliegen. Das Buch hebt auch den oft übersehenen Einfluss versteckter Absichten hinter Vorhersagen hervor, etwa wenn diese zur Untermauerung politische Ansichten oder für kommerzielle Interessen verwendet werden. Darüber hinaus bevorzugen Medien kühne Vorhersagen mit absolutem Wahrheitsanspruch gegenüber nuancierten und wahrscheinlichkeitsbasierten Einschätzungen. Und nicht zuletzt verwenden die meisten Vorhersagen unspezifische Sprache, wodurch sie im Nachhinein leicht uminterpretiert werden können um auf das Ergebnis zu passen.

Vorhersagen können nur gemessen werden, wenn sie genau angeben, was passieren wird, einen klaren Zeitrahmen haben und mit quantifizierbaren Wahrscheinlichkeiten arbeiten, nicht mit unklaren Begriffen wie "wahrscheinlich" oder „möglicherweise“.

Diese Vorhersagen können dann mit Methoden wie dem Brier-Score gemessen werden. Diese misst zwei Dinge: Das eine ist die Kalibrierung, also die Übereinstimmung von Vorhersagen mit tatsächlichen Ergebnissen. Wenn beispielsweise behauptet wird, dass ein Ereignis zu 70% eintreten wird, sollte das über mehrere gleichartige Vorhersagen hinweg etwa 70% der Zeit zutreffen. Das andere ist die Auflösung, also wie sicher die Vorhersage ist. Vorhersagen mit hohen Wahrscheinlichkeiten wie 90% werden dabei stärker gewichtet als jene die im Mittelfeld, also knapp unter oder über 50%. Eine komplexere Variante der Brier-Score kann auch verwendet werden um die Genauigkeit von Vorhersagen zu messen, die regelmäßig an neue Informationen angepasst werden, was der Optimalfall wäre – die Welter ändert sich, und das gleiche sollte auch mit Vorhersagen passieren.

Die für mich sehr ernüchternde Erkenntnis des Buches ist, dass die Vorhersagen der meisten Experten kaum besser sind als reiner Zufall sind – vergleichbar mit einem Schimpansen, der zufällig eine Vorhersage auswählt. Das macht deutlich daran, wie wichtig es ist, unsere Vorhersagemethoden zu verfeinern, da die meisten politischen und wirtschaftlichen Entscheidungen auf diesen Erwartungen über die Zukunft basieren.

Nach dieser Einführung in die Wissenschaft von Vorhersagen konzentriert sich das Buch darauf, wie gute Vorhersagen getroffen werden. Dabei basieren die Autoren ihre Analysen auf Individuen, die konsequent bessere Vorhersagen treffen können als der Rest der Bevölkerung. Diese Superforecasters zeichnen sich aus durch eine Mischung aus analytischer Fähigkeit, kognitiver Flexibilität, Bescheidenheit, Selbstbewusstsein und einem unerschütterlichen Engagement für Präzision und Klarheit. Sie besitzen eine Wachstumsmentalität und verfeinern ihre Fähigkeiten ständig, indem sie offen für Feedback sind und ständig Fehler in ihrem Urteilsvermögen identifizieren. Die Autoren haben aber eine gute Nachricht für alle: Das sind alles erlernbare Fähigkeiten, man wird nicht zum Superforecaster geboren. Eine gute Nachricht – ich werde persönlich definitiv versuchen auf diesem Gebiet noch besser zu werden, da sich diese Fähigkeit in den meisten Bereichen des Lebens anwenden lässt.

In erster Linie sind starke analytische Fähigkeiten entscheidend. Dazu gehört die Fähigkeit, Probleme in handhabbare Komponenten zu zerlegen und diese Lösungen zu einer Gesamtlösung zusammenzusetzen (bekannt als Fermi-Schätzung nach dem Nobelpreisträger Enrico Fermi). Das kann weiter verbessert werden, indem man konsequent verschiedene Perspektiven einbezieht. Eine weitere Fähigkeit ist die Verwendung von Basisraten, also der Wahrscheinlichkeit des Problems in abstrahierter Form, um Vorhersagen auf einem evidenzbasierten Ausgangspunkt zu verankern. Wenn man sich beispielsweise fragt, wie hoch die Chance ist, dass eine spezifische Familie ein Haustier hat, sollte man mit der Wahrscheinlichkeit initial daran orientieren, wie viel Prozent der Gesamtbevölkerung ein Haustier haben. Diese Schätzung wird dann unter Einbeziehung der weiteren spezifischen Fakten zum Fall weiter verfeinert. Dabei ist es wichtig wesentliche und irrelevante Informationen unterscheiden zu können um übermäßige Korrekturen zu vermeiden.

Genauso wichtig ist es, die inhärente Unsicherheit in Vorhersagen anzuerkennen und kognitive Flexibilität zu bewahren. Das bedeutet, persönliche Überzeugungen und Annahmen in Frage zu stellen, mögliche Fallstricke der Lösung zu antizipieren (sogenannte "pre-mortem Analysen") und sich der Möglichkeit von extrem unwahrscheinlichen, aber sehr einflussreichen Ereignissen bewusst zu sein. Diese Events werden basierend auf dem berühmten Buch von Nassim Taleb als "schwarze Schwäne" bezeichnet.

Darüber hinaus muss jeder Superforecaster ernsthaft gegensätzliche Standpunkte in Betracht ziehen und wachsam gegenüber persönlichen und kognitiven Vorurteilen sein, stets bestrebt, diese zu identifizieren und zu neutralisieren. Feedback und Evaluierungen nach einer Vorhersage helfen zukünftige Vorhersagen zu verbessern. Schließlich ist es von entscheidender Bedeutung, emotionale und identitätsbezogene Bindungen zu managen. Superforecaster müssen Meinungen, die mit der eigenen Identität verknüpft sind, entwirren und emotionale Investitionen überwachen, um objektive Vorhersagen zu gewährleisten.

Prognosen profitieren erheblich davon, wenn mehrere Personen das Problem angehen. Bereits die Verwendung des Durchschnitts der Vorhersagen mehrerer Personen kann die Qualität erheblich verbessern. Noch besser sind Teams, die vielfältige Perspektiven, Informationen und Meinungen miteinander teilen. Dieser Vorteil schwindet jedoch, wenn Gruppendenken (das Fachwort dazu ist „group think“) vorherrscht, was der Fall ist, wenn die Gruppe abweichende Minderheitsmeinungen ignoriert und stattdessen die Mittglieder gegenseitig ihre vorgefertigte Meinung festigen. Das kann durch das Fördern von Kritik und anderen Meinungen innerhalb der Gruppe bekämpft werden. Ein interessantes Beispiel dafür ist die preußische Armee, die trotz ihres Rufs für strenge Disziplin eine tief verwurzelte Kultur des Infragestellens von Befehlen durch Untergebene während der Entscheidungsfindung hatte. Strenge Gehorsamkeit setzte erst ein, wenn diese Entscheidungen anschließend ausgeführt wurden.

Ich kann “Superforecasters” wärmstens empfehlen, da es das dramatisch ignorierte Problem von schlechten, unverlässlichen Vorhersagen als Basis der meisten Entscheidungen in Politik und Wirtschaft sehr verständlich darstellt und umsetzbare Lösungen vorschlägt. Die Autoren bauen ihre Argumentation sehr sorgfältig auf, was manchen Lesern vielleicht ein wenig zu langatmig erscheinen mag. Der Autor verweist mehrfach auf das „The Good Judgment Project”, in dem alle im Buch erwähnten Prinzipien angewendet werden. Positiv hervorzuheben ist, dass der Autor immer auch alternative Lösungen, etwa “Prediction markets” (auf Deutsch “Vorhersage-Märkte) erwähnt, in denen Menschen auf Ereignisse wetten können und so einen Anreiz haben, möglichst gute Vorhersagen zu treffen. So werden viele verschiedene Meinungen aggregiert – laut den Autoren funktionieren diese und andere bekannte Alternativen aber messbar schlechter als das Identifizieren und Entwickeln von Superforecastern.

Empfehlenswert sind zur Vertiefung in theoretische Grundlagen die Bücher „Schnelles Denken, langsames Denken“ von Daniel Kahnemann und „Der schwarze Schwan“ von Nassim Taleb.