Die kognitiven und kollaborativen Methoden von Superforecastern zur Erzielung überragender Vorhersagegenauigkeit
Hier gibt es die Zusammenfassung als interaktive Webseite, mit der Möglichkeit, selbst ein wenig zu probieren.
Keine Sorge, alles mit KI – Unterstützung…Um die KI – Funktionen nützen zu können, einfach mit deinem Google-Account anmelden. Es handelt sich hier um die Google – Gemini – KI. Alles kostenlos, versteht sich.
Superforecasting interaktiv
Zusammenfassung
Dieser Bericht beschreibt die spezifischen Methoden, die von „Superforecastern“ angewendet werden, Individuen, die durch Philip Tetlocks Forschung als außergewöhnlich präzise in ihren Vorhersagen identifiziert wurden. Basierend auf den Erkenntnissen des Good Judgment Project untersucht diese Analyse die grundlegende Denkweise, die zentralen kognitiven Techniken, die ausgeklügelten Strategien zur Minderung von Verzerrungen sowie die leistungsstarken kollaborativen und Aggregationsmethoden, die es Superforecastern ermöglichen, konsistent zuverlässige und gut kalibrierte Prognosen zu erstellen. Der Bericht zeigt, dass Superforecasting keine angeborene Begabung, sondern eine kultivierbare Fähigkeit ist, die in einem rigorosen, iterativen Prozess der Informationsverarbeitung, des probabilistischen Denkens und des kontinuierlichen Lernens wurzelt, was erhebliche Auswirkungen auf die Verbesserung der Entscheidungsfindung in verschiedenen Bereichen hat.
Die Zusammenfassung, zum anhören:
Dauer: 10 min. 04 sek.
1. Einleitung: Definition von Superforecasting und seine Bedeutung
Die Fähigkeit, zukünftige Ereignisse präzise vorherzusagen, ist für fundierte Entscheidungen von entscheidender Bedeutung. Doch die Forschung des Psychologen Philip Tetlock hat gezeigt, dass die Vorhersagegenauigkeit der meisten Menschen, einschließlich vieler Experten, oft nicht besser ist als zufällig, vergleichbar mit einem Münzwurf.1 Diese Erkenntnis bildete den Ausgangspunkt für Tetlocks umfassende Untersuchung der Urteilsbildung. Im Rahmen seiner Forschungen identifizierte er eine kleine Gruppe von Individuen, die er als „Superforecaster“ bezeichnete, da sie die Fähigkeit besitzen, zukünftige Ergebnisse wesentlich präziser vorherzusehen als die allgemeine Bevölkerung.1
Das Konzept der Superforecaster wurde maßgeblich durch das Good Judgment Project (GJP) entwickelt, ein Forschungsvorhaben, das von Philip Tetlock und Barbara Mellers an der University of Pennsylvania geleitet wurde.1 Dieses Projekt nahm an einem groß angelegten, vierjährigen Wettbewerb teil, der 2011 von IARPA, der Forschungseinrichtung der US-Geheimdienste, ins Leben gerufen wurde, um innovative Methoden zur Vorhersage geopolitischer Ereignisse zu identifizieren.2 Das GJP ging aus diesem Wettbewerb als unangefochtener Sieger hervor.2 Die Prognosen des GJP waren derart präzise, dass sie sogar die Vorhersagen hochqualifizierter Geheimdienstanalysten übertrafen, die Zugang zu klassifizierten Informationen hatten, die den Superforecastern nicht zur Verfügung standen.1
Die empirischen Belege für die überragende Leistung von Superforecastern sind bemerkenswert. Sie zeigten ein Verhältnis von Können zu Glück, das dem von Profisportlern gleichkommt.2 Seit dem Abschluss der staatlichen Forschung im Jahr 2015 haben die professionellen Superforecaster von Good Judgment Inc. jeden Herausforderer übertroffen.2 Ihre Genauigkeit wird anhand des Brier-Scores gemessen, wobei ein Wert nahe Null perfekte Voraussicht anzeigt. Individuell sind Superforecaster bereits sehr präzise, als Gruppe sind sie jedoch „unglaublich präzise“.6 Ihre aggregierten Prognosen waren um 30 % genauer als die von US-Geheimdienstexperten.6 Sie liefern ein „zuverlässiges Frühsignal“, indem sie das korrekte Ergebnis mit über 55 % Wahrscheinlichkeit bis zu 350 Tage im Voraus und mit 70 % Wahrscheinlichkeit 100 Tage im Voraus identifizieren. Dies ist deutlich besser als die Leistung regulärer Prognostiker, die nur 100 Tage im Voraus blicken.6 Darüber hinaus sind Superforecaster konsistent gut kalibriert, was bedeutet, dass ihre zugewiesenen Wahrscheinlichkeiten die tatsächliche Eintrittswahrscheinlichkeit von Ereignissen zuverlässig widerspiegeln.6
Dieser Bericht wird detailliert die „Attribute und Methoden“ untersuchen, die für die Erstellung präziser Vorhersagen unerlässlich sind.1 Es wird betont, dass Voraussicht kein mysteriöses, angeborenes Talent ist, sondern das Ergebnis spezifischer Denkweisen, der Informationsbeschaffung und der Aktualisierung von Überzeugungen – Gewohnheiten, die von jeder intelligenten, nachdenklichen und entschlossenen Person erlernt und kultiviert werden können.1 Das GJP war eine „sehr konzertierte Anstrengung, Menschen klüger und schneller darin zu machen, Wahrscheinlichkeitsurteile zuzuordnen“, um ein greifbares Ziel zu erreichen.4
2. Die grundlegende Denkweise eines Superforecasters
Die außergewöhnliche Fähigkeit von Superforecastern, präzise Vorhersagen zu treffen, beginnt mit einer spezifischen Denkweise, die sich grundlegend von der vieler anderer unterscheidet. Diese Denkweise ist geprägt von intellektueller Demut, aktiver Offenheit und einer ausgeprägten Bereitschaft zur Selbstkorrektur.
Intellektuelle Demut und aktive Offenheit
Ein zentrales Merkmal der Superforecaster ist ihre Herangehensweise an Überzeugungen: Sie behandeln diese nicht als „unantastbare Wahrheiten“ oder „zu hütende Schätze“, sondern als „zu testende Hypothesen“.3 Diese scheinbar einfache Idee ist transformativ.3 Sie manifestiert sich in einer „aktiven Offenheit“ (auch als „Fuchsigkeit“ bezeichnet), die ein ständiges Hinterfragen der eigenen Perspektiven und Annahmen beinhaltet.3 Diese Denkweise erfordert eine „super Offenheit“, die Bereitschaft, vorgefasste Meinungen und Ideen zugunsten der genauesten Vorhersage aufzugeben.7
Diese epistemologische Flexibilität ist eine entscheidende Kompetenz. Wenn Überzeugungen als vorläufig und revisionsfähig auf der Grundlage von Beweisen betrachtet werden, fördert dies von Natur aus die Suche nach widersprüchlichen Informationen, die Aktualisierung von Wahrscheinlichkeiten und das Eingeständnis von Fehlern. Diese Flexibilität ist eine notwendige Voraussetzung für effektives Bayessches Aktualisieren und die Minderung kognitiver Verzerrungen, da sie der menschlichen Tendenz zu kognitiver Starrheit und Bestätigungsfehlern entgegenwirkt. Es geht somit nicht nur darum, was Superforecaster tun, sondern auch darum, wie sie Wissen fundamental wahrnehmen, was die Grundlage für ihre Methoden bildet.
Bereitschaft zur Selbstkorrektur und zum Lernen aus Fehlern
Superforecaster sind eher bereit, Fehler einzugestehen und sich nach deren Entdeckung zu korrigieren.5 Sie verfolgen einen Prozess der „kontinuierlichen Selbstverbesserung“, indem sie aus Fehlern lernen, anstatt sie zu ignorieren.5 Das grundlegende Prinzip lautet: „Prognostizieren, messen, revidieren: Das ist der sicherste Weg, um besser zu sehen“.1 Eine solche Rückkopplungsschleife ist entscheidend, um aus Misserfolgen zu lernen.9 Sie verfolgen ihre Prognosen akribisch und vergleichen sie mit den tatsächlichen Ergebnissen, um zu identifizieren, wo sie richtig lagen und wo sie daneben lagen, was es ihnen ermöglicht, ihren Ansatz neu zu kalibrieren.10 Sie „übernehmen die Verantwortung für ihre Fehler“ und untersuchen deren Ursachen.9
Neugier, numerisches Denken und analytischer Antrieb
Superforecaster haben eine Neigung, „Rätsel zu durchdenken“, sind „hochgradig analytische Denker“ und zeigen eine „große Neugier auf die Welt“.11 Sie sind „numerisch“ versiert und gut darin, Informationen aus verschiedenen Quellen zu verarbeiten.12 Obwohl es nicht unbedingt darum geht, „Zahlen zu verarbeiten“, ist es entscheidend, was sie mit quantitativen Erkenntnissen anfangen und welche Fähigkeit zur „selbstkritischen Reflexion“ sie besitzen.7 Ihre Herangehensweise verkörpert eine Verschiebung „weg von der Entscheidungsfindung, die auf Erfahrung, Intuition und Autorität basiert, hin zu Quantifizierung und Analyse“.12
3. Kern-Kognitive Techniken für individuelle Vorhersagen
Superforecaster wenden eine Reihe spezifischer kognitiver Techniken an, die ihre individuelle Vorhersagegenauigkeit maßgeblich beeinflussen. Diese Methoden sind tief in probabilistischem Denken, systematischer Problemzerlegung und einer ausgewogenen Informationsverarbeitung verwurzelt.
Probabilistisches Denken und Kalibrierung
Ein Kennzeichen von Superforecastern ist ihre Fähigkeit, in Wahrscheinlichkeiten zu denken, nicht in Absolutheiten.1 Sie weisen Ereignissen „Wahrscheinlichkeiten auf der Grundlage von Daten“ zu, anstatt vage Formulierungen wie „könnte passieren“ zu verwenden.5 Sie sind besonders geschickt darin, „realistische Wahrscheinlichkeiten für mögliche Ergebnisse zuzuordnen“.2 Sie vermeiden es, in 100 %iger Sicherheit zu denken oder bei Unsicherheit standardmäßig 50-50-Wahrscheinlichkeiten anzunehmen.8 Die am wenigsten erfolgreichen Prognostiker verharren oft in einer „Ja, Nein, Vielleicht“-Zone.4
Ein weiteres Merkmal ist die feingranulare Vorhersage. Superforecaster geben präzise numerische Wahrscheinlichkeitsschätzungen ab (z. B. „82 %ige Chance“ statt „75 %“).8 Tetlock stellte fest, dass das Runden dieser Werte die Genauigkeit signifikant verringerte, was darauf hindeutet, dass die Präzision selbst von großem Wert ist.8 Sie sind „granular“ und können beispielsweise zwischen einer 60/40-Wette und einer 55/45-Wette unterscheiden.4 Die Betonung von feingranularen und präzisen Wahrscheinlichkeitsschätzungen ist mehr als nur eine stilistische Präferenz. Wenn die Genauigkeit abnimmt, sobald diese Schätzungen gerundet werden, deutet dies darauf hin, dass der exakte numerische Wert selbst aussagekräftige Informationen über die kalibrierte Zuversicht des Prognostikers enthält. Diese Präzision ermöglicht empfindlichere Rückkopplungsschleifen; eine kleine Abweichung von 82 % auf 80 % basierend auf neuen Beweisen ist eine informativere Aktualisierung als eine Verschiebung von „hohe Chance“ zu „immer noch hohe Chance“. Diese Granularität erleichtert eine bessere Selbstkorrektur und kontinuierliches Lernen, da der Prognostiker subtile Verschiebungen in seiner Zuversicht erkennen und entsprechend anpassen kann, was im Laufe der Zeit zu einer überlegenen Kalibrierung führt.6
Das Bayessche Aktualisieren ist ein Kernprinzip: Es geht darum, „sich allmählich der Wahrheit zu nähern, indem man ständig im Verhältnis zum Gewicht der Evidenz aktualisiert“.7 Sie passen Wahrscheinlichkeiten an, sobald neue Informationen verfügbar sind, und behandeln Überzeugungen als flexible Hypothesen.3 Geschicktes Aktualisieren erfordert, „subtile Signale aus rauschenden Nachrichtenflüssen herauszufiltern“ und „der Versuchung des Wunschdenkens zu widerstehen“.15 Sie aktualisieren häufig, aber in kleinen Schritten.7
Problemzerlegung (Fermi-Schätzung)
Superforecaster zerlegen komplexe, scheinbar unlösbare Probleme in kleinere, handhabbare Teilprobleme.5 Diese Technik, bekannt als „Fermi-Schätzung“, beinhaltet die Zerlegung des Problems in seine bekannten und unbekannten Teile, das Offenlegen und Prüfen von Annahmen und das Treffen von bestmöglichen Schätzungen, um Fehler schnell zu entdecken.7 Beispiele hierfür sind die Schätzung der Anzahl außerirdischer Zivilisationen oder potenzieller romantischer Partner, indem Bevölkerungszahlen durch aufeinanderfolgende probabilistische Filter reduziert werden.16 Es ist überraschend, „wie oft bemerkenswert gute Wahrscheinlichkeitsschätzungen aus einer bemerkenswert groben Reihe von Annahmen und Schätzungen entstehen“.16 Sie denken nicht „ganzheitlich“, sondern zerlegen Probleme in ihre Bestandteile.13
Ausbalancieren von Außen- und Innenansicht
Eine entscheidende Methode ist es, mit der „Außenansicht“ (Basiszinsen oder historische Häufigkeiten) zu beginnen, bevor „Innenansicht“-Informationen (spezifische Details der aktuellen Situation) angewendet werden.7 Beispielsweise könnte die Vorhersage eines Krieges mit der historischen Häufigkeit solcher Konflikte (Außenansicht) beginnen und dann basierend auf der aktuellen politischen Dynamik (Innenansicht) angepasst werden.8 Dieser Ansatz hilft, Prognosen in der statistischen Realität zu verankern, bevor einzigartige kontextuelle Faktoren berücksichtigt werden.7
Diese strukturierte Denkweise dient der Minderung der Einzigartigkeitsverzerrung. Menschen neigen dazu, aktuelle Situationen als einzigartig wahrzunehmen, was zu einer „Innenansicht“-Verzerrung führt, die spezifische, oft anekdotische Details überbetont. Indem Superforecaster explizit mit der „Außenansicht“ (Basiszinsen, historische Daten) beginnen 7, zwingen sie sich, ihre anfängliche Wahrscheinlichkeit in breiteren statistischen Realitäten zu verankern. Dies wirkt als starke Debiasierungsstrategie gegen die „Einzigartigkeitsverzerrung“ oder den „narrativen Fehlschluss“, bei dem eine überzeugende Geschichte über die Gegenwart die statistische Wahrscheinlichkeit überschattet. Die anschließende Anpassung mit der „Innenansicht“ ermöglicht dann eine nuancierte Berücksichtigung spezifischer Faktoren, ohne die fundamentalen Wahrscheinlichkeiten aus den Augen zu verlieren, was zu robusteren und weniger emotional gesteuerten Prognosen führt. Diese systematische Anwendung des Außen-Innen-Ansatzes ist eine direkte Gegenmaßnahme zu häufigen kognitiven Fallstricken.
Strategische Informationsbeschaffung und Synthese
Superforecaster ziehen Wissen aus einer „Vielzahl von Quellen“ und suchen aktiv nach „unterschiedlichen Standpunkten“, wobei sie „Echokammern“ vermeiden.1 Sie sind „vielfraßartige Lerner“, die ihre Wissensbasis kontinuierlich aktualisieren.10 Gängige Recherchewerkzeuge sind Google News für aktuelle Informationen und Wikipedia für historische Daten zur Ermittlung von Basisraten.8 Einige kontaktieren sogar direkt Experten (Reporter, Akademiker) für deren Wahrscheinlichkeitsschätzungen und Begründungen.8 Obwohl gut informiert, zeichnen sie sich nicht unbedingt durch ständigen Nachrichtenkonsum aus und übertrafen Geheimdienstanalysten mit klassifizierten Daten.8 Dies deutet darauf hin, dass ihre Methode der Informationsverarbeitung entscheidender ist als das bloße Volumen oder die Exklusivität der Informationen.8 Sie suchen nach „widersprüchlichen kausalen Faktoren“ und nehmen eine „Libellenaugen“-Perspektive ein, die mehrere Standpunkte integriert.9
4. Minderung kognitiver Verzerrungen: Verbesserung der Urteilsgenauigkeit
Die Fähigkeit, kognitive Verzerrungen zu erkennen und aktiv zu mindern, ist ein zentrales Element der Methodik von Superforecastern. Diese Verzerrungen können die Genauigkeit von Vorhersagen erheblich beeinträchtigen, und Superforecaster haben Strategien entwickelt, um ihren Einfluss zu minimieren.
Bewusstsein und aktive Strategien gegen häufige Verzerrungen
Superforecaster sind sich kognitiver Verzerrungen „sehr bewusst“ und arbeiten „aktiv daran, deren Auswirkungen zu mindern“.10 Dies ist ein Kernaspekt ihrer „informierten Praxis“.10 Sie entwickeln Strategien, um Überkonfidenz, Ankereffekte, Bestätigungsfehler, Rückschaufehler und die Illusion der Erklärungstiefe zu begegnen.3 Sie hinterfragen „ständig sich selbst – und einander –, ob ihre Überzeugungen auf Beweisen und nicht auf Annahmen beruhen“.3 Dies beinhaltet, „ihre anfänglichen Wahrnehmungen zu hinterfragen und zu fragen ‚Was könnte an dieser Sache, die ich glaube, falsch sein?‘ anstatt ‚Wie kann ich beweisen, dass ich Recht habe?‘“.8 Sie zeigen eine „reduzierte Bereichsinsensitivität“, indem sie Wahrscheinlichkeiten für unterschiedliche Zeitrahmen angemessen anpassen.8
Aktivierung des System 2-Denkens: Kritische Reflexion über intuitive Urteile
Superforecaster scheinen „teilweise immun gegen kognitive Verzerrungen“ zu sein.8 Ihre Fähigkeit, von sofortigen, intuitiven „System 1“-Urteilen zurückzutreten und diese kritisch zu analysieren („System 2“-Denken), ist ein starker Prädiktor für die Vorhersagefähigkeit, wie der Cognitive Reflection Test (CRT) zeigt.1 Dies bedeutet, einen Moment innezuhalten und nachzudenken, wenn man mit einfachen, offensichtlichen, aber falschen Antworten konfrontiert wird.8
Die starke Verbindung zwischen der Leistung im Cognitive Reflection Test (CRT) und der Vorhersagefähigkeit 8 deutet darauf hin, dass Superforecaster über überlegene metakognitive Fähigkeiten verfügen. Es geht hierbei nicht nur darum, welche Verzerrungen existieren, sondern auch darum, die Fähigkeit und Gewohnheit zu besitzen, innezuhalten, zu reflektieren und intuitive (System 1) Reaktionen durch bewussteres (System 2) Denken zu überwinden.1 Dieses metakognitive Bewusstsein ermöglicht es ihnen, ihre eigenen Annahmen aktiv zu hinterfragen („Was könnte an dieser Sache, die ich glaube, falsch sein?“) 8 und zu verhindern, dass Verzerrungen wie Überkonfidenz oder Bestätigungsfehler Fuß fassen. Es ist der interne Mechanismus, der es ermöglicht, die Denkweise der „Überzeugungen als Hypothesen“ in die Praxis umzusetzen.
Die Korrelation zwischen CRT-Werten und Genauigkeit war vergleichbar mit der von IQ und guter Informiertheit.8 Dies impliziert, dass eine Neigung zur kritischen Selbstreflexion ebenso wichtig ist wie die reine Intelligenz oder Wissensbasis.
Die folgende Tabelle 1 fasst gängige kognitive Verzerrungen und die von Superforecastern angewandten Strategien zu deren Minderung zusammen:
Tabelle 1: Gängige kognitive Verzerrungen und Superforecaster-Minderungsstrategien
| Kognitive Verzerrung | Beschreibung | Superforecaster-Minderungsstrategie | Relevante Quellen |
| Bestätigungsfehler | Tendenz, Informationen zu suchen, zu interpretieren und sich an sie zu erinnern, die die eigenen bestehenden Überzeugungen bestätigen. | Überzeugungen als Hypothesen behandeln; aktiv nach widersprechenden Beweisen suchen; fragen: „Was könnte falsch sein?“; anfängliche Wahrnehmungen hinterfragen. | 3 |
| Überkonfidenz | Die Tendenz, die eigene Genauigkeit bei Vorhersagen oder die eigene Fähigkeit zu überschätzen. | Präzise numerische Wahrscheinlichkeiten zuweisen; Konfidenzniveaus kalibrieren; Unsicherheit anerkennen; Überzeugungen kontinuierlich aktualisieren; aus Fehlern lernen. | 5 |
| Ankereffekt | Tendenz, sich zu stark auf die erste Information zu verlassen, die man erhält (den „Anker“), wenn man Entscheidungen trifft. | Mit der Außenansicht (Basiszinsen) beginnen, bevor die Innenansicht angewendet wird; sich des Einflusses anfänglicher Schätzungen bewusst sein. | 7 |
| Rückschaufehler | Die Tendenz, nach einem Ereignis zu glauben, man hätte das Ergebnis vorhergesagt oder gewusst („Ich hab’s ja gewusst“-Effekt). | Prognosen systematisch verfolgen; Fehler analysieren; sich kontinuierlich selbst verbessern. | 5 |
| Bereichsinsensitivität | Die Tendenz, die Wahrscheinlichkeit eines Ereignisses unabhängig von der Größe oder dem Umfang des Ereignisses gleich einzuschätzen. | Wahrscheinlichkeiten für unterschiedliche Zeitrahmen und Umfänge angemessen anpassen; System 2-Denken einsetzen; kritische Reflexion. | 1 |
5. Die Kraft der Zusammenarbeit und Aggregation im Superforecasting
Während die individuellen kognitiven Fähigkeiten von Superforecastern beeindruckend sind, entfaltet sich ihre volle Leistung und überragende Genauigkeit oft erst in kollaborativen Umgebungen durch ausgeklügelte Aggregationsmethoden.
Teambasierte Vorhersage: Nutzung kollektiver Intelligenz und vielfältiger Perspektiven
Teamarbeit ist ein „Schlüsselattribut eines Superforecasters“.1 Das Good Judgment Project fand „überzeugende Beweise dafür, dass einige Menschen außergewöhnlich geschickt darin sind, realistischen Wahrscheinlichkeiten für mögliche Ergebnisse zuzuordnen – selbst bei Themen außerhalb ihrer primären Fachausbildung“.2 Prognostiker, die in Teams arbeiten, „übertreffen diejenigen, die allein oder in Prognosemärkten arbeiten“.13 Teams fördern vielfältiges Denken, schärfen kritisches Denken und Kreativität, was zu „unkonventionellen Lösungen“ führt.17 Superforecaster in Teams beteiligen sich an „Diskussionen und Argumentationen“ und wägen Beweise ab, die in verschiedene Richtungen weisen.8 Sie nutzen das Wissen ihrer Teamkollegen, indem sie sich manchmal auf die Medianprognose des Teams verlassen oder Experten direkt kontaktieren.8
Dynamik effektiver Teams: Psychologische Sicherheit, konstruktive Debatte und geteilte Verantwortung
Der Erfolg von Superforecaster-Teams wurzelt tief in spezifischen Teamdynamiken, insbesondere der „psychologischen Sicherheit“.17 Diese gilt als die „wichtigste Dynamik in einem effektiven Team“.18 Psychologische Sicherheit bedeutet, dass sich Teammitglieder wohlfühlen, wenn sie sich verletzlich zeigen, Fehler zugeben, Fragen stellen und neue Ideen einbringen, ohne Angst vor Verurteilung.17 Dies beschleunigt das Lernen und die Innovation.18 Führungskräfte fördern dies, indem sie die Arbeit als „Lernproblem“ gestalten, ihre eigene Fehlbarkeit anerkennen und Neugierde durch viele Fragen modellieren.18 Die Online-Teamumgebung des GJP, in der Genauigkeit den „Status“ bestimmt und Anonymität gewahrt wird, fördert die Prognosegenauigkeit, indem sie Gruppendenken verhindert.11 Weitere Dynamiken umfassen Zuverlässigkeit, Struktur und Klarheit (klare Rollen, Ziele, Pläne, z.B. RACI-Matrix), Sinnhaftigkeit und Wirkung.17
Das Zusammenspiel von individueller Exzellenz und strukturierter Zusammenarbeit ist hierbei entscheidend. Während Superforecaster über außergewöhnliche individuelle kognitive Fähigkeiten verfügen, betonen die Forschungsergebnisse nachdrücklich, dass ihre kollektive Genauigkeit „unglaublich präzise“ ist 6 und Einzelpersonen übertrifft.13 Dies deutet auf einen synergetischen Effekt hin, bei dem individuelle Exzellenz durch spezifische kollaborative Strukturen verstärkt wird. Die „psychologische Sicherheit“ 17 und der „Status, der durch Genauigkeit bestimmt wird“ 11 innerhalb der Teams sind nicht nur wünschenswerte Eigenschaften; sie sind Mechanismen, die eine ehrliche Debatte, vielfältige Perspektiven und eine offene Fehlerkorrektur ermöglichen und so häufige Gruppenfehler wie Gruppendenken verhindern. Das „Wie“ des Superforecasting betrifft somit nicht nur individuelle Methoden, sondern auch die Schaffung einer Umgebung, in der diese Methoden kollektiv gedeihen und effektiv aggregiert werden können.
Methoden der Prognoseaggregation
Die Aggregation von Prognosen ist ein entscheidender Schritt zur Maximierung der Genauigkeit.
- Einfache Mittelwertbildung und die Weisheit der Vielen: Das Prinzip der „Weisheit der Vielen“ besagt, dass das aggregierte Urteil einer großen Gruppe oft dem jedes Einzelnen innerhalb der Gruppe überlegen ist, da idiosynkratisches Rauschen, das mit individuellen Urteilen verbunden ist, durch Mittelwertbildung eliminiert wird.9 Die aggregierten Urteile des GJP waren an über 90 % der Tage korrekt.11
- Fortgeschrittene statistische Algorithmen: Das GJP verwendet „modernste Aggregationsmethoden“, um „das maximal mögliche Signal aus dem Rauschen der Crowd-sourced-Prognosen zu extrahieren“.13 „Statistische Aggregationsmethoden durch Meinungspooling“ erwiesen sich als genauer als Prognosemärkte, insbesondere zu Beginn von Fragen.11 Die besten Methoden kombinieren mehrere Markt- und Umfrageaggregationsalgorithmen.11
- „Überraschend beliebter“ Algorithmus: Eine neuartige Technik, die Fehler signifikant reduziert (21-24 % im Vergleich zu einfachen/konfidenzgewichteten Abstimmungen).20 Sie fragt Prognostiker nach ihrer Antwort und danach, was ihrer Meinung nach die öffentliche Meinung sein wird. Die Abweichung zwischen diesen beiden aggregierten Antworten zeigt die korrekte Antwort an, da die korrekte Antwort diejenige ist, die „die Erwartungen am meisten übertrifft“.20
- Rauschunterdrückung: Superforecaster sind „weniger verrauscht“ (zeigen weniger Variabilität in ihren Prognosen).13 Die Forschung des Good Judgment Project ergab, dass etwa 50 % der Genauigkeitsverbesserungen von regulären Prognostikern zu Superforecastern auf „Rauschunterdrückung“ zurückgeführt werden können, 25 % auf „Informationsverbesserung“ und 25 % auf „Bias-Reduktion“.13 Dies unterstreicht die entscheidende Rolle der Aggregation bei der Dämpfung individueller Variabilität.
Die Aggregation ist ein mehrschichtiger Prozess der Signalverstärkung. Aggregation ist nicht nur die Summe individueller Beiträge; sie ist ein ausgeklügelter Prozess der Signalverstärkung. Der Aspekt der „Rauschunterdrückung“ 13 bei der Aggregation ist von grundlegender Bedeutung, da er individuelle Fehler und Verzerrungen herausfiltert. Die Verwendung von „modernsten Aggregationsmethoden“ 13 und Algorithmen wie der „überraschend beliebten“ Methode 20 deutet jedoch auf eine tiefere Verarbeitungsebene hin. Diese Methoden gehen über die einfache Mittelwertbildung hinaus, um das zugrunde liegende Signal zu identifizieren und zu verstärken, das durch gängige Missverständnisse oder korrelierte Fehler verdeckt sein könnte. Dies deutet darauf hin, dass die kollektive Intelligenz von Superforecastern nicht nur darin besteht, viele kluge Köpfe zu haben, sondern ihre Erkenntnisse auf intelligente Weise zu kombinieren, um ihre kollektive Weisheit zu nutzen und gleichzeitig ihre gemeinsamen blinden Flecken zu mindern.
Die folgende Tabelle 2 veranschaulicht die Auswirkungen von Zusammenarbeit und Aggregation auf die Prognosegenauigkeit:
Tabelle 2: Auswirkungen von Zusammenarbeit und Aggregation auf die Prognosegenauigkeit
| Vergleichsgruppe | Leistung der aggregierten Superforecaster | Mechanismus/Nutzen | Relevante Quellen |
| Individuelle Superforecaster | Als Gruppe „unglaublich präzise“. | Rauschunterdrückung, Signalextraktion. | 6 |
| Reguläre Prognostiker | 50 % Genauigkeitsverbesserung durch Rauschunterdrückung, 25 % durch Informationsverbesserung, 25 % durch Bias-Reduktion. | Effiziente Filterung von individueller Variabilität und Fehlern. | 13 |
| Geheimdienstanalysten (mit klassifizierten Daten) | Übertroffen von Superforecastern (aggregiert) um 30 %; auch individuell übertroffen. | Überlegene Methodik und Prozess, nicht nur Informationszugang. | 1 |
| Prognosemärkte | Übertroffen; aggregierte Urteile an über 90 % der Tage korrekt. | Meinungspooling und statistische Aggregationsmethoden sind genauer. | 5 |
| Domänenexperten | Median-Nuklear-Risikoprognose (1 %) deutlich niedriger als bei Domänenexperten (5 %). | Fähigkeit, systematische Fehler und Verzerrungen zu mindern, selbst in spezialisierten Bereichen. | 21 |
| – | Zuverlässiges Frühsignal: >55 % Konfidenz 350 Tage im Voraus, 70 % Konfidenz 100 Tage im Voraus. | Effiziente Informationsverarbeitung und ständige Aktualisierung. | 6 |
6. Kontinuierliches Lernen und Rückkopplungsschleifen: Der Weg zur Verfeinerung
Die Fähigkeit von Superforecastern, ihre Vorhersagegenauigkeit über die Zeit hinweg zu verbessern, ist eng mit einem disziplinierten Ansatz des kontinuierlichen Lernens und der Nutzung von Rückkopplungsschleifen verbunden.
Systematisches Tracking und Kalibrierung
Superforecaster betreiben eine „informierte Praxis“, die einen rigorosen Prozess der Analyse, Reflexion und Anpassung darstellt.10 Sie „verfolgen ihre Prognosen akribisch und vergleichen sie mit den Ergebnissen“.10 Dies ermöglicht es ihnen, „ihre Konfidenzniveaus zu kalibrieren und ihre Schätzungen im Laufe der Zeit zu verfeinern“.5 Die Genauigkeit wird mithilfe des Brier-Scores gemessen, der eine objektive Bewertung ermöglicht, wie weit eine Prognose von der Wahrheit abwich.6 Ihre Prognosen sind nicht nur genau, sondern auch „zuverlässig präzise“ und „gut kalibriert“, was bedeutet, dass ihre zugewiesenen Wahrscheinlichkeiten die tatsächliche Häufigkeit von Ereignissen genau widerspiegeln.6
Der Zyklus „Prognostizieren, messen, revidieren“ 1 und das Konzept der „informierten Praxis“ 10 sind nicht nur Schritte in einem Prozess; sie stellen einen grundlegenden Lernmotor dar. Durch das systematische Verfolgen ihrer Prognosen, den Vergleich mit den Ergebnissen und die Analyse von Fehlern 5 schaffen Superforecaster eine enge Rückkopplungsschleife, die einen schnellen Erwerb von Fähigkeiten und eine präzise Kalibrierung ermöglicht. Diese kontinuierliche, datengesteuerte Selbstkorrektur verwandelt das Prognostizieren von einer intuitiven Kunst in eine kultivierbare Wissenschaft. Die Fähigkeit, aus Erfolgen und Misserfolgen zu lernen und mentale Modelle entsprechend anzupassen, ermöglicht es ihnen, ihre „Urteilsfindung“ auch in komplexen und unsicheren Umgebungen kontinuierlich zu verbessern.
Informierte Praxis: Ein disziplinierter Ansatz zum Lernen aus vergangenen Prognosen
Dies ist nicht nur Wiederholung, sondern eine Denkweise, die auf Verbesserung ausgerichtet ist, mit konsequenter Anstrengung zur Minderung kognitiver Verzerrungen.10 Es beinhaltet einen Prozess des „kontinuierlichen Lernens“, bei dem sie „vielfraßartige Lerner sind, die ihre Wissensbasis kontinuierlich aktualisieren“.10 Sie „überprüfen ihre Fehler und suchen nach den kausalen Wurzeln“.9
Der iterative Zyklus von Prognostizieren, Messen, Revidieren
Dieser Zyklus ist zentral für ihre Selbstverbesserung.1 Er erfordert eine „leidenschaftslose“ und „emotional distanzierte“ Bewertung von Ideen, wobei sie „intellektuell agnostisch“ bleiben.9 Sie balancieren „Vorsicht und Entschlossenheit“ aus und bemühen sich, „so viele Grade des Zweifels wie möglich, aber nicht mehr“ zu identifizieren.9
7. Fazit: Kultivierung von Superforecasting-Fähigkeiten für verbesserte Entscheidungsfindung
Die Analyse der Methoden von Superforecastern offenbart einen vielschichtigen Ansatz zur Erzielung überragender Vorhersagegenauigkeit. Superforecasting ist eine Synthese aus einer spezifischen Denkweise, die von intellektueller Demut, aktiver Offenheit und der Betrachtung von Überzeugungen als Hypothesen geprägt ist; rigorosen kognitiven Techniken wie probabilistischem Denken, Problemzerlegung, der Anwendung von Außen- und Innenansichten sowie Bayesschem Aktualisieren mit feingranularen Schätzungen; einer sorgfältigen Minderung kognitiver Verzerrungen; und effektiver Zusammenarbeit und Aggregation durch psychologische Sicherheit in Teams und fortschrittliche Algorithmen.1 Es stellt eine grundlegende Verschiebung von der Intuition hin zu „Quantifizierung und Analyse“ dar.12
Die Erkenntnisse aus der Superforecasting-Forschung haben weitreichende Auswirkungen für Individuen und Organisationen, die ihre Vorhersagefähigkeiten verbessern möchten. Die zentrale Botschaft ist, dass „Voraussicht kein mysteriöses, angeborenes Talent ist. Es ist das Produkt spezifischer Denkweisen, der Informationsbeschaffung und der Aktualisierung von Überzeugungen. Diese Denkgewohnheiten können von jeder intelligenten, nachdenklichen und entschlossenen Person erlernt und kultiviert werden“.1 Good Judgment Inc. bietet Beratungsleistungen und Workshops an, um diese Fähigkeiten zu fördern.1 Empfehlungen für Organisationen umfassen die Messung der Prognosegenauigkeit, die Förderung datengesteuerter Entscheidungsfindung, die Reduzierung von Überkonfidenz und die Pflege einer Kultur der kontinuierlichen Verbesserung und intellektuellen Demut.5
Die konsequente Aussage, dass Superforecasting-Fähigkeiten „erlernt und kultiviert“ werden können 1 und dass „fast jeder“ sich verbessern kann 2, hat tiefgreifende Auswirkungen. Sie legt nahe, dass die Vorhersagefähigkeit, die traditionell als angeborenes Talent oder domänenspezifisches Fachwissen angesehen wurde, systematisch durch die Übernahme spezifischer Methoden entwickelt werden kann. Diese „Demokratisierung“ der Prognosefähigkeit bedeutet, dass Organisationen und Einzelpersonen nicht auf angeborene Talentpools beschränkt sind, sondern diese Fähigkeiten aktiv trainieren und fördern können. Dies verlagert den Fokus von der Suche nach „Genies“ auf den Aufbau von „Systemen“, die eine bessere kollektive Urteilsbildung ermöglichen und so eine verbesserte Entscheidungsfindung einem breiteren Publikum zugänglich machen.
Die nächste Stufe in der Evolution des menschlichen Geistes könnte eine „Mensch-Computer-Synthese“ sein, die in der Lage ist, unsere „biologisch verankerten mentalen Mängel“ zu überwinden.12 Dies unterstreicht das enorme Potenzial, das in der systematischen Anwendung und Weiterentwicklung der Superforecasting-Methoden liegt.
Ein paar Gedanken zum Thema, zum anhören. Wie üblich mit 2 Sprechern:
Dauer: 6 min. 35 sek.
Hier geht es zu den Referenzen: http://gerhards.bplaced.net/superforecasting-referenzen/
Disclaimer: Dieser Blogbeitrag wurde von einem Menschen geschrieben – zumindest vorerst noch! 😉
Ich stehe in keiner Beziehung zu genannten Unternehmen, Organisationen oder Personen, es sei denn, ich habe dies ausdrücklich erwähnt. Habe ich das erwähnt…?
Bilder, Text, Audios und Videos können KI generiert sein…
Bis zum nächsten Beitrag…
Gerhard
