Zitat von
Ripley
Wenn ich an dieser Stelle einhaken darf?
Der Dreh- und Angelpunkt (besser EINER dieser Punkte, s. später) naturwissenschaftlicher Studien ist die statistische Signifikanz der Ergebnisse.
Die statistische Signifikanz beschreibt salopp gesprochen die Wahrscheinlichkeit dafür, dass die in der Stichprobe gefundenen Ergebnisse auch wirklich die Werte/Verhältnisse in der zugrundeliegenden Grundgesamtheit widerspiegeln. Dass man also etwas gemessen hat, was man getrost aufs große Ganze übertragen werden darf.
Angegeben wird die Signifikanz im sogenannten p-Wert, der über das inhaltliche GEGENTEIL definiert ist: über die Wahrscheinlichkeit, dass das in der Studie gefundene Ergebnis NICHT dem Befund in der Grundgesamtheit entspricht.
Je KLEINER der p-Wert, das Kürzel, mit dem wir die Signifikanz bezeichnen, desto sicherer kann ich sein, dass meine Entscheidung gegen die Nullhypothese (bei Bedarf nachlesen, wird sonst uferlos) richtig war, dass also z.B. mein neues Medikament xyz die Bronchien besser erweitert als das seit Jahrzehnten genutzte Medikament old.
Die meisten Studienautoren sind bei p-Werten von 0,05 (5%, "signifikant") oder 0,01 (1%, "hoch signifikant") beglückt. Ganz selten mal kriegen sie einen von 0,001 (0,1%, "höchst signifikant") raus. Dann freuen sie sich so richtig.
Exkurs: Um die Ecke kommt ein weiteres Kriterium ins Spiel. Neben der Signifikanz zählt nämlich auch die Relevanz. Was leider von vielen p-Wert-Gläubigen übersehen wird. Ist etwa in meinem Beispiel die Wirkung von xyz der von old nur um einen halben Prozentpunkt überlegen, xyz dafür doppelt so teuer und noch dazu erheblich komplizierter in der Applikation, dann nützt mir auch die schönste, höchste, beste Signifikanz nix.
Exkurs Ende.
Das Schöne an der Statistik ist, dass man, wenn man eine grobe Vorstellung von den in einer neuen Studie zu erwartenden Werten hat (Skalenniveau, mögliche Breite der Werte, Studiendesign und geplantes statistisches Analyseverfahren, ich glaube auch grobes Streuungsmaß, müsste ich aber nachlesen), ... dass man dann exakt ausrechnen kann, *wie viele Versuchspersonen* man inkludieren muss, um am Ende ein Ergebnis auf dem gewünschten Signifikanzniveau zu bekommen, um also zumindest statistisch auf der sicheren Seite zu sein (Relevanz außen vor).
Und genau das, somit kommen wir zum Ende unserer kleinen Statistik-Vorlesung, ist der Grund, warum in einer Meta-Analyse dann nur Studien mit einer gewissen Mindestanzahl von Teilnehmern berücksichtigt werden: Weil man bei den anderen eben NICHT klar (mit einer vorgegeben Mindest-Wahrscheinlichkeit) sagen kann, ob die Befundlage in der Breite der Gesamt-Zielgruppe nicht ganz anders aussieht als in der (kleinen) untersuchten Stichprobe.