Sechs hartnäckige Missverständnisse in der wissenschaftlichen Forschung – Kenneth J. Rothman

Unten finden Sie die Übersetzung seines Artikels³Das Originalstück ist hier https://doi.org/10.1007/s11606-013-2755-z.

Zusammenfassung

Wissenschaftliche Erkenntnisse ändern sich schnell, die Konzepte und Methoden der Forschung ändern sich jedoch langsamer. Um die Diskussion über veraltete Denkweisen bei der Durchführung von Forschung anzuregen, liste ich sechs Missverständnisse über Forschung auf, die noch lange bestehen bleiben, nachdem ihre Mängel offensichtlich geworden sind.

Die Missverständnisse sind:

1. Es gibt eine Hierarchie der Forschungsdesigns; Randomisierte Studien bieten die größte Validität, gefolgt von Kohortenstudien, während Fall-Kontroll-Studien am wenigsten zuverlässig sind.
2. Ein wesentliches Element für eine gültige Verallgemeinerung besteht darin, dass die Probanden eine repräsentative Stichprobe einer Zielpopulation darstellen.
3. Wenn ein Term, der das Produkt zweier Faktoren in einem Regressionsmodell angibt, statistisch nicht signifikant ist, gibt es keine biologische Wechselwirkung zwischen diesen Faktoren.
4. Bei der Kategorisierung einer kontinuierlichen Variablen besteht ein sinnvolles Schema zur Auswahl kategorialer Grenzwerte darin, perzentildefinierte Grenzwerte zu verwenden, beispielsweise Quartile oder Quintile der Verteilung.
5. Man sollte immer P-Werte oder Konfidenzintervalle angeben, die für mehrere Vergleiche korrigiert wurden.
6. Signifikanzforschung ist nützlich und wichtig für die Dateninterpretation.

Diese Missverständnisse halten sich in Zeitschriften, Klassenzimmern und Lehrbüchern hartnäckig. Sie bleiben bestehen, weil es sich um intellektuelle Abkürzungen handelt, die eine durchdachtere Herangehensweise an Forschungsprobleme verhindern. Ich hoffe, dass das Aufzeigen dieser Missverständnisse die notwendigen Diskussionen anstoßen wird, um diese veralteten Ideen endgültig zu begraben.

Kenneth J. Rothman, DrPH
Research Triangle Institute, Research Triangle Park, NC, VS; Boston University School of Public Health, Boston, MA, VS.

SCHLÜSSELWÖRTER: Forschungsdesign; Dateninterpretation; epidemiological methods; Repräsentativität; Bewertung der Interaktion; multiple comparisons; percentile limits; statistische Signifikanztests.

PMID:24452418 | PMCID:PMC4061362 | DOI:10.1007/s11606-013-2755-z
© Die Autoren 2014. Dieser Artikel ist Open Access auf Springerlink.com veröffentlicht

Es gibt immer noch überraschend viele Missverständnisse über die Durchführung von Forschungen mit menschlichen Probanden. Manche Missverständnisse bleiben bestehen, obwohl das Gegenteil gelehrt wird, andere wiederum, weil das Gegenteil gelehrt werden sollte. Um die Diskussion über diese Themen anzuregen, liste ich hier sechs hartnäckige Missverständnisse über Forschung auf und gebe eine kurze Zusammenfassung der Probleme, die jedes dieser Missverständnisse mit sich bringt.

Missverständnis 1. Es gibt eine Hierarchie der Studiendesigns: Randomisierte Studien bieten die größte Validität, gefolgt von Kohortenstudien, während Fall-Kontroll-Studien am wenigsten zuverlässig sind.

Randomisierte Studien gelten oft als „Goldstandard“ unter den Studientypen, sind aber selbst in der Theorie nicht perfekt. Darüber hinaus ist die Annahme, dass aus der Art der Studie auf die Vergleichsvalidität von Forschungsergebnissen geschlossen werden kann, falsch.

Obwohl einige glauben, dass Beweise aus einer randomisierten Studie genauso überzeugend sind wie logische Beweise, kann keine empirische Studie absolute Sicherheit bieten. Wenn randomisierte Studien perfekt wären, wie könnten sie dann zu unterschiedlichen Ergebnissen führen? Tatsächlich unterliegen sie mehreren Fehlern¹. Natürlich gibt es zufällige Fehler, wie es bei einer Studie zu erwarten wäre, die auf einer zufälligen Zuordnung basiert. Es gibt aber auch systematische Fehler oder Verzerrungen. Beispielsweise werden randomisierte Studien in der Regel nach dem Intention-to-Treat-Prinzip analysiert, wobei die zunächst zufällig zugewiesenen Gruppen unabhängig von späteren Nichteinhaltungen verglichen werden. Die Nichteinhaltung führt dazu, dass die Wirkung der Behandlung unterschätzt wird. Diese Verzerrung wird normalerweise als akzeptabel angesehen, da sie durch die Vorteile einer zufälligen Zuweisung ausgeglichen wird. Allerdings ist eine Unterschätzung der Wirkungen in einer Sicherheitsstudie zur Aufdeckung von Nebenwirkungen der Behandlung nicht akzeptabel. Eine weitere wichtige Quelle für Verzerrungen in einer randomisierten Studie sind Fehler bei der Ergebnisbewertung, beispielsweise die Unterzählung von Ergebnisereignissen. Selbst wenn die Randomisierung zu Beginn der Studie für ein Gleichgewicht zwischen den Risikofaktoren der Gruppen sorgt, kann es im Laufe der Langzeitbeobachtung aufgrund unterschiedlicher Studienabbrecher oder Veränderungen in der Verteilung der Risikofaktoren zu einer zunehmenden Unausgewogenheit der Studiengruppen kommen. In Langzeitstudien kann es daher sein, dass der Nutzen einer zufälligen Zuordnung mit der Zeit abnimmt.

Kurz gesagt, das Studium ist alles andere als perfekt. Darüber hinaus liefern sowohl Kohorten- als auch Fallkontrollstudien bei richtiger Konzeption und Durchführung valide Ergebnisse. Es ist daher falsch, einer Studie, die auf einer Hierarchie von Forschungsdesigns basiert, unüberlegt mehr Aussagekraft zu verleihen^2,3. Beispielsweise ist der Zusammenhang zwischen Zigarettenrauchen und Lungenkrebs auf der Grundlage von Erkenntnissen aus Kohorten- und Fall-Kontroll-Studien gut belegt. Dieser Zusammenhang konnte in einer randomisierten Studie nie eindeutig nachgewiesen werden. Es ist nicht einfach, Menschen zufällig einer Raucher- oder Nichtrauchergruppe zuzuordnen, aber wenn die Raucherentwöhnung im Rahmen einer vielschichtigen Intervention in der Randomized Multiple Risk Factor Intervention Trial untersucht wurde⁴, entwickelten diejenigen, die dazu ermutigt wurden, mit dem Rauchen aufzuhören, tatsächlich mehr Lungenkrebs als diejenigen, die nicht dazu ermutigt wurden, mit dem Rauchen aufzuhören. Die Ergebnisse der Studie haben die Ergebnisse der vielen Kohorten- und Fallkontrollstudien, die ohne Randomisierung durchgeführt wurden, nicht umgekehrt. Vielmehr wurde die Diskrepanz auf Probleme mit der Studie zurückgeführt.

Ein weiteres markantes Beispiel sind die Ergebnisse großer Kohortenstudien^5,6 wiesen darauf hin, dass das Risiko einer koronaren Herzkrankheit bei postmenopausalen Hormonkonsumenten verringert war, spätere Ergebnisse aus zwei randomisierten Studien zeigten jedoch keinen Zusammenhang oder ein erhöhtes Risiko.^7,8Die Reaktion in der wissenschaftlichen Gemeinschaft und der populären Presse⁹bestand darin, die Ergebnisse der Kohortenstudien in der Annahme zu diskreditieren, dass sie durch die randomisierten Studien widerlegt worden seien. Viele halten weiterhin an dieser Interpretation fest, aber in einer eleganten Neuanalyse stellen Hernan et al.¹⁰wiesen darauf hin, dass die Studiengruppen in den Kohortenstudien und den randomisierten Studien unterschiedlich waren und dass die Auswirkungen des Hormonkonsums nach der Menopause je nach Alter und Zeit seit der Menopause stark variierten. Als die Studien auf neue Hormonkonsumenten beschränkt waren, haben Hernan et al. zeigten, dass Unterschiede in der Verteilung von Alter und Zeit seit der Menopause alle offensichtlichen Diskrepanzen erklären könnten. Obwohl es üblich ist, solche Diskrepanzen auf inhärente Schwächen nicht-experimenteller Studien zurückzuführen, ist es zu einfach, die Gültigkeit auf der Grundlage einer angenommenen Hierarchie von Studientypen zuzuordnen.¹¹

Ebenso sollten Diskrepanzen zwischen Kohortenstudien und Fall-Kontroll-Studien nicht oberflächlich durch einen angenommenen Validitätsvorteil von Kohortenstudien gegenüber Fall-Kontroll-Studien erklärt werden. Gut konzipierte Fall-Kontroll-Studien werden zu denselben Ergebnissen führen wie gut konzipierte Kohortenstudien. Wenn Konflikte auftreten, können sie auf Probleme in einer oder beiden Studienarten zurückzuführen sein. Obwohl Fall-Kontroll-Studien lange Zeit als veraltete Versionen von Kohortenstudien abgetan wurden, die von der Krankheit ausgehen und auf mögliche Ursachen zurückblicken, betrachten Epidemiologen Fall-Kontroll-Studien heute als konzeptionell identisch mit Kohortenstudien, mit Ausnahme eines Effizienzgewinns, der sich aus der Stichprobe der Nenner ergibt, anstatt eine vollständige Zählung durchzuführen. Tatsächlich ermöglichen diese Effizienzgewinne, dass in Fall-Kontroll-Studien mehr Ressourcen für die Expositionsbewertung oder Fallvalidierung aufgewendet werden können, was zu einer geringeren Verzerrung führt als in entsprechenden Kohortenstudien zum gleichen Zusammenhang.

Diejenigen, die Fall-Kontroll-Studien als veraltete Versionen von Kohortenstudien betrachten, ziehen manchmal die falsche Analogie, dass die Kontrollen den Fällen sehr ähnlich sein müssen, außer dass sie nicht die Krankheit haben, die den Fall definiert. Tatsächlich soll die Kontrollgruppe in einer Fall-Kontroll-Studie eine Stichprobe des Bevölkerungsnenners sein, der die Fälle hervorbringt, ein Ersatz für die vollständigen Nenner, die in einer Kohortenstudie ermittelt wurden. Die Kontrollgruppe muss daher der gesamten Forschungsgruppe ähneln und nicht den Fällen.^12,13 Bei gutem Design können Fall-Kontroll-Studien die gleiche hervorragende Validität erreichen wie gut konzipierte Kohortenstudien, während eine schlecht konzipierte Studie unzuverlässig sein kann. Die Art der Studie sollte nicht als Maßstab für die Validität einer Studie herangezogen werden.

Missverständnis 2. Ein wesentliches Element für gültige Verallgemeinerungen aus einer Studie besteht darin, dass es sich bei den Probanden um eine repräsentative Stichprobe einer Zielpopulation handelt.

Dieses Missverständnis hängt mit der Ansicht zusammen, dass die wissenschaftliche Verallgemeinerung eine mechanische Extrapolation der Ergebnisse einer Stichprobe auf die Quellpopulation beinhaltet. Aber das beschreibt die statistische Verallgemeinerung; Die wissenschaftliche Verallgemeinerung ist etwas anders: Es ist der Prozess, eine korrekte Aussage über die Funktionsweise der Natur zu treffen.

Die wissenschaftliche Verallgemeinerung ist das ultimative Ziel der wissenschaftlichen Forschung, aber eine Voraussetzung dafür ist die Gestaltung einer Studie mit interner Validität, die dadurch verbessert wird, dass alle Störvariablen konstant gehalten werden. Wann haben wir jemals von Tierforschern gehört, die nach einer statistisch repräsentativen Stichprobe von Tieren suchen? Stattdessen ist ihr Ansatz fast das Gegenteil des Strebens nach Repräsentativität. Beispielsweise bevorzugen Biologen, die Mäuse untersuchen, Mäuse, die in Bezug auf Gene und Umwelt homogen sind und sich nur in Bezug auf die experimentell manipulierte Variable unterscheiden. Im Gegensatz zur statistischen Verallgemeinerung von Umfragen oder Stichproben, die nur eine Extrapolation von der Stichprobe auf die Quellpopulation erfordert, erfolgt die wissenschaftliche Verallgemeinerung durch fundierte Vermutungen, jedoch nur auf der sicheren Plattform einer gültigen Umfrage. Folglich sind Studien aussagekräftiger, wenn sie die Variabilität der Störfaktoren begrenzen, anstatt auf Repräsentativität zu zielen. Puppe und Hügel¹⁴untersuchten die Sterblichkeit männlicher britischer Ärzte im Zusammenhang mit ihren Rauchgewohnheiten. Ihre Ergebnisse galten als weitgehend verallgemeinerbar, obwohl ihre Studiengruppe hinsichtlich Geschlecht, Rasse, ethnischer Zugehörigkeit, sozialer Klasse, Nationalität und vielen anderen Variablen nicht repräsentativ für die Gesamtbevölkerung der Tabakkonsumenten war.

Wenn es eine berechtigte Frage darüber gibt, ob eine Gesamtassoziation je nach Untergruppe einer dritten Variablen, wie etwa Alter oder ethnischer Gruppe, variiert, kann es notwendig sein, Personen aus einem breiten Wertebereich dieser dritten Variablen einzubeziehen, aber selbst dann ist es kontraproduktiv, wenn die Studiengruppe repräsentativ für die Quellpopulation dieser Variablen ist. Das Ziel wäre in diesem Fall, Probanden einzubeziehen, die gleichmäßig über das Spektrum verteilt sind oder in einer Verteilung, die die Gesamteffizienz der Studie erhöht. Eine Stichprobe, die für die Quellpopulation repräsentativ ist, ist nicht optimal.^15,16

Missverständnis 3. Wenn ein Term, der das Produkt zweier Faktoren in einem Regressionsmodell angibt, statistisch nicht signifikant ist, gibt es keine biologische Wechselwirkung zwischen diesen Faktoren.

Der Begriff „biologisch“ sollte hier im weitesten Sinne verstanden werden und umfasst biochemische, psychologische, verhaltensbezogene und physische Interaktionen. Das Problem besteht darin, dass Interaktionen normalerweise mithilfe von Regressionsmodellen bewertet werden, bei denen sich der Produktbegriff eher auf statistische als auf biologische Interaktionen bezieht.

Unter biologischer Interaktion versteht man zwei oder mehr Ursachen, die im selben Mechanismus wirken und deren Wirkungen voneinander abhängig sind. Es beschreibt einen natürlichen Zustand. Wenn Basiseffekte als Veränderungen des Krankheitsrisikos gemessen werden, kommt es zu einer synergistischen (d. h. positiven) biologischen Wechselwirkung, wenn die gemeinsame Wirkung zweier kausaler Faktoren größer ist als die Summe ihrer einzelnen Wirkungen.¹⁷Statistische Interaktion hingegen beschreibt nicht die Natur, sondern ein mathematisches Modell. Dies wird üblicherweise mit einem Produktterm für zwei Variablen in einem Regressionsmodell bewertet. Seine Größe hängt von der Wahl der Maße und der Messskala ab. Statistische Interaktion impliziert lediglich, dass die grundlegende funktionale Form eines bestimmten mathematischen Modells keine angemessene Beschreibung der Beziehung zwischen Variablen ist. Zwei Faktoren, die biologisch interagieren, können je nach verwendetem Modell statistisch interagieren oder auch nicht.

Produktbegriffe in Regressionsmodellen haben Einheiten, die schwer zu interpretieren sind. Wenn eine Variable der Fettverbrauch ist, gemessen in Gramm pro Tag, und eine andere die Anzahl der Packungsjahre gerauchter Zigaretten, wie ist dann eine Variable zu interpretieren, deren Einheit Gramm/Tag mit Packungsjahren multipliziert ist? Die Herausforderung bei der Interpretation solcher Produkttermkoeffizienten hat dazu geführt, dass der Schwerpunkt eher auf dem mit dem Koeffizienten verbundenen p-Wert als auf der Größe des Koeffizienten selbst liegt. Die Konzentration auf den p-Wert oder darauf, ob der Koeffizient eines Produktterms statistisch signifikant ist, verschlimmert nur das Problem der Verwechslung statistischer Interaktion mit biologischer Interaktion (siehe Missverständnis 6). Eine aussagekräftigere Bewertung der Interaktion bestünde darin, sich auf den Prozentsatz der Krankheitsfälle zu konzentrieren, die auf biologische Interaktionen zurückzuführen sind.^17,18

Nehmen Sie ein einfaches Beispiel aus der TREAT-Studie (Trial to Reduce Cardiocular Events with Aranesp Therapy).¹⁹), die das Schlaganfallrisiko bei 4.038 Patienten mit Diabetes mellitus, chronischer Nierenerkrankung und Anämie bewertete, die nach dem Zufallsprinzip einer Gruppe mit Darbepoetin alfa oder einer Gruppe mit Placebo zugeordnet wurden. Bei Patienten ohne Schlaganfall in der Vorgeschichte betrug das Schlaganfallrisiko während des Studienzeitraums 2 % bei Patienten, die Placebo erhielten, und 4 % bei Patienten, die Darbepoetin alfa erhielten. Bei Patienten mit Schlaganfall in der Vorgeschichte betrugen die entsprechenden Risiken 4 % bzw. 12 %. Die Autoren stellten fest, dass der Risikoanstieg für Darbepoetin alfa bei Patienten mit Schlaganfall in der Vorgeschichte größer war, lehnten diese Wechselwirkung jedoch ab, da der Produktterm in einem logistischen Regressionsmodell statistisch nicht signifikant war. Das erhöhte Risiko, das auf Darbepoeitin alfa zurückzuführen ist, betrug 2 % bei Patienten ohne Schlaganfall in der Vorgeschichte und 8 % bei Patienten mit Schlaganfall in der Vorgeschichte, was auf eine starke biologische Wechselwirkung zwischen Darbepoeitin alfa und Schlaganfall in der Vorgeschichte hinweist. Wären die Risiken rein additiv, läge das Risiko bei Patienten mit beiden Risikofaktoren bei 6 % statt der tatsächlichen 12 %. Die Hälfte des Risikos bei Patienten mit beiden Risikofaktoren scheint auf biologische Wechselwirkungen zurückzuführen zu sein, obwohl die Autoren behaupten, dass es keine Wechselwirkungen gab.

Missverständnis 4. Bei der Kategorisierung einer kontinuierlichen Variablen besteht ein sinnvolles Schema zur Auswahl der Kategoriegrenzen darin, perzentildefinierte Grenzen zu verwenden, z. B. Quartile oder Quintile der Verteilung.

Es gibt zwei Gründe, warum die Verwendung von Perzentilen eine schlechte Methode zur Auswahl von Kategoriegrenzen ist. Erstens entsprechen diese Grenzen möglicherweise nicht den Teilen der Verbreitung, in denen biologisch signifikante Veränderungen auftreten. Angenommen, Sie führen eine Studie über die Vitamin-C-Aufnahme und das Skorbutrisiko in den Vereinigten Staaten durch. Wenn Sie die Vitamin-C-Zufuhr in fünf Gruppen aufteilen würden, würden Sie feststellen, dass der gesamte Zusammenhang zwischen Vitamin-C-Konsum und Skorbut auf die unterste Gruppe und innerhalb dieser Gruppe nur auf einen kleinen Anteil der Menschen beschränkt ist, die eine außergewöhnlich niedrige Vitamin-C-Zufuhr hatten. 10 mg Vitamin C pro Tag können Skorbut vorbeugen, aber diejenigen, die weniger als diese Menge zu sich nehmen, machen nur einen Bruchteil von 1 % der Bevölkerung in den Vereinigten Staaten aus.²⁰Die Verwendung prozentualer Kategorien würde es unmöglich machen, die Auswirkung einer unzureichenden Vitamin-C-Zufuhr auf das Skorbutrisiko zu bestimmen, da jede Zufuhr über 10 mg/Tag im Wesentlichen gleichwertig ist. If we routinely use percentile cut points, we may not know if we are facing the same problem as when researching vitamin C and scurvy. Eine effektivere Alternative wäre, mit vielen engen Kategorien zu beginnen und benachbarte Kategorien zusammenzuführen, bis signifikante Risikounterschiede sichtbar werden.

Das zweite Problem bei perzentilbasierten Kategorien besteht darin, dass es schwierig ist, Ergebnisse zwischen Studien zu vergleichen, da Kategorien zwischen Studien, die Perzentilkategoriegrenzen verwenden, wahrscheinlich nicht übereinstimmen. Dieses Problem kann vermieden werden, indem Grenzwerte in den natürlichen Einheiten der Variablen ausgedrückt werden (z. B. mg/Tag für die Vitamin-C-Aufnahme). Es ist auch nützlich, Mittelwerte oder Mediane innerhalb von Kategorien anzugeben.

Missverständnis 5. Man sollte immer P-Werte oder Konfidenzintervalle angeben, die für mehrere Vergleiche korrigiert wurden.

Bei herkömmlichen Anpassungen für mehrere Vergleiche wird der P-Wert oder die Breite eines Konfidenzintervalls basierend auf der Anzahl der durchgeführten Vergleiche erhöht. When analyzing biological data that is full of real relationships, the premise for traditional adaptations is shaky and the adaptations are difficult to defend. Die Sorge vor Mehrfachvergleichen rührt von der Angst her, falsch signifikante Ergebnisse zu finden (Typ-I-Fehler im Fachjargon der Statistik). In Missverständnis 6 diskutieren wir die Probleme, die mit der Verwendung statistischer Signifikanztests für die Datenanalyse verbunden sind. Bevor wir uns jedoch mit diesen Problemen befassen, betrachten wir die Gründe für die Anpassung der gemeldeten Ergebnisse für mehrere Vergleiche.

Trotz der Tatsache, dass ein einzelner Signifikanztest eine 5-prozentige Chance (auf dem herkömmlich verwendeten Niveau) haben soll, signifikant zu sein, wenn die Nullhypothese wahr ist, und daher mehrere Tests bei korrekter Durchführung jeweils diese Eigenschaft aufweisen sollten, besteht die Sorge, dass die Durchführung mehrerer Tests die Wahrscheinlichkeit eines falsch positiven Ergebnisses erhöht. Natürlich steigt mit der Anzahl der Tests auch die Wahrscheinlichkeit, dass ein oder mehrere Tests falsch positiv ausfallen, aber das liegt nur daran, dass viele Tests durchgeführt werden. Anpassungen für Mehrfachvergleiche reduzieren diese Arten von Fehlern vom Typ I, allerdings auf Kosten einer Zunahme von Fehlern vom Typ II, bei denen es sich bei Vorliegen einer echten Beziehung um nicht signifikante Testergebnisse handelt. Wenn beobachtete Beziehungen alle das Ergebnis von Zufällen sind, können Fehler vom Typ I auftreten, Fehler vom Typ II jedoch nicht. Wenn umgekehrt die beobachteten Beziehungen alle tatsächliche Beziehungen widerspiegeln, können Fehler vom Typ II auftreten, Fehler vom Typ I jedoch nicht. Der Kontext jeder Analyse hat daher grundlegende Auswirkungen auf die Interpretation der Daten. Insbesondere ist es absurd, Anpassungen vorzunehmen, die Fehler vom Typ I auf Kosten einer Erhöhung von Fehlern vom Typ II reduzieren, ohne die geschätzten relativen Kosten und die Häufigkeit jedes Fehlertyps zu bewerten.

Wenn Wissenschaftler Zufallszahlen statt biologischer Daten untersuchen würden, wären alle signifikanten Ergebnisse, die sie melden, Fehler vom Typ I, und Anpassungen für mehrere Vergleiche wären sinnvoll; Einige Skeptiker glauben, dass Studien zu genomweiten Assoziationsscans dieser Situation nahe kommen.²¹ Wenn Wissenschaftler jedoch eher biologische Zusammenhänge als Zufallszahlen untersuchen, ist die Annahme, dass Fehler vom Typ I das größte Problem darstellen, möglicherweise falsch.²²Eine strengere Bewertung der Notwendigkeit von Multiplizitätsanpassungen würde mit einer Bewertung der Haltbarkeit der Behauptung beginnen, dass es sich bei den Daten im Wesentlichen um Zufallszahlen handelt. Bei der Untersuchung von Experimenten zu paranormalen Phänomenen könnte Skepsis gegenüber den Ergebnissen ein Argument für Multiplizitätsanpassungen sein. Bei der Untersuchung der physiologischen Wirkungen pharmazeutischer Wirkstoffe sind reale Assoziationen zu erwarten und die Anpassungen sind schwieriger zu verteidigen. Die Untersuchung einzelner Nukleotidpolymorphismen in Bezug auf eine bestimmte Krankheit könnte ein Mittelweg sein. Ein theoretisch vertretbarerer Ansatz für dieses Problem ist ein Bayesian-Ansatz, bei dem Ex-ante-Glaubwürdigkeit verschiedenen Beziehungsebenen zugewiesen wird und Anpassungen mithilfe des Bayes-Theorems vorgenommen werden, um die posteriore Glaubwürdigkeit zu berechnen.^23,24

Missverständnis 6. Signifikanzforschung ist nützlich und wichtig für die Dateninterpretation.

Die Signifikanzforschung hat zu weitaus mehr Missverständnissen und Fehlinterpretationen geführt als zu Klarheit bei der Interpretation von Forschungsergebnissen.^25–28Ein Signifikanztest ist eine verschlechterte Version des P-Werts, einer statistischen Größe, die Präzision und Effektgröße kombiniert und zwei wesentliche Aspekte der Dateninterpretation verwechselt. Die Messung der Effektgröße und -präzision als separate Aufgaben ist ein direkterer und klarerer Ansatz zur Dateninterpretation.

Bei Studien, die darauf abzielen, Zusammenhänge zu messen und zu dem Schluss zu kommen, ob diese kausale Zusammenhänge widerspiegeln, sollte der Fokus auf dem Ausmaß dieser Zusammenhänge im Vordergrund stehen: Die Abschätzung von Effekten ist statistischen Tests eindeutig vorzuziehen. Im Idealfall schätzt eine Studie die Größe des Effekts ab und analysiert mögliche Fehler, die den Effekt verzerrt haben könnten. Systematische Fehler, wie z. B. Verzerrungen durch gemessene Faktoren, können mit analytischen Methoden behoben werden; Andere systematische Fehler, wie etwa die Auswirkungen von Messfehlern oder Selektionsverzerrungen, können mit Sensitivitätsanalysen (auch Bias-Analyse genannt) angegangen werden. Zufällige Fehler werden typischerweise in Konfidenzintervallen ausgedrückt, die einen Bereich von Parameterwerten liefern, die bis zu einem bestimmten Niveau mit den Daten übereinstimmen.

Es ist bedauerlich, dass ein Konfidenzintervall, aus dem sowohl eine Schätzung der Effektgröße als auch der Messgenauigkeit abgeleitet werden kann, normalerweise nur zur Beurteilung verwendet wird, ob es den Nullwert enthält oder nicht, und somit zu einem Signifikanztest wird. Signifikanztests sind ein schlechtes Klassifizierungssystem für Forschungsergebnisse; Starke Effekte können fälschlicherweise als Nullbefunde interpretiert werden, weil die Autoren das Fehlen einer statistischen Signifikanz fälschlicherweise als mangelnde Wirkung interpretieren, oder schwache Effekte können fälschlicherweise als wichtig interpretiert werden, weil sie statistisch signifikant sind. Anstatt als Ersatztests für die Signifikanz verwendet zu werden, sollten Konfidenzintervalle als quantitative Maße interpretiert werden, die das Ausmaß der Effektgröße und den Grad der Präzision angeben, wobei der genauen Lage der Grenzen des Konfidenzintervalls wenig Aufmerksamkeit geschenkt wird. Dieser Rat wird durch die „Uniform Requirements for Manuscripts Submitted to Biomedical Journals“ unterstützt, wird aber dennoch häufig übersehen, selbst von Gutachtern und Herausgebern von Zeitschriften, die diese Anforderungen unterstützen.²⁹

Viele Missverständnisse entstehen durch das Vertrauen auf statistische Signifikanztests. Ein Beispiel hierfür ist die Fokussierung auf die statistische Signifikanz von Interaktionstermen statt auf die Messung der Interaktion, wie oben erläutert. Ein weiteres Beispiel ist die Bewertung von Dosis-Wirkungs-Trends, indem einfach angegeben wird, ob ein signifikanter Trend vorliegt oder nicht, anstatt das Ausmaß und idealerweise die Form dieses Trends anzugeben. Ein weiteres Beispiel ist der manchmal gegebene Rat, bei der Berichterstattung über Ergebnisse die Aussagekraft einer Studie zu berechnen, insbesondere wenn diese Ergebnisse statistisch nicht signifikant sind. Die Angabe der Aussagekraft einer Studie als Teil der Ergebnisse wird als „Post-hoc“-Berechnung der Aussagekraft bezeichnet.³⁰Power-Berechnungen basieren auf einer Hypothese über den Grad der Assoziation, der von einer Null-Assoziation zu unterscheiden ist. Wenn jedoch die Forschungsergebnisse vorliegen, ist es nicht mehr notwendig, eine Hypothese über das Ausmaß der Assoziation zu formulieren, da Sie nun über eine Schätzung davon verfügen. Ein Konfidenzintervall für den geschätzten Zusammenhang spiegelt alle relevanten Informationen wider; eine Kapitalrechnung bringt nichts mehr.

Die unglückliche Konsequenz der Fokussierung auf statistische Signifikanztests besteht darin, dass dadurch eine dichotome Sicht auf Beziehungen entstanden ist, die quantitativ besser bewertet werden können. Diese Unterscheidung ist mehr als nur eine Feinheit. Jeden Tag kommt es zu erheblichen, bedauerlichen und vermeidbaren Fehlinterpretationen von Daten, die aus dem verwirrenden Nebel statistischer Signifikanztests resultieren. Die meisten dieser Fehler könnten vermieden werden, wenn der Schwerpunkt von statistischen Tests auf Schätzungen verlagert würde.

Fazit

Why do such important misconceptions about research persist? Diese Missverständnisse sind größtenteils ein Ersatz für nachdenklichere und schwierigere Aufgaben. Es ist einfacher, eine Diskrepanz zwischen einer Studie und einer nicht-experimentellen Studie zugunsten der Studie aufzulösen, ohne die aufwändige Analyse durchzuführen, die Hernan et al.¹⁰Het is gemakkelijk om te verklaren dat een resultaat statistisch niet significant is, waardoor ten onrechte wordt gesuggereerd dat er geen aanwijzingen zijn voor een verband, in plaats van kwantitatief te kijken naar het bereik van verbanden dat de gegevens daadwerkelijk ondersteunen. Deze misvattingen zijn een makkelijke weg, maar wanneer die weg vol is met anderen die dezelfde weg bewandelen, is er misschien weinig reden om de route in twijfel te trekken. Deze misvattingen worden inderdaad vaak in tijdschriften, klaslokalen en studieboeken in stand gehouden. Ik ben van mening dat de beste kans op verbetering ligt in het vergroten van het bewustzijn over deze kwesties, met een redelijk debat. Max Planck zei ooit: "Een nieuwe wetenschappelijke waarheid zegeviert niet door haar tegenstanders te overtuigen en hen het licht te laten zien, maar omdat haar tegenstanders uiteindelijk sterven en er een nieuwe generatie opgroeit die ermee vertrouwd is."³¹Voor zover deze cynische visie juist is, kunnen we verwachten dat verouderde concepten in het beste geval langzaam zullen verdwijnen. Ik hoop dat het onder de aandacht brengen van deze misvattingen de nodige discussies op gang zal brengen en een katalysator voor verandering zal zijn.

Dankwoord: Ik heb nuttige kritiek ontvangen van Susana Perez, Andrea Margulis, Manel Pladevall en Jordi Castellsague.

Belangenconflict: De auteur verklaart geen belangenconflict te hebben.

Corresponderende auteur: Kenneth J. Rothman, DrPH; Research Triangle Institute, Research Triangle Park, NC, VS (e-mail: KRothman@rti.org).

Open Access Dit artikel wordt verspreid onder de voorwaarden van de Creative Commons Attribution License, die elk gebruik, elke verspreiding en elke reproductie in elk medium toestaat, mits de oorspronkelijke auteur(s) en de bron worden vermeld.

REFERENTIES

1. Hernán MA, Hernández-Díaz S, Robins JM. Gerandomiseerde studies geanalyseerd als observationele studies. Ann Intern Med. 2013;159:560–2. doi:10.7326/0003-4819-159-8-201310150-00709
2. Ioannidis JPA. Waarom de meeste gepubliceerde onderzoeksresultaten onjuist zijn. PLoS Med. 2005;2(8):e124.
3. Hiatt WR. Observationele studies naar de veiligheid van geneesmiddelen – aprotinine en het gebrek aan transparantie. N Engl J Med. 2006;355:2171–3.
4. Shaten BJ, Kuller LH, Kjelsberg MO, Stamler J, Ockene JK, Cutler JA, Cohen JD. Longkankersterfte na 16 jaar bij MRFIT-deelnemers in interventie- en gebruikelijke zorggroepen. Multiple Risk Factor Intervention Trial. Ann Epidemiol 1997;7:125–36.
5. Grodstein F, Manson JE, Colditz GA, et al. Een prospectieve, observationele studie naar postmenopauzale hormoontherapie en primaire preventie van hart- en vaatziekten. Ann Intern Med. 2000;133:933–41.
6. Varas-Lorenzo C, García-Rodríguez LA, Pérez-Gutthann S, et al. Hormoonvervangende therapie en incidentie van acuut myocard infarct. Circulation. 2000;101:2572–8.
7. Hulley S, Grady D, Bush T, Furberg C, Herrington D, Riggs B, Vittinghoff E. Randomisierte Studie mit Östrogen plus Gestagen zur Sekundärprävention koronarer Herzkrankheit bei postmenopausalen Frauen. Forschungsgruppe Herz- und Östrogen/Gestagen-Ersatzstudie (HERS). JAMA. 1998;280:605–13. doi:10.1001/jama.280.7.605.
8. Manson JE, Hsia J, Johnson KC, et al. Östrogen plus Gestagen und das Risiko einer koronaren Herzkrankheit. N Engl J Med. 2003;349:523–34.
9. Taubes G. Wissen wir wirklich, was uns gesund macht? New York Times, 16. September 2007.
10. Hernán MA, Alonso A, Logan R, Grodstein F, Michels K, Willett WC, Manson JE, Robins JM. Observationele studies geanalyseerd als gerandomiseerde experimenten: een toepassing op postmenopauzale hormoontherapie en coronaire hartziekten. Epidemiology. 2008;19:766–79. doi:10.1097/EDE.0b013e3181875e61
11. Concato J. Observationele versus experimentele studies: wat is het epidemiologische bewijs voor een hiërarchie? NeuroRx. 2004;1:341–7.
12. Vandenbroucke JP, Pearce N. Case–control studies: basic concepts. Int J Epidemiol. 2012;41:1480–9. doi:10.1093/ije/dys147.
13. Rothman KJ. Hoofdstuk 5, Soorten epidemiologische studies, in Epidemiology, An Introduction, 2e editie. Oxford University Press, New York, 2012.
14. Doll R, Hill AB. De sterfte onder artsen in relatie tot hun rookgewoonten: een voorlopig rapport. Br Med J. 1954;ii:1451–5.
15. Rothman KJ, Gallacher J, Hatch EE. Waarom representativiteit moet worden vermeden. Int J Epidemiol. 2013;42:1012–4. doi:10.1093/ije/dys223
16. Rothman KJ, Gallacher J, Hatch EE. Als het gaat om wetenschappelijke gevolgtrekkingen, is een sigaar soms gewoon een sigaar. Int J Epidemiol. 2013;42:1026–8. doi:10.1093/ije/dyt124
17. Rothman KJ. Hoofdstuk 11, Interactie meten, in Epidemiology, An Introduction, 2e editie. Oxford University Press, New York, 2012.
18. Knol MJ, van der Tweel I, Grobbee DE, Numans ME, Geerlings MI. Schatting van interactie op een additieve schaal tussen continue determinanten in een logistisch regressiemodel. Int J Epidemiol. 2007;36:1111–8.
19. Skali H, Parving HH, Parfrey PS, Burdmann EA, Lewis EF, Ivanovich P, Keithi-Reddy SR, McGill JB, McMurray JJ, Singh AK, Solomon SD, Uno H, Pfeffer MA. TREAT-onderzoekers: Beroerte bij patiënten met diabetes mellitus type 2, chronische nierziekte en bloedarmoede die worden behandeld met darbepoëtine alfa: de studie naar het verminderen van cardiovasculaire voorvallen met Aranesp- -therapie (TREAT). Circulation. 2011;124:2903–8.
20. Aanbevolen dagelijkse hoeveelheden voor vitamine C, vitamine E, selenium en carotenoïden. Institute of Medicine, The National Academies Press, Washington, D. C., 2000.
21. Dudbridge F, Gusnanto A. Schatting van significantiedrempels voor genomische associatiescans. Genet Epidemiol. 2008;32:227–34.
22. Rothman KJ. Er zijn geen aanpassingen nodig voor meervoudige vergelijkingen. Epidemiology. 1990;1:43–6.
23. Greenland S, Robins J. Empirisch-Bayesiaanse aanpassingen voor meervoudige statistische vergelijkingen zijn soms nuttig. Epidemiology. 1991;2:244–51.
24. Greenland S, Poole C. Empirisch-Bayesiaanse en semi-Bayesiaanse benaderingen van toezicht op beroeps- en milieurisico's. Arch Environ Health. 1994;48:9–16.
25. Rothman KJ. Een blijk van vertrouwen (redactioneel artikel). N Engl J Med. 1978;299:1362–3.
26. Poole C. Voorbij het betrouwbaarheidsinterval. Am J Public Hlth. 1987;77:195–9.
27. Rothman KJ. Op zoek naar significantie (redactioneel artikel). Ann Int Med. 1986;105:445–7.
28. Gelman A, Stern H. Het verschil tussen 'significant' en 'niet significant' is op zichzelf niet statistisch significant. Amer Statistician. 2006;60:328–31.
29. Uniform Requirements for Manuscripts Submitted to Biomedical Journals, http://www.icmje.org/manuscript_1prepare.html (geraadpleegd op 2 mei 2013)
30. Smith AH, Bates MN. Confidence limit analyses should replace power calculations in the interpretation of epidemiologic studies. Epidemiology. 1992;3:449–52.
31. Planck M. Wetenschappelijke autobiografie en andere artikelen, Philosophical Library, New York, 1968, vert. F. Gaynor (New York, 1949), pp. 33–34

Fußnoten

• 1
  Manchmal ist es überall Het-akademische Insolvenz in vier Unternehmen
• 2
  Siehe auch den Artikel vom Juni 2021 über wissenschaftliche Integrität
• 3
  Das Originalstück ist hier https://doi.org/10.1007/s11606-013-2755-z