Sechs hartnäckige Missverständnisse in der wissenschaftlichen Forschung – Kenneth J. Rothman

Unten finden Sie die Übersetzung seines Artikels³Das Originalstück ist hier https://doi.org/10.1007/s11606-013-2755-z.

Zusammenfassung

Wissenschaftliche Erkenntnisse ändern sich schnell, die Konzepte und Methoden der Forschung ändern sich jedoch langsamer. Um die Diskussion über veraltete Denkweisen bei der Durchführung von Forschung anzuregen, liste ich sechs Missverständnisse über Forschung auf, die noch lange bestehen bleiben, nachdem ihre Mängel offensichtlich geworden sind.

Die Missverständnisse sind:

1. Es gibt eine Hierarchie der Forschungsdesigns; Randomisierte Studien bieten die größte Validität, gefolgt von Kohortenstudien, während Fall-Kontroll-Studien am wenigsten zuverlässig sind.
2. Ein wesentliches Element für eine gültige Verallgemeinerung besteht darin, dass die Probanden eine repräsentative Stichprobe einer Zielpopulation darstellen.
3. Wenn ein Term, der das Produkt zweier Faktoren in einem Regressionsmodell angibt, statistisch nicht signifikant ist, gibt es keine biologische Wechselwirkung zwischen diesen Faktoren.
4. Bei der Kategorisierung einer kontinuierlichen Variablen besteht ein sinnvolles Schema zur Auswahl kategorialer Grenzwerte darin, perzentildefinierte Grenzwerte zu verwenden, beispielsweise Quartile oder Quintile der Verteilung.
5. Man sollte immer P-Werte oder Konfidenzintervalle angeben, die für mehrere Vergleiche korrigiert wurden.
6. Signifikanzforschung ist nützlich und wichtig für die Dateninterpretation.

Diese Missverständnisse halten sich in Zeitschriften, Klassenzimmern und Lehrbüchern hartnäckig. Sie bleiben bestehen, weil es sich um intellektuelle Abkürzungen handelt, die eine durchdachtere Herangehensweise an Forschungsprobleme verhindern. Ich hoffe, dass das Aufzeigen dieser Missverständnisse die notwendigen Diskussionen anstoßen wird, um diese veralteten Ideen endgültig zu begraben.

Kenneth J. Rothman, DrPH
Research Triangle Institute, Research Triangle Park, NC, VS; Boston University School of Public Health, Boston, MA, VS.

SCHLÜSSELWÖRTER: Forschungsdesign; Dateninterpretation; epidemiological methods; Repräsentativität; Bewertung der Interaktion; multiple comparisons; percentile limits; statistische Signifikanztests.

PMID:24452418 | PMCID:PMC4061362 | DOI:10.1007/s11606-013-2755-z
© Die Autoren 2014. Dieser Artikel ist Open Access auf Springerlink.com veröffentlicht

Es gibt immer noch überraschend viele Missverständnisse über die Durchführung von Forschungen mit menschlichen Probanden. Manche Missverständnisse bleiben bestehen, obwohl das Gegenteil gelehrt wird, andere wiederum, weil das Gegenteil gelehrt werden sollte. Um die Diskussion über diese Themen anzuregen, liste ich hier sechs hartnäckige Missverständnisse über Forschung auf und gebe eine kurze Zusammenfassung der Probleme, die jedes dieser Missverständnisse mit sich bringt.

Missverständnis 1. Es gibt eine Hierarchie der Studiendesigns: Randomisierte Studien bieten die größte Validität, gefolgt von Kohortenstudien, während Fall-Kontroll-Studien am wenigsten zuverlässig sind.

Gerandomiseerde studies worden vaak beschouwd als de 'gouden standaard' onder de onderzoekstypes, maar zijn zelfs in theorie niet perfect. Bovendien is de veronderstelling dat de vergelijkende validiteit van onderzoeksresultaten kan worden afgeleid uit het type onderzoek onjuist.

Obwohl einige glauben, dass Beweise aus einer randomisierten Studie genauso überzeugend sind wie logische Beweise, kann keine empirische Studie absolute Sicherheit bieten. Wenn randomisierte Studien perfekt wären, wie könnten sie dann zu unterschiedlichen Ergebnissen führen? Tatsächlich unterliegen sie mehreren Fehlern¹. Uiteraard is er sprake van willekeurige fouten, zoals te verwachten is bij een onderzoek op basis van willekeurige toewijzing. Maar er is ook sprake van systematische fouten, of vertekening. Gerandomiseerde onderzoeken worden bijvoorbeeld meestal geanalyseerd aan de hand van het 'intent to treat'-principe, waarbij de groepen die aanvankelijk willekeurig zijn toegewezen, worden vergeleken, ongeacht eventuele latere niet-naleving. Niet-naleving leidt tot een onderschatting van het effect van de behandeling. Deze vertekening wordt meestal als aanvaardbaar beschouwd, omdat deze wordt gecompenseerd door de voordelen van willekeurige toewijzing. Onderschatting van effecten is echter niet aanvaardbaar in een veiligheidsonderzoek dat gericht is op het blootleggen van bijwerkingen van de behandeling. Een andere belangrijke bron van vertekening in een gerandomiseerde studie zijn fouten bij de beoordeling van de uitkomst, zoals het te laag tellen van uitkomstgebeurtenissen. Ook als randomisatie aan het begin van de studie zorgt voor een evenwicht tussen de risicofactoren van de groepen, kunnen de studiegroepen door langdurige follow-up steeds meer uit balans raken door differentiële uitval of veranderingen in de verdeling van risicofactoren. Bij langdurige onderzoeken kunnen de voordelen van willekeurige toewijzing daarom na verloop van tijd afnemen.

Kurz gesagt, das Studium ist alles andere als perfekt. Darüber hinaus liefern sowohl Kohorten- als auch Fallkontrollstudien bei richtiger Konzeption und Durchführung valide Ergebnisse. Es ist daher falsch, einer Studie, die auf einer Hierarchie von Forschungsdesigns basiert, unüberlegt mehr Aussagekraft zu verleihen^2,3. Beispielsweise ist der Zusammenhang zwischen Zigarettenrauchen und Lungenkrebs auf der Grundlage von Erkenntnissen aus Kohorten- und Fall-Kontroll-Studien gut belegt. Dieser Zusammenhang konnte in einer randomisierten Studie nie eindeutig nachgewiesen werden. Es ist nicht einfach, Menschen zufällig einer Raucher- oder Nichtrauchergruppe zuzuordnen, aber wenn die Raucherentwöhnung im Rahmen einer vielschichtigen Intervention in der Randomized Multiple Risk Factor Intervention Trial untersucht wurde⁴, entwickelten diejenigen, die dazu ermutigt wurden, mit dem Rauchen aufzuhören, tatsächlich mehr Lungenkrebs als diejenigen, die nicht dazu ermutigt wurden, mit dem Rauchen aufzuhören. Die Ergebnisse der Studie haben die Ergebnisse der vielen Kohorten- und Fallkontrollstudien, die ohne Randomisierung durchgeführt wurden, nicht umgekehrt. Vielmehr wurde die Diskrepanz auf Probleme mit der Studie zurückgeführt.

Ein weiteres markantes Beispiel sind die Ergebnisse großer Kohortenstudien^5,6 wiesen darauf hin, dass das Risiko einer koronaren Herzkrankheit bei postmenopausalen Hormonkonsumenten verringert war, spätere Ergebnisse aus zwei randomisierten Studien zeigten jedoch keinen Zusammenhang oder ein erhöhtes Risiko.^7,8Die Reaktion in der wissenschaftlichen Gemeinschaft und der populären Presse⁹bestand darin, die Ergebnisse der Kohortenstudien in der Annahme zu diskreditieren, dass sie durch die randomisierten Studien widerlegt worden seien. Viele halten weiterhin an dieser Interpretation fest, aber in einer eleganten Neuanalyse stellen Hernan et al.¹⁰wiesen darauf hin, dass die Studiengruppen in den Kohortenstudien und den randomisierten Studien unterschiedlich waren und dass die Auswirkungen des Hormonkonsums nach der Menopause je nach Alter und Zeit seit der Menopause stark variierten. Als die Studien auf neue Hormonkonsumenten beschränkt waren, haben Hernan et al. zeigten, dass Unterschiede in der Verteilung von Alter und Zeit seit der Menopause alle offensichtlichen Diskrepanzen erklären könnten. Obwohl es üblich ist, solche Diskrepanzen auf inhärente Schwächen nicht-experimenteller Studien zurückzuführen, ist es zu einfach, die Gültigkeit auf der Grundlage einer angenommenen Hierarchie von Studientypen zuzuordnen.¹¹

Ebenso sollten Diskrepanzen zwischen Kohortenstudien und Fall-Kontroll-Studien nicht oberflächlich durch einen angenommenen Validitätsvorteil von Kohortenstudien gegenüber Fall-Kontroll-Studien erklärt werden. Gut konzipierte Fall-Kontroll-Studien werden zu denselben Ergebnissen führen wie gut konzipierte Kohortenstudien. Wenn Konflikte auftreten, können sie auf Probleme in einer oder beiden Studienarten zurückzuführen sein. Obwohl Fall-Kontroll-Studien lange Zeit als veraltete Versionen von Kohortenstudien abgetan wurden, die von der Krankheit ausgehen und auf mögliche Ursachen zurückblicken, betrachten Epidemiologen Fall-Kontroll-Studien heute als konzeptionell identisch mit Kohortenstudien, mit Ausnahme eines Effizienzgewinns, der sich aus der Stichprobe der Nenner ergibt, anstatt eine vollständige Zählung durchzuführen. Tatsächlich ermöglichen diese Effizienzgewinne, dass in Fall-Kontroll-Studien mehr Ressourcen für die Expositionsbewertung oder Fallvalidierung aufgewendet werden können, was zu einer geringeren Verzerrung führt als in entsprechenden Kohortenstudien zum gleichen Zusammenhang.

Diejenigen, die Fall-Kontroll-Studien als veraltete Versionen von Kohortenstudien betrachten, ziehen manchmal die falsche Analogie, dass die Kontrollen den Fällen sehr ähnlich sein müssen, außer dass sie nicht die Krankheit haben, die den Fall definiert. Tatsächlich soll die Kontrollgruppe in einer Fall-Kontroll-Studie eine Stichprobe des Bevölkerungsnenners sein, der die Fälle hervorbringt, ein Ersatz für die vollständigen Nenner, die in einer Kohortenstudie ermittelt wurden. Die Kontrollgruppe muss daher der gesamten Forschungsgruppe ähneln und nicht den Fällen.^12,13 Bei gutem Design können Fall-Kontroll-Studien die gleiche hervorragende Validität erreichen wie gut konzipierte Kohortenstudien, während eine schlecht konzipierte Studie unzuverlässig sein kann. Die Art der Studie sollte nicht als Maßstab für die Validität einer Studie herangezogen werden.

Missverständnis 2. Ein wesentliches Element für gültige Verallgemeinerungen aus einer Studie besteht darin, dass es sich bei den Probanden um eine repräsentative Stichprobe einer Zielpopulation handelt.

Dieses Missverständnis hängt mit der Ansicht zusammen, dass die wissenschaftliche Verallgemeinerung eine mechanische Extrapolation der Ergebnisse einer Stichprobe auf die Quellpopulation beinhaltet. Aber das beschreibt die statistische Verallgemeinerung; Die wissenschaftliche Verallgemeinerung ist etwas anders: Es ist der Prozess, eine korrekte Aussage über die Funktionsweise der Natur zu treffen.

Die wissenschaftliche Verallgemeinerung ist das ultimative Ziel der wissenschaftlichen Forschung, aber eine Voraussetzung dafür ist die Gestaltung einer Studie mit interner Validität, die dadurch verbessert wird, dass alle Störvariablen konstant gehalten werden. Wann haben wir jemals von Tierforschern gehört, die nach einer statistisch repräsentativen Stichprobe von Tieren suchen? Stattdessen ist ihr Ansatz fast das Gegenteil des Strebens nach Repräsentativität. Beispielsweise bevorzugen Biologen, die Mäuse untersuchen, Mäuse, die in Bezug auf Gene und Umwelt homogen sind und sich nur in Bezug auf die experimentell manipulierte Variable unterscheiden. Im Gegensatz zur statistischen Verallgemeinerung von Umfragen oder Stichproben, die nur eine Extrapolation von der Stichprobe auf die Quellpopulation erfordert, erfolgt die wissenschaftliche Verallgemeinerung durch fundierte Vermutungen, jedoch nur auf der sicheren Plattform einer gültigen Umfrage. Folglich sind Studien aussagekräftiger, wenn sie die Variabilität der Störfaktoren begrenzen, anstatt auf Repräsentativität zu zielen. Puppe und Hügel¹⁴bestudeerden de sterfte onder mannelijke Britse artsen in relatie tot hun rookgewoonten. Hun bevindingen werden als algemeen generaliseerbaar beschouwd, ondanks het feit dat hun onderzoeksgroep niet representatief was voor de algemene populatie van tabaksgebruikers wat betreft geslacht, ras, etniciteit, sociale klasse, nationaliteit en vele andere variabelen.

Wanneer er een legitieme vraag is of een algemeen verband varieert per subgroep van een derde variabele, zoals leeftijd of etnische groep, kan het nodig zijn om mensen op te nemen uit een breed scala aan waarden van die derde variabele, maar zelfs dan is het contraproductief als de onderzoeksgroep representatief is voor de bronpopulatie voor die variabele. Het doel zou in dat geval zijn om proefpersonen op te nemen die gelijkmatig over het bereik zijn verdeeld, of in een verdeling die de algehele efficiëntie van het onderzoek verhoogt. Een steekproef die representatief is voor de bronpopulatie zal suboptimaal zijn.^15,16

Misvatting 3. Wenn ein Term, der das Produkt zweier Faktoren in einem Regressionsmodell angibt, statistisch nicht signifikant ist, gibt es keine biologische Wechselwirkung zwischen diesen Faktoren.

De term 'biologisch' moet hier in brede zin worden opgevat, zodat het biochemische, psychologische, gedragsmatige en fysieke interacties omvat. Het probleem is dat interactie meestal wordt geëvalueerd aan de hand van regressiemodellen, waarin de productterm betrekking heeft op statistische interactie in plaats van biologische interactie.

Biologische interactie verwijst naar twee of meer oorzaken die in hetzelfde mechanisme werken, met effecten die onderling afhankelijk zijn. Het beschrijft een natuurlijke toestand. Als basiseffecten worden gemeten als veranderingen in het ziekterisico, is er sprake van synergetische (d.w.z. positieve) biologische interactie wanneer het gezamenlijke effect van twee causale factoren groter is dan de som van hun afzonderlijke effecten.¹⁷Statistische interactie beschrijft daarentegen niet de natuur, maar een wiskundig model. Deze wordt doorgaans beoordeeld met een productterm voor twee variabelen in een regressiemodel. De omvang ervan hangt af van de keuze van de maatregelen en de meetschaal. Statistische interactie impliceert alleen dat de fundamentele functionele vorm van een specifiek wiskundig model geen passende beschrijving is van de relatie tussen variabelen. Twee factoren die biologische interactie vertonen, kunnen al dan niet statistische interactie vertonen, afhankelijk van het gebruikte model.

Producttermen in regressiemodellen hebben eenheden die moeilijk te interpreteren zijn. Als één variabele de vetconsumptie is, gemeten in gram per dag, en een andere variabele het aantal pakjaren gerookte sigaretten, hoe moet dan een variabele worden geïnterpreteerd die de eenheid gram/dag vermenigvuldigd met pakjaren heeft? De uitdaging om dergelijke producttermcoëfficiënten te interpreteren heeft ertoe geleid dat de aandacht vooral uitgaat naar de p-waarde die bij de coëfficiënt hoort, in plaats van naar de grootte van de coëfficiënt zelf. Door de focus te leggen op de p-waarde, of op de vraag of de coëfficiënt van een productterm statistisch significant is, wordt het probleem van het verwarren van statistische interactie met biologische interactie alleen maar erger (zie misvatting 6). Een meer zinvolle beoordeling van interactie zou zijn om de focus te leggen op het percentage gevallen van een ziekte dat kan worden toegeschreven aan biologische interactie.^17,18

Neem een eenvoudig voorbeeld uit de TREAT-studie (Trial to Reduce Cardiovascular Events with Aranesp Therapy¹⁹), waarin het risico op een beroerte werd geëvalueerd bij 4.038 patiënten met diabetes mellitus, chronische nierziekte en bloedarmoede die willekeurig werden ingedeeld in een groep die darbepoëtine alfa kreeg of een groep die een placebo kreeg. Bij patiënten zonder voorgeschiedenis van een beroerte was het risico op een beroerte tijdens de onderzoeksperiode 2% bij patiënten die placebo kregen en 4 % bij patiënten die darbepoëtine alfa kregen. Bij patiënten met een voorgeschiedenis van een beroerte waren de overeenkomstige risico's 4 % en 12 %. De auteurs merkten op dat de risicotoename groter was voor darbepoëtine alfa bij patiënten met een voorgeschiedenis van beroerte, maar zij verwierpen deze interactie omdat de productterm in een logistisch regressiemodel niet statistisch significant was. Het verhoogde risico dat aan darbepoeitin alfa kon worden toegeschreven, was 2 % bij patiënten zonder voorgeschiedenis van een beroerte en 8 % bij patiënten met een voorgeschiedenis van een beroerte, wat wijst op een sterke biologische interactie tussen darbepoeitin alfa en een voorgeschiedenis van een beroerte. Als de risico's louter additief waren, zou het risico bij patiënten met beide risicofactoren 6 % bedragen, in plaats van de werkelijke 12 %. De helft van het risico bij patiënten met beide risicofactoren lijkt toe te schrijven te zijn aan biologische interactie, ondanks de bewering van de auteurs dat er geen interactie was.

Misvatting 4. Bij het categoriseren van een continue variabele is een redelijk schema voor het kiezen van categoriegrenzen het gebruik van percentielgedefinieerde grenzen, zoals kwartielen of kwintielen van de verdeling.

Er zijn twee redenen waarom het gebruik van percentielen een slechte methode is voor het kiezen van categoriegrenzen. Ten eerste komen deze grenzen mogelijk niet overeen met de delen van de verdeling waar biologisch significante veranderingen plaatsvinden. Stel dat u een onderzoek uitvoert naar vitamine C-inname en het risico op scheurbuik in de Verenigde Staten. Als je de vitamine C-inname in vijf groepen zou indelen, zou je zien dat het hele verband tussen vitamine C-consumptie en scheurbuik beperkt was tot de laagste groep, en binnen die groep tot slechts een klein deel van de mensen die een uitzonderlijk lage vitamine C-inname hadden. 10 mg vitamine C per dag kan scheurbuik voorkomen, maar degenen die minder dan dat innemen, vertegenwoordigen slechts een fractie van 1% van de bevolking in de Verenigde Staten.²⁰Door gebruik te maken van op percentielen gebaseerde categorieën zou het onmogelijk zijn om het effect van onvoldoende vitamine C-inname op het risico op scheurbuik te achterhalen, omdat alle inname boven 10 mg/dag in wezen gelijkwaardig is. Als we routinematig percentiel-cut-points gebruiken, weten we misschien niet of we met hetzelfde probleem worden geconfronteerd als bij het onderzoek naar vitamine C en scheurbuik. Een effectiever alternatief zou zijn om te beginnen met veel smalle categorieën en aangrenzende categorieën samen te voegen totdat er significante verschillen in risico zichtbaar worden.

Het tweede probleem met op percentielen gebaseerde categorieën is dat het moeilijk is om resultaten tussen studies te vergelijken, omdat categorieën tussen studies die gebruikmaken van percentielcategoriegrenzen waarschijnlijk niet overeenkomen. Dit probleem kan worden voorkomen door grenspunten uit te drukken in de natuurlijke eenheden van de variabele (zoals mg/d voor vitamine C-inname). Het is ook nuttig om gemiddelden of medianen binnen categorieën te rapporteren.

Misvatting 5. Man sollte immer P-Werte oder Konfidenzintervalle angeben, die für mehrere Vergleiche korrigiert wurden.

Traditionele aanpassingen voor meervoudige vergelijkingen houden in dat de P-waarde of de breedte van een betrouwbaarheidsinterval wordt opgeblazen op basis van het aantal uitgevoerde vergelijkingen. Als men biologische gegevens analyseert die vol zitten met werkelijke verbanden, is het uitgangspunt voor traditionele aanpassingen wankel en zijn de aanpassingen moeilijk te verdedigen. De bezorgdheid over meervoudige vergelijkingen komt voort uit de angst om vals-significante bevindingen te vinden (type I-fouten in het jargon van de statistiek). In misvatting 6 bespreken we de problemen die zich voordoen bij het gebruik van statistische significantietests voor gegevensanalyse. Maar voordat we die problemen bekijken, gaan we eerst in op de redenen om gerapporteerde resultaten aan te passen voor meervoudige vergelijkingen.

Ondanks het feit dat een enkele significantietest bedoeld is om een kans van 5% (op het conventioneel gebruikte niveau) te hebben om significant te zijn wanneer de nulhypothese waar is, en daarom zouden meerdere tests, mits correct uitgevoerd, elk deze eigenschap moeten hebben, maar er bestaat bezorgdheid dat bij het uitvoeren van meerdere tests de kans op een vals-positief resultaat toeneemt. Naarmate het aantal tests toeneemt, neemt natuurlijk ook de kans toe dat een of meer tests vals-positief zijn, maar dat komt alleen omdat er veel tests worden uitgevoerd. Aanpassingen voor meervoudige vergelijkingen verminderen dit soort type I-fouten, maar dat gaat ten koste van een toename van type II-fouten, wat niet-significante testresultaten zijn in aanwezigheid van een reëel verband. Wanneer waargenomen verbanden allemaal het resultaat zijn van toeval, kunnen type I-fouten voorkomen, maar type II-fouten kunnen niet voorkomen. Omgekeerd, wanneer de waargenomen verbanden allemaal werkelijke relaties weerspiegelen, kunnen type II-fouten optreden, maar type I-fouten niet. De context van elke analyse heeft dus fundamentele implicaties voor de interpretatie van de gegevens. Het is met name absurd om aanpassingen te doen die type I-fouten verminderen ten koste van een toename van type II-fouten, zonder een evaluatie van de geschatte relatieve kosten en frequentie van elk type fout.

Als wetenschappers willekeurige getallen zouden bestuderen in plaats van biologische gegevens, zouden alle significante resultaten die zij rapporteren type I-fouten zijn, en zouden aanpassingen voor meervoudige vergelijkingen zinvol zijn; sommige sceptici zijn van mening dat studies van genoomwijde associatiescans deze situatie benaderen.²¹ Maar wanneer wetenschappers biologische relaties bestuderen in plaats van willekeurige getallen, kan de veronderstelling dat type I-fouten het grootste probleem zijn, onjuist zijn.²²Een meer rigoureuze evaluatie van de noodzaak van multipliciteitsaanpassingen zou beginnen met een beoordeling van de houdbaarheid van de stelling dat de gegevens in wezen willekeurige getallen zijn. Als men experimenten met paranormale verschijnselen bestudeert, zou scepsis over de resultaten een argument kunnen zijn voor multipliciteitsaanpassingen. Als men de fysiologische effecten van farmaceutische middelen bestudeert, zijn echte associaties te verwachten en zijn de aanpassingen moeilijker te verdedigen. Het bestuderen van enkelvoudige nucleotidepolymorfismen in relatie tot een bepaalde ziekte zou een middenweg kunnen zijn. Een benadering van deze kwestie die theoretisch beter te verdedigen is, is een Bayesiaanse benadering, waarbij vooraf geloofwaardigheid wordt toegekend aan verschillende niveaus van verbanden en aanpassingen worden gedaan met behulp van de stelling van Bayes om posterieure geloofwaardigheid te berekenen.^23,24

Misvatting 6. Significantieonderzoek is nuttig en belangrijk voor de interpretatie van gegevens.

Significantieonderzoek heeft geleid tot veel meer misverstanden en verkeerde interpretaties dan duidelijkheid bij het interpreteren van onderzoeksresultaten.^25–28Een significantietest is een verslechterde versie van de P-waarde, een statistische grootheid die precisie combineert met effectgrootte, waardoor twee essentiële aspecten van gegevensinterpretatie door elkaar worden gehaald. Het meten van effectgrootte en precisie als afzonderlijke taken is een directere en duidelijkere benadering van gegevensinterpretatie.

Voor onderzoeken die tot doel hebben verbanden te meten en te concluderen of deze causale verbanden weerspiegelen, moet de focus op de omvang van deze verbanden voorop staan: het inschatten van effecten verdient duidelijk de voorkeur boven statistische toetsing. Idealiter schat een onderzoek de omvang van het effect in en analyseert het de mogelijke fouten die het effect kunnen hebben vertekend. Systematische fouten, zoals verstoring door gemeten factoren, kunnen worden aangepakt met analytische methoden; andere systematische fouten, zoals de effecten van meetfouten of selectiebias, kunnen worden aangepakt met gevoeligheidsanalyses (ook wel biasanalyse genoemd). Willekeurige fouten worden doorgaans uitgedrukt in betrouwbaarheidsintervallen, die een reeks parameterwaarden geven die consistent zijn met de gegevens tot op een bepaald niveau.

Het is jammer dat een betrouwbaarheidsinterval, waaruit zowel een schatting van de effectgrootte als de meetnauwkeurigheid kan worden afgeleid, doorgaans alleen wordt gebruikt om te beoordelen of het de nulwaarde bevat of niet, waardoor het wordt omgezet in een significantietest. Significantieproeven zijn een slecht classificatiesysteem voor onderzoeksresultaten; sterke effecten kunnen ten onrechte worden geïnterpreteerd als nulbevindingen omdat auteurs ten onrechte het ontbreken van statistische significantie interpreteren als een gebrek aan effect, of zwakke effecten kunnen ten onrechte worden geïnterpreteerd als belangrijk omdat ze statistisch significant zijn. In plaats van te worden gebruikt als vervangende significantietests, moeten betrouwbaarheidsintervallen worden geïnterpreteerd als kwantitatieve maatstaven die de omvang van de effectgrootte en de mate van nauwkeurigheid aangeven, waarbij weinig aandacht wordt besteed aan de precieze locatie van de grenzen van het betrouwbaarheidsinterval. Dit advies wordt ondersteund door de Uniform Requirements for Manuscripts Submitted to Biomedical Journals, maar wordt niettemin vaak over het hoofd gezien, zelfs door recensenten en redacteuren van tijdschriften die deze vereisten ondersteunen.²⁹

Veel misvattingen komen voort uit het vertrouwen op statistische significantietests. De focus op de statistische significantie van interactietermen in plaats van het meten van interactie, zoals hierboven besproken, is daar een voorbeeld van. De evaluatie van dosis-respons trends door simpelweg te verklaren dat er al dan niet een significante trend is, in plaats van de omvang en idealiter de vorm van die trend weer te geven, is een ander voorbeeld. Nog een ander voorbeeld is het advies dat soms wordt gegeven om de power van een studie te berekenen bij het rapporteren van resultaten, vooral als die resultaten niet statistisch significant zijn. Het rapporteren van de power van een onderzoek als onderdeel van de resultaten wordt 'post-hoc'-powerberekening genoemd.³⁰Powerberekeningen zijn gebaseerd op een hypothese over het niveau van associatie dat moet worden onderscheiden van een nulassociatie, maar wanneer de onderzoeksresultaten voorhanden zijn, is het niet langer nodig om een hypothese te formuleren over de omvang van de associatie, omdat u daar nu een schatting van hebt. Een betrouwbaarheidsinterval voor de geschatte associatie geeft alle relevante informatie weer; een vermogensberekening levert niets meer op.

Het ongelukkige gevolg van de focus op statistische significantietests is dat er een dichotome kijk op relaties is ontstaan die beter in kwantitatieve termen kunnen worden beoordeeld. Dit onderscheid is meer dan een subtiliteit. Elke dag zijn er belangrijke, betreurenswaardige en vermijdbare verkeerde interpretaties van gegevens die het gevolg zijn van de verwarrende mist van statistische significantietests. De meeste van deze fouten zouden kunnen worden voorkomen als de focus zou worden verlegd van statistische tests naar schattingen.

Fazit

Waarom blijven zulke belangrijke misvattingen over onderzoek bestaan? Deze misvattingen zijn in grote mate een vervanging voor meer doordachte en moeilijke taken. Het is eenvoudiger om een discrepantie tussen een proef en een niet-experimenteel onderzoek op te lossen ten gunste van de proef, zonder de moeizame analyse uit te voeren die Hernan et al. hebben gedaan.¹⁰Het is gemakkelijk om te verklaren dat een resultaat statistisch niet significant is, waardoor ten onrechte wordt gesuggereerd dat er geen aanwijzingen zijn voor een verband, in plaats van kwantitatief te kijken naar het bereik van verbanden dat de gegevens daadwerkelijk ondersteunen. Deze misvattingen zijn een makkelijke weg, maar wanneer die weg vol is met anderen die dezelfde weg bewandelen, is er misschien weinig reden om de route in twijfel te trekken. Deze misvattingen worden inderdaad vaak in tijdschriften, klaslokalen en studieboeken in stand gehouden. Ik ben van mening dat de beste kans op verbetering ligt in het vergroten van het bewustzijn over deze kwesties, met een redelijk debat. Max Planck zei ooit: "Een nieuwe wetenschappelijke waarheid zegeviert niet door haar tegenstanders te overtuigen en hen het licht te laten zien, maar omdat haar tegenstanders uiteindelijk sterven en er een nieuwe generatie opgroeit die ermee vertrouwd is."³¹Voor zover deze cynische visie juist is, kunnen we verwachten dat verouderde concepten in het beste geval langzaam zullen verdwijnen. Ik hoop dat het onder de aandacht brengen van deze misvattingen de nodige discussies op gang zal brengen en een katalysator voor verandering zal zijn.

Dankwoord: Ik heb nuttige kritiek ontvangen van Susana Perez, Andrea Margulis, Manel Pladevall en Jordi Castellsague.

Belangenconflict: De auteur verklaart geen belangenconflict te hebben.

Corresponderende auteur: Kenneth J. Rothman, DrPH; Research Triangle Institute, Research Triangle Park, NC, VS (e-mail: KRothman@rti.org).

Open Access Dit artikel wordt verspreid onder de voorwaarden van de Creative Commons Attribution License, die elk gebruik, elke verspreiding en elke reproductie in elk medium toestaat, mits de oorspronkelijke auteur(s) en de bron worden vermeld.

REFERENTIES

1. Hernán MA, Hernández-Díaz S, Robins JM. Gerandomiseerde studies geanalyseerd als observationele studies. Ann Intern Med. 2013;159:560–2. doi:10.7326/0003-4819-159-8-201310150-00709
2. Ioannidis JPA. Waarom de meeste gepubliceerde onderzoeksresultaten onjuist zijn. PLoS Med. 2005;2(8):e124.
3. Hiatt WR. Observationele studies naar de veiligheid van geneesmiddelen – aprotinine en het gebrek aan transparantie. N Engl J Med. 2006;355:2171–3.
4. Shaten BJ, Kuller LH, Kjelsberg MO, Stamler J, Ockene JK, Cutler JA, Cohen JD. Longkankersterfte na 16 jaar bij MRFIT-deelnemers in interventie- en gebruikelijke zorggroepen. Multiple Risk Factor Intervention Trial. Ann Epidemiol 1997;7:125–36.
5. Grodstein F, Manson JE, Colditz GA, et al. Een prospectieve, observationele studie naar postmenopauzale hormoontherapie en primaire preventie van hart- en vaatziekten. Ann Intern Med. 2000;133:933–41.
6. Varas-Lorenzo C, García-Rodríguez LA, Pérez-Gutthann S, et al. Hormoonvervangende therapie en incidentie van acuut myocard infarct. Circulation. 2000;101:2572–8.
7. Hulley S, Grady D, Bush T, Furberg C, Herrington D, Riggs B, Vittinghoff E. Randomisierte Studie mit Östrogen plus Gestagen zur Sekundärprävention koronarer Herzkrankheit bei postmenopausalen Frauen. Forschungsgruppe Herz- und Östrogen/Gestagen-Ersatzstudie (HERS). JAMA. 1998;280:605–13. doi:10.1001/jama.280.7.605.
8. Manson JE, Hsia J, Johnson KC, et al. Östrogen plus Gestagen und das Risiko einer koronaren Herzkrankheit. N Engl J Med. 2003;349:523–34.
9. Taubes G. Wissen wir wirklich, was uns gesund macht? New York Times, 16. September 2007.
10. Hernán MA, Alonso A, Logan R, Grodstein F, Michels K, Willett WC, Manson JE, Robins JM. Observationele studies geanalyseerd als gerandomiseerde experimenten: een toepassing op postmenopauzale hormoontherapie en coronaire hartziekten. Epidemiology. 2008;19:766–79. doi:10.1097/EDE.0b013e3181875e61
11. Concato J. Observationele versus experimentele studies: wat is het epidemiologische bewijs voor een hiërarchie? NeuroRx. 2004;1:341–7.
12. Vandenbroucke JP, Pearce N. Case–control studies: basic concepts. Int J Epidemiol. 2012;41:1480–9. doi:10.1093/ije/dys147.
13. Rothman KJ. Hoofdstuk 5, Soorten epidemiologische studies, in Epidemiology, An Introduction, 2e editie. Oxford University Press, New York, 2012.
14. Doll R, Hill AB. De sterfte onder artsen in relatie tot hun rookgewoonten: een voorlopig rapport. Br Med J. 1954;ii:1451–5.
15. Rothman KJ, Gallacher J, Hatch EE. Waarom representativiteit moet worden vermeden. Int J Epidemiol. 2013;42:1012–4. doi:10.1093/ije/dys223
16. Rothman KJ, Gallacher J, Hatch EE. Als het gaat om wetenschappelijke gevolgtrekkingen, is een sigaar soms gewoon een sigaar. Int J Epidemiol. 2013;42:1026–8. doi:10.1093/ije/dyt124
17. Rothman KJ. Hoofdstuk 11, Interactie meten, in Epidemiology, An Introduction, 2e editie. Oxford University Press, New York, 2012.
18. Knol MJ, van der Tweel I, Grobbee DE, Numans ME, Geerlings MI. Schatting van interactie op een additieve schaal tussen continue determinanten in een logistisch regressiemodel. Int J Epidemiol. 2007;36:1111–8.
19. Skali H, Parving HH, Parfrey PS, Burdmann EA, Lewis EF, Ivanovich P, Keithi-Reddy SR, McGill JB, McMurray JJ, Singh AK, Solomon SD, Uno H, Pfeffer MA. TREAT-onderzoekers: Beroerte bij patiënten met diabetes mellitus type 2, chronische nierziekte en bloedarmoede die worden behandeld met darbepoëtine alfa: de studie naar het verminderen van cardiovasculaire voorvallen met Aranesp- -therapie (TREAT). Circulation. 2011;124:2903–8.
20. Aanbevolen dagelijkse hoeveelheden voor vitamine C, vitamine E, selenium en carotenoïden. Institute of Medicine, The National Academies Press, Washington, D. C., 2000.
21. Dudbridge F, Gusnanto A. Schatting van significantiedrempels voor genomische associatiescans. Genet Epidemiol. 2008;32:227–34.
22. Rothman KJ. Er zijn geen aanpassingen nodig voor meervoudige vergelijkingen. Epidemiology. 1990;1:43–6.
23. Greenland S, Robins J. Empirisch-Bayesiaanse aanpassingen voor meervoudige statistische vergelijkingen zijn soms nuttig. Epidemiology. 1991;2:244–51.
24. Greenland S, Poole C. Empirisch-Bayesiaanse en semi-Bayesiaanse benaderingen van toezicht op beroeps- en milieurisico's. Arch Environ Health. 1994;48:9–16.
25. Rothman KJ. Een blijk van vertrouwen (redactioneel artikel). N Engl J Med. 1978;299:1362–3.
26. Poole C. Voorbij het betrouwbaarheidsinterval. Am J Public Hlth. 1987;77:195–9.
27. Rothman KJ. Op zoek naar significantie (redactioneel artikel). Ann Int Med. 1986;105:445–7.
28. Gelman A, Stern H. Het verschil tussen 'significant' en 'niet significant' is op zichzelf niet statistisch significant. Amer Statistician. 2006;60:328–31.
29. Uniform Requirements for Manuscripts Submitted to Biomedical Journals, http://www.icmje.org/manuscript_1prepare.html (geraadpleegd op 2 mei 2013)
30. Smith AH, Bates MN. Confidence limit analyses should replace power calculations in the interpretation of epidemiologic studies. Epidemiology. 1992;3:449–52.
31. Planck M. Wetenschappelijke autobiografie en andere artikelen, Philosophical Library, New York, 1968, vert. F. Gaynor (New York, 1949), pp. 33–34

Fußnoten

• 1
  Manchmal ist es überall Het-akademische Insolvenz in vier Unternehmen
• 2
  Siehe auch den Artikel vom Juni 2021 über wissenschaftliche Integrität
• 3
  Das Originalstück ist hier https://doi.org/10.1007/s11606-013-2755-z