Statistik Teil 20: Multiples Testen

Korrepondenz

Auf den Punkt gebracht

Pro:

• Verfahren zum multiplen Testen reduzieren das Risiko falschpositiver Ergebnisse und ermöglichen eine kontrollierte gemeinsame Interpretation mehrerer Hypothesen, Endpunkte oder Gruppenvergleiche.
• Adjustierte p-Werte und Konfidenzintervalle dienen der transparenten Berichterstattung.
• Bei vielen gleichzeitigen Tests kann die Kontrolle der FDR (false discovery rate) anstelle der FWER (family-wise error rate) die Power erhöhen.

Contra:

• Eine Adjustierung senkt üblicherweise die Power und kann so eine größere Fallzahl erforderlich machen.
• Testfamilie und Adjustierungsstrategie müssen möglichst vor der Auswertung festgelegt werden, wobei manche Verfahren von der Abhängigkeitsstruktur der Tests abhängen.
• Eine Korrektur ersetzt weder eine gute Studienplanung noch die sorgfältige Beurteilung von Effektgrößen und Konfidenzintervallen.
• Ungeplante Analysen bleiben auch nach einer Adjustierung explorativ.

Einführung

In klinischen Studien werden oft mehrere Endpunkte, Messzeitpunkte oder Behandlungsgruppen untersucht sowie Zwischen- oder Subgruppenanalysen durchgeführt. Mit jedem zusätzlichen statistischen Test kann die Wahrscheinlichkeit steigen, falschpositive Ergebnisse zu erhalten. Für die Validität der Studienergebnisse ist es daher sehr wichtig, die Kontrolle über den Fehler erster Art nicht zu verlieren und das Auftreten von falsch-positiven Tests unter Kontrolle zu behalten [1]. Die unzureichende Berücksichtigung des multiplen Testens ist einer von mehreren Faktoren, die falsch-positive Ergebnisse begünstigen können [2,3]. In diesem Tutorial werden wir das Problem des multiplen Testens näher erläutern, gängige Verfahren zur Kontrolle des Fehlers erster Art vorstellen und ihre Anwendung anhand von Beispielen demonstrieren.

Das Problem des multiplen Testens

Den Ausgangspunkt bildet eine Testfamilie. Darunter versteht man eine Gruppe von Hypothesen, für die gemeinsam eine Aus-

sage getroffen werden soll. In klinischen Studien können Testfamilien beispielsweise mehrere gleichrangige primäre Endpunkte, sekundäre Endpunkte, paarweise Gruppenvergleiche, Subgruppenanalysen oder Messzeitpunkte umfassen. Welche Hypothesen zu einer gemeinsamen Testfamilie gehören, sollte bereits bei der Studienplanung festgelegt werden. Mehrere Zwischenanalysen erfordern eine vorab definierte (gruppensequenzielle) Teststrategie. Bei wiederholten Messungen kann es zudem sinnvoller sein, ein longitudinales Modell oder einen globalen Test zu verwenden (vgl. Abschnitt 7.6.9 in [4]), anstatt für jeden Zeitpunkt getrennte Einzeltests durchzuführen.

Zur Demonstration betrachten wir eine Testfamilie aus K (K ≥ 1) statistischen Tests und gehen zunächst davon aus, dass die K Tests (stochastisch) unabhängig sind (vgl. Abschnitt 4.3.2 in [4]). Weiter nehmen wir zur Vereinfachung an, dass jeder Test zum gleichen Signifikanzniveau α durchgeführt wird und alle K Nullhypothesen wahr sind (globaler Nullfall). Zur Abkürzung bezeichnen wir mit V (V ≥ 0) die Anzahl an falsch-positiven Tests. In dieser speziellen Situation können wir die Wahrscheinlichkeit, dass mindestens ein Test ein falsch-positives Ergebnis liefert, kurz P(V ≥ 1), explizit berechnen (vgl. Tab. 1).

Gehen wir alternativ nicht vom globalen Nullfall und von nicht (stochastisch) unabhängigen Tests aus, können wir die Wahrscheinlichkeit P(V ≥ 1) nur sehr schwer exakt berechnen. Wir können diese aber mit der Bonferroni-Ungleichung (vgl. Abschnitt 4.2.2 in [4]) nach oben abschätzen und erhalten

Übersteigt K * α den Wert 1 (= 100 %) wird K * α durch 1 ersetzt. Es ist auch eine Abschätzung nach unten möglich. Diese lautet

und wir erhalten

Der Fall P (V ≥ 1) = α tritt ein, falls alle Tests vollständig voneinander abhängen. Das bedeutet, dass entweder alle Tests gemeinsam signifikant oder nicht signifikant sind. Die Wahrscheinlichkeit für (stochastisch) unabhängige Tests im globalen Nullfall und die Abschätzungen von P (V ≥ 1) nach oben und unten sind für α = 0,05 in Abb. 1 dargestellt.

Die genaue Abhängigkeitsstruktur der Tests ist in der Praxis nicht bekannt, wir können aber davon ausgehen, dass sowohl der globale Nullfall mit (stochastischer) Unabhängigkeit als auch die vollständige Abhängigkeit sehr ungewöhnlich sind. Daher empfiehlt es sich davon auszugehen, dass die Wahrscheinlichkeit von mindestens einem falsch-positiven Test bei zwei oder mehr Tests (K ≥ 2) typischerweise größer als α ist und mit der Anzahl K monoton wächst.

Diese Überlegungen haben zur Entwicklung von Methoden geführt, mit denen man die Anzahl falsch-positiver Tests unter Kontrolle behalten kann. Bei konfirmatorischen Analysen mit mehreren Hypothesen muss eine vorab festgelegte Strategie zur Kontrolle der Multiplizität im Studienprotokoll vorgesehen werden. Wird auf eine Adjustierung verzichtet, müssen die Analysen ausdrücklich als explorativ, deskriptiv oder unterstützend gekennzeichnet werden. Entsprechend vorsichtig sollten in diesem Fall auch die Ergebnisse interpretiert werden. Generell können diese Methoden zwar das

Risiko zufälliger signifikanter Tests begrenzen, sie ersetzen jedoch keine sorgfältige Studienplanung mit klar definierten Hypothesen und Endpunkten. Insbesondere bleiben ungeplante Analysen auch nach einer Korrektur meist explorativ und sind immer vorsichtig zu interpretieren. Umgekehrt beweist ein nicht signifikantes, korrigiertes Ergebnis nicht das Fehlen eines klinisch relevanten Effekts. Für die Beurteilung sind daher, wie im Fall eines einzigen Tests, Effektgröße und Konfidenzintervall wichtiger als ein isolierter p-Wert. Die Testfamilie muss hierbei vor oder unabhängig von der Auswertung festgelegt werden. Sie darf nicht nachträglich so zugeschnitten werden, dass ein gewünschtes Ergebnis signifikant erscheint.

Wir werden im Folgenden die beiden Hauptansätze zur Fehlerkontrolle genauer vorstellen.

Family-wise error rate (FWER)

Die Fehlerrate für eine Testfamilie (family-wise error rate) ist die Wahrscheinlichkeit für mindestens einen falsch-positiven Test innerhalb dieser Testfamilie, also

Der erste und einfachste Ansatz zur Kontrolle der FWER basiert auf der Bonferroni-Ungleichung und wird deshalb auch Bonfer-

roni-Adjustierung genannt (vgl. Abschnitt 7.5.2 in [4]). Wir können sicherstellen, dass FWER ≤ α, indem wir für jeden Test der Testfamilie ein adjustiertes Signifikanzniveau verwenden, wobei

Diese Vorgehensweise eignet sich insbesondere auch für die Fallzahlplanung [7]. Hierbei ist zu beachten, dass eine Verkleinerung des Signifikanzniveaus bei gleicher Fallzahl die Power üblicherweise verringert. Eine Adjustierung macht daher meist eine größere Stichprobe erforderlich. Die Bonferroni-Adjustierung von α eignet sich auch für simultane Konfidenzintervalle [8]. Hierfür werden typischerweise einzelne Intervalle mit Überdeckungswahrscheinlichkeit 1 – konstruiert, damit die gemeinsame Überdeckungswahrscheinlichkeit mindestens 1 – α beträgt. Da 1 – α ≤ 1 – , erhöht sich in der Regel die Länge der einzelnen Intervalle.

Beim statistischen Testen wird üblicherweise jedoch nicht das Signifikanzniveau adjustiert, sondern die p-Werte. Die adjustierten p-Werte 1, 2, … , K erhält man, indem man die Original-p-Werte p1, p2, …, pK mit K multipliziert: i = K * pi (i = 1, 2, … , K). Man nennt die Bonferroni-Adjustierung daher auch ein Ein-Schritt-Verfahren, da alle p-Werte in einem Schritt adjustiert werden können. Da es sich bei der Bonferroni-Ungleichung um eine Abschätzung nach oben für die FWER handelt, ist diese Form der Adjustierung in den meisten Fällen sehr konservativ. Das bedeutet, man hält stärker als nötig an der Nullhypothese fest und verliert damit an Power.

Etwas weniger konservativ sind K-Schritt-Verfahren. Bei diesen Verfahren müssen die Original-p-Werte p1, p2, … , pK in einem ersten Schritt sortiert werden. Im Fall der Holm-Adjustierung [9] sortiert man die p-Werte aufsteigend p(1) ≤ p(2) ≤ … ≤ p(K) und berechnet anschließend die adjustierten p-Werte mittels der folgenden Formel

Die aufsteigend sortierten p-Werte werden demnach schrittweise mit K, K – 1, …, 1 multipliziert. Das innere Maximum in der Formel sorgt dafür, dass auch nach der Multiplikation die Anordnung (1) ≤ (2) ≤ … ≤ (K) erhalten bleibt. Ergäbe sich etwa im i + 1-ten Schritt (i +1) < (i), wird durch die Bildung des Maximums der Wert

von (i + 1) durch den Wert von (i) ersetzt. Durch das äußere Minimum werden alle adjustierten p-Werte mit Werten größer als 1 (= 100 %) auf 1 gesetzt. Die adjustierten p-Werte werden jeweils mit α verglichen. Da die adjustierten p-Werte durch diese Vorgehensweise aufsteigend sortiert sind, könnte man das Verfahren auch vorzeitig abbrechen, sobald der erste adjustierte p-Wert größer als α ist. Jeder weitere Test liefert gleich große oder größere adjustierte p-Werte und ist damit auf jeden Fall ebenfalls nicht signifikant. In der Praxis geschieht dies jedoch nur selten und es ist üblich, alle adjustierten p-Werte zu berechnen. Das Verfahren von Holm wird auch als ein Step-down-Verfahren bezeichnet. Diese Bezeichnung leitet sich nicht von den p-Werten, sondern von den Teststatistiken ab. Die monoton wachsende Sortierung der p-Werte entspricht nämlich einer monoton fallenden Sortierung der Teststatistiken vom größten zum kleinsten Absolutbetrag.

Die Hochberg-Adjustierung [10] ist ein Step-up-Verfahren und kann mit Hilfe der folgenden Formel berechnet werden

Die p-Werte werden in diesem Fall fallend mit 1, 2, …, K multipliziert. Dabei müssen die adjustierten p-Werte monoton fallend sortiert bleiben, was durch das innere Minimum gewährleistet wird. Ergäbe sich im i + 1-ten Schritt (K – (i + 1)) > (K – i) , so sorgt das Minimum dafür, dass der Wert von (K – (i + 1)) durch den Wert von (K – i) ersetzt wird. Außerdem werden durch das äußere Minimum wieder alle adjustierten p-Werte mit Werten größer als 1 (= 100 %) auf 1 gesetzt und die adjustierten p-Werte jeweils mit α verglichen. Auch bei der Hochberg-Adjustierung ist ein vorzeitiger Stopp möglich. Sobald der erste adjustierte p-Wert kleiner α ist, werden wegen der monoton fallenden Anordnung auch alle folgenden adjustierten p-Werte kleiner α sein. In der Praxis werden aber üblicherweise alle adjustierten p-Werte berechnet. Das Hochberg-Verfahren kontrolliert die FWER nur bei unabhängigen Tests sowie bei bestimmten positiven Abhängigkeitsstrukturen. Bei beliebiger oder unbekannter Abhängigkeit ist das Holm-Verfahren die robustere Wahl. Bei der Hochberg-Adjustierung führt das innere Minimum dazu, dass die adjustierten p-Werte bei identischen Ausgangs-p-Werten nie größer und häufig kleiner sind als bei der Holm-Adjustierung, bei der ein inneres Maximum verwendet wird. Daher ist das Hochberg-Verfahren unter seinen zusätzlichen Abhängigkeitsannahmen weniger konservativ als das Holm-Verfahren.

Es lassen sich auch Holm- und Hochberg-kompatible simultane Konfidenzintervalle konstruieren [11]. Ihre Berechnung ist jedoch komplexer und sollte mit geeigneter Software erfolgen. Die schrittweisen Verfahren lassen sich auch für die Fallzahlplanung heranziehen, wobei dies am einfachsten in Kombination mit Monte-Carlo-Simulationen möglich ist [7].

Neben diesen Adjustierungen, die unabhängig vom eingesetzten statistischen Test sind, gibt es einige Verfahren, die speziell für Post-hoc-Vergleiche im Rahmen einer ANOVA einsetzbar sind. Für alle paarweisen Vergleiche nach einer ANOVA eignet sich bei gleichen Gruppengrößen das Tukey-HSD-Verfahren. Bei ungleichen Gruppengrößen wird meist die Tukey-Kramer-Erweiterung verwendet (vgl. Abschnitt 7.6.4.1 in [4]). Das Verfahren liefert nicht nur adjustierte p-Werte, sondern auch adjustierte Konfidenzintervalle. Die Dunnett-Adjustierung stellt eine weitere Möglichkeit

dar (vgl. Abschnitt 7.6.4.3 in [4]). Sie eignet sich, wenn mehrere Interventionsgruppen mit einer Kontroll- oder Referenzgruppe verglichen werden sollen. Es gibt noch eine Reihe weiterer Verfahren zur Adjustierung im Fall von multiplen paarweisen Vergleichen (vgl. etwa Abschnitt 7.6 in [4]).

Gegenüber unadjustierten Einzeltests senkt die FWER-Adjustierung in der Regel die Power. Wie konservativ ein Verfahren ist, hängt im konkreten Fall jedoch von Methode, Anzahl und Abhängigkeit der Tests ab. Bei vielen oder sehr vielen statistischen Tests kann eine FWER-Kontrolle die Power deutlich reduzieren und damit die Wahrscheinlichkeit falsch-negativer Ergebnisse entsprechend erhöhen. Dies hat dazu geführt, dass seit dem Aufkommen von Hochdurchsatzverfahren in Biologie und Medizin ein alternativer Ansatz deutlich an Bedeutung gewonnen hat.

False discovery rate (FDR)

Die Falschentdeckungsrate (false discovery rate) zielt nicht darauf ab, eine Wahrscheinlichkeit zu kontrollieren, sondern einen Erwartungswert [12]. Es gilt

wobei V (V ≥ 0) die Anzahl falsch-positiver Tests und R (R ≥ 0) die Anzahl aller signifikanter Tests ist. Die FDR ist demnach der erwartete Anteil falsch-positiver Tests an allen signifikanten Tests. FDR ≤ 5 % bedeutet daher nicht, dass jede konkrete Studie höchstens 5 % falsch-positive Tests enthält, sondern bei wiederholter Anwendung des Verfahrens erhält man im Mittel eine entsprechende Fehlerkontrolle. Es lässt sich zeigen, dass immer FDR ≤ FWER gilt, weshalb die Kontrolle der FDR bei gleichem Fehler α üblicherweise weniger konservativ als die Kontrolle der FWER ist.

Das Standardverfahren zur Kontrolle der FDR ist die Benjamini-Hochberg-Adjustierung [12]. Es handelt sich um ein Step-up-Verfahren, welches mit der folgenden Formel berechnet werden kann

Die Vorgehensweise ist demnach analog zum Verfahren von Hochberg, wobei anstelle einer Multiplikation mit 1, 2, … , K eine Multiplikation mit , , , … , erfolgt. Die Kontrolle der FDR ist nur bei gewissen (positiven) Abhängigkeitsstrukturen gewährleistet. Bei beliebiger oder unbekannter Abhängigkeit bietet die Benjamini-Yekutieli-Adjustierung [13] eine robuste Alternative zur Kontrolle der FDR. Die Berechnung erfolgt über die folgende Formel

wobei c(K) die harmonische Summe ist

Es handelt sich wieder um ein Step-up-Verfahren. Daher ist die Vorgehensweise analog zur Hochberg- und Benjamini-Hochberg-Adjustierung. Lediglich der Korrekturfaktor muss nach der obigen

Formel angepasst werden. Da die harmonische Summe mit K (logarithmisch) wächst, wird die Benjamini-Yekutieli-Adjustierung mit wachsender Anzahl von Tests immer konservativer.

Insbesondere bei sehr vielen Tests kann man zudem versuchen, den Anteil an wahren Nullhypothesen zu schätzen, was auf die sogenannten q-Werte führt [14]. Wir verzichten auf eine genauere Darstellung dieses und anderer Ansätze für hochdimensionale Daten, da dies über die Zielsetzung dieses Tutorials hinausgeht.

FDR-basierte Fallzahlplanungen sind insbesondere bei hochdimensionalen, explorativen Analysen mit vielen Hypothesen relevant [15]. Die Übertragung der Idee der FDR auf Konfidenzintervalle wird als false coverage-statement rate (FCR) [16] oder verkürzt auch als false coverage rate [17] bezeichnet. Die FCR ist der erwartete Anteil der nach einer datengestützten Selektion berichteten Konfidenzintervalle, die den jeweiligen wahren Parameter nicht überdecken. Man spricht in diesem Fall auch von FCRadjustierten Konfidenzintervallen.

Praxisbeispiele

Zur Demonstration der verschiedenen Korrekturen für multiples Testen betrachten wir einen Datensatz, der den Einsatz verschiedener Kardioplegieverfahren bei 1.012 Säuglingsherzoperationen unter Einsatz der Herz-Lungen-Maschine dokumentiert. Bei 336 Operationen wurde das Kardioplegieverfahren Custodiol (CCC) verwendet, bei 559 Operationen die pädiatrische Mikroplegie (MBC) und bei 117 Operationen konnte auf die Ischämie verzichtet und am schlagenden Herzen (BH) operiert werden. Wir vergleichen Bypasszeit und Priming sowie die postoperativen Werte von Hämoglobin, Laktat, Natrium, Magnesium, Troponin, CK, CK-MB und Epinephrin für die Gruppen CCC und MBC. Es ergibt sich eine Familie von 10 Tests. Für die Demonstration schließen wir nur Patient:innen ein, bei denen die Werte zu allen Variablen vorliegen. Es verbleiben so 123 Operationen mit CCC und 280 Operationen mit MBC im Datensatz. Wir verwenden für alle Variablen den Wilcoxon-Mann-Whitney-Test. Es geht in diesem Beispiel ausschließlich um die Demonstration der Berechnung der Adjustierungsverfahren. Die Auswahl der Operationen und Variablen erfolgte ohne zugrundeliegende klinische Fragestellung. Außerdem handelt es sich um Daten einer Beobachtungsstudie und die Ergebnisse wurden nicht auf mögliche wichtige Einflussgrößen adjustiert. Daher können aus den Ergebnissen keinesfalls kausale Aussagen über die Überlegenheit eines Kardioplegieverfahrens abgeleitet werden. Wir verzichten deshalb auch bewusst auf die Angabe von Effektstärken und zugehörigen Konfidenzintervallen. Die p-Werte und die Adjustierungen mit Hilfe der vorgestellten FWER- und FDR-Verfahren sind in Tab. 2 enthalten. Im Fall der Holm-Adjustierung erfolgt die Berechnung von oben nach unten. Im Fall der drei Step-up-Verfahren von unten nach oben.

Ohne Adjustierung erhalten wir sechs signifikante Ergebnisse. Bei allen Adjustierungsverfahren ergeben sich im Unterschied dazu fünf signifikante Ergebnisse, wobei die Benjamini-Hochberg-Adjustierung die kleinsten adjustierten p-Werte liefert. Das Verfahren von Benjamini-Yekutieli liefert zum Teil sogar adjustierte p-Werte, die größer als bei den FWER-Verfahren sind. Da im vorliegenden Fall unklar ist, ob die Voraussetzungen an die Abhängigkeit für die Verfahren von Hochberg und Benjamini-Hochberg

erfüllt sind, sollte man primär die Ergebnisse der Holm-Adjustierung oder der Benjamini-Yekutieli-Adjustierung in Betracht ziehen. Natürlich sollte diese Entscheidung bereits bei der Studienplanung getroffen werden und nicht nach Ansicht der Ergebnisse.

Als zweites Beispiel betrachten wir die ANCOVA der glomerulären Filtrationsrate (GFR) nach einer Herzoperation mit extrakorporaler Zirkulation (EKZ) aus Tutorial 17 [18]. Wir untersuchen die folgenden drei Gruppen hinsichtlich signifikanter Unterschiede: Gruppe 1: „venöses Pooling“ mit Nitroprussid, Gruppe 2: „venöses Pooling“ mit Nitroglycerin, Gruppe 3: ohne Intervention. Wir verwenden wieder die Quadratwurzel zur Varianzstabilisierung und Normalisierung der GFR. Neben den GFR-Werten vor der OP verwenden wir das Alter und die Körpergröße der Kinder sowie die Dauer des Bypasses und der Ischämie zur Adjustierung. Die ANCOVA liefert ein signifikantes Ergebnis für die Gruppe (p = 9,00e-07). Wir führen daher eine Post-hoc-Analyse mit Hilfe des Paketes emmeans [19] durch, wobei für die Adjustierung der Konfidenzintervalle zusätzlich die Formeln von [11] und [16] verwendet wurden. Die Ergebnisse sind in Tab. 3 dargestellt.

Wie zu erwarten ist das Bonferroni-Verfahren am konservativsten. Die Ergebnisse der Adjustierungen von Holm und Hochberg sind in diesem Fall identisch. Darüber hinaus liefern Tukey-HSD und das Verfahren von Benjamini-Yekutieli sehr ähnliche Ergebnisse.

Zusammenfassung

Werden in einer Studie mehrere Hypothesen gleichzeitig geprüft, steigt die Wahrscheinlichkeit, mindestens einen falsch-positiven Test zu erhalten. Die betrachteten Hypothesen sollten deshalb bereits bei der Studienplanung zu sinnvollen Testfamilien zusammengefasst und einer geeigneten Fehlerkontrollstrategie zugeordnet werden. Die FWER kontrolliert die Wahrscheinlichkeit für mindestens einen falsch-positiven Test. Dafür eignen sich insbesondere die Verfahren von Bonferroni und Holm, wobei es auch möglich ist, entsprechend adjustierte Konfidenzintervalle zu berechnen. Darüber hinaus gibt es spezielle Verfahren wie Tukey-HSD oder Dunnett, die für Post-hoc-Tests nach einer ANOVA entwickelt wurden. Die FDR kontrolliert den erwarteten Anteil falschpositiver Tests unter den signifikanten Ergebnissen. Sie ist speziell für explorative Analysen mit vielen Hypothesen geeignet. Hierfür stehen insbesondere die Verfahren von Benjamini-Hochberg und

Benjamini-Yekutieli zur Verfügung. Überträgt man den FDR-Ansatz auf Konfidenzintervalle, spricht man von FCR-adjustierten Konfidenzintervallen.

Generell ersetzt eine Adjustierung keine gute Studienplanung. Außerdem sollten bei der Bewertung der Ergebnisse neben adjustierten p-Werten immer Effektgrößen, (adjustierte) Konfidenzintervalle und die klinische Relevanz berücksichtigt werden.

Literatur