Therapieeffekte: Beurteilung der empirischen Evidenz

Zusammenfassung

Hintergrund: Nach dem Bayes-Theorem ist die A-posteriori-Wahrscheinlichkeit einer Hypothese eine Funktion der empirischen Evidenz und der A-priori-Wahrscheinlichkeit. Ergebnisse von Effektstudien werden heute praktisch ausschließlich aus frequentistischer Sicht interpretiert. Die Integration von Bayes-Statistik ist in der empirischen Physiotherapieforschung noch kaum wahrnehmbar.Ziele: Aufzeigen von Problemstellen des Frequentismus und Darlegen von Alternativen; Beleuchten der Interpretationsproblematik klassischer statistischer Resultate in der empirischen Forschung; Untersuchung objektiver und subjektiver Alternativen.Methode: Der Wahrscheinlichkeitsbegriff wird beleuchtet. Die Bayes-Statistik wird vorgestellt und mit einer Datensimulation veranschaulicht. Der objektive und subjektive Teil des Bayes-Theorems werden analysiert.Ergebnisse: Für Wahrscheinlichkeitsaussagen über Therapieeffekte bei kleinen Stichproben ist formal eine gewisse Subjektivität notwendig. P-Werte, aber auch klassische Konfidenzintervalle müssen vorsichtig interpretiert werden. P-Werte überschätzen die Evidenz gegen die Nullhypothese. Bayes-Faktoren sind eine valide objektive Alternative zu P-Werten. Subjektive Wahrscheinlichkeiten könnten durch Wettverhalten erfasst werden, was aber noch zu wenig erforscht ist. Der Frequentismus kann als Spezialfall des Zugangs nach Bayes angesehen werden.Schlussfolgerungen: Als Maße für die Evidenzstärke gegen Nullhypothesen und als Ersatz für P-Werte werden objektive datenbasierte Bayes-Faktoren vorgeschlagen: Minimum-Bayes-Faktoren sind Verhältnisse aus der Datenwahrscheinlichkeit unter der Nullhypothese und der derjenigen Hypothese, unter der die Datenwahrscheinlichkeit maximal ist. P-Werte überschätzen zum Teil massiv die Evidenz gegen Nullhypothesen und besitzen keine profunde wissenschaftliche Basis.

Abstract

Background: According to the Bayes-theorem the posterior probability of a hypothesis is a function of empirical evidence and prior information. To date results of physiotherapy intervention studies are practically solely interpreted from a frequentist point of view. Integration of Bayesian statistics in empirical research is not yet perceptible.

Objectives: To raise problematic issues of the frequentist approach and to examine alternative analysis methods in empirical physiotherapy research; to illustrate interpretation problems in classical statistical empirical research results; analysis of objective and subjective alternatives.

Methods: Probability concepts are elucidated. Bayes statistics are presented and visualised with a data simulation. The objective and subjective part of the Bayes theorem are analysed.

Results: Probability statements on therapeutic effects, especially in small sample studies formally demand a certain subjectivity. P-values as well as confidence intervals should be interpreted with caution. P-values overestimate the evidence against the null hypothesis. Bayes factors are valid objective alternative to P-values. The frequentist approach can be considered as a special case of the more general Bayesian approach.

Conclusions: As measures of evidential strength against the null hypothesis and as alternative for p-values objective data-based Bayes factors are recommended. Minimum Bayes factors are ratios of data probabilities under the null hypothesis and under the maximum likelihood estimator. In parts P-values massively overestimate the evidence against the null hypothesis and have no scientific basis.

Schlüsselwörter

Bayes - Bayes-Faktor - Frequentismus - P-Wert - Konfidenzintervall

Key words

Bayes - Bayes factor - frequentist - P-value - confidence interval

Literatur

• 1 Ashby D. Bayesian statistics in medicine: A 25-year review.  Statistics in Medicine. 2006;  25 3589-3631
• 2 Bayes T. An Essay towards Solving a Problem in the Doctrine of Chances.  Biometrika. 1958;  45 296-315
• 3 Berger J O. Could Fisher, Jeffreys and Neyman have agreed on testing?.  Statistical Science. 2003;  18 1-12
• 4 Burton P R, Gurrin L C, Campbell M J. Clinical significance not statistical significance: a simple Bayesian alternative to p values.  Journal of Epidemiology and Community Health. 1998;  52 318-323
• 5 Carnap R. Logical foundations of probability. Chicago; University of Chicago Press 1950
• 6 Carnap R, Stegmüller W. Induktive Logik und Wahrscheinlichkeit. Wien; Springer 1959
• 7 De Finetti B. Theory of probability. A critical introductory treatment London; Wiley 1974
• 8 Fisher R A. Statistical methods for research workers. Edinburgh; Oliver & Boyd 1950 11th rev
• 9 Gigerenzer G. We need statistical thinking, not statistical rituals.  Behavioral and Brain Sciences. 1998;  21 199-201
• 10 Goodman S N. Toward evidence-based medical statistics. 1: The p-value fallacy.  Ann Intern Med. 1999;  130 995-1004
• 11 Goodman S N. Toward evidence-based medical statistics. 2: The Bayes factor.  Ann Intern Med. 1999;  130 1005-1013
• 12 Goodman S N. Of p-values and Bayes: a modest proposal.  Epidemiology. 2001;  12 295-297
• 13 Goodman S. Commentary: The p-value, devalued.  Int J Epidemiol. 2003;  32 699-702
• 14 Hubbard R, Bayarri M J. Confusion over measures of evidence (p’s) versus errors (a’s) in classical statistical testing.  American Statistician. 2003;  57 171-178
• 15 Hume D. Eine Untersuchung über den menschlichen Verstand. Hamburg; Meiner 1964
• 16 Jeffreys H. Theory of probability. Oxford; Clarendon Press 1961 3 rd ed
• 17 Jeffreys H. Fisher and Inverse Probability.  International Statistical Review. 1974;  42 1-3
• 18 Koblavi-Deme S, Maurice C, Yavo D. et al . Sensitivity and specificity of human immunodeficiency virus rapid serologic assays and testing algorithms in an antenatal clinic in Abidjan, Ivory Coast.  Journal of Clinical Microbiology. 2001;  39 1808-1812
• 19 Mises R. Wahrscheinlichkeit, Statistik und Wahrheit – Einführung in die neue Wahrscheinlichkeitslehre und ihre Anwendung. Wien; Springer 1936
• 20 Neyman J. On the problem of the most efficient tests of statistical hypotheses.  Philosophical Transactions of the Royal Society of London Series A Containing Papers of a Mathematical or Physical Character. 1933;  231 289-337
• 21 Perneger T V. Sifting the evidence – Likelihood ratios are alternatives to p values.  British Medical Journal. 2001;  322 1184-1185
• 22 Popper K R. The logic of scientific discovery. London; Hutchinson 1959
• 23 Rothman K, Greenland S. Modern epidemiology. New York; Lippincott-Raven 1998 2nd ed
• 24 Rozeboom W W. The fallacy of the null-hypothesis significance test.  Psychological Bulletin. 1960;  57 416-428
• 25 Sterne J AC, Smith G D. Sifting the evidence – what’s wrong with significance tests? (Repr. from Brit Med J 2001; 322: 226 – 231).  Physical Therapy. 2001;  81 1464-1469