Zur Frage der klinischen Signifikanz in deutschen rehabilitationswissenschaftlichen Interventionsstudien – eine Bestandsaufnahme der gängigen Praxis

Zusammenfassung

Ziel Es wird untersucht, ob und wie „klinische Signifikanz“ in deutschen rehabilitationswissenschaftlichen Interventionsstudien behandelt wird.

Methode Analyse von 64 zwischen 2012 und 2016 publizierten Studien, die Daten zu mindestens 2 Messzeitpunkten berichteten und an denen deutsche Wissenschaftler und Rehaeinrichtungen beteiligt waren.

Ergebnisse In 28% der Studien wird klinische Signifikanz erwähnt, 19% definieren, was sie darunter verstehen, 13% begründen die Definition. 70% berichten Maßzahlen, die etwas über klinische Signifikanz aussagen könnten, aber nur 28% nutzen die Zahlen tatsächlich dafür. Die am häufigsten verwendeten Statistiken sind Effektstärkemaße (45%). Sie werden ohne weitere Reflexion schematisch im Sinne der Cohen‘schen Kategorien interpretiert.

Fazit Die klinische Relevanz der Befunde zu bestimmen und zu diskutieren, findet sich in der Mehrzahl der Studien nur in Ansätzen oder gar nicht.

Abstract

Objective It is investigated whether and how the issue of clinical significance is treated in German rehabilitation trials.

Methods Review of 64 articles published between 2012 and 2016, which report data on at least 2 measuring times and involve German scientists and rehabilitation facilities.

Results Clinical significance is mentioned in 28% of the articles, defined by 19%, and 13% provide justification for the definition. Statistics suitable for determining clinical significance are reported by 70% but no more than 28% actually use these statistics for this purpose. The most commonly used statistics are measures of effect size (45%). They are interpreted schematically according to Cohen’s categories without further reflection.

Conclusion Determining and discussing the clinical significance of results is recognizable in the majority of cases only to some extent or non-existing.

Schlüsselwörter:

Klinische Signifikanz - klinische Relevanz - Effektstärke - Konfidenzintervall - minimale klinisch bedeutsame Differenz

Key words

clinical significance - effect size - confidence interval - minimal clinically important difference - MCID

• Literatur

• 1 Ogles BM, Lunnen KM, Bonesteel K. Clinical significance: History, application, and current practice. Clin Psychol Rev 2001; 21: 421-446
• 2 Faller H. Signifikanz, Effektstärke und Konfidenzintervall. Rehabilitation 2004; 43: 174-178
• 3 Leonhart R. Effektgrößenberechnung bei Interventionsstudien. Rehabilitation 2004; 43: 241-246
• 4 Jacobson NS, Truax P. Clinical significance: A statistical approach to defining meaningful change in psychotherapy research. J Consult Clin Psychol 1991; 59: 12
• 5 Gigerenzer G. Mindless statistics. J Socio Econ 2004; 33: 587-606
• 6 Nuzzo R. Statistical errors: P values, the “gold standard” of statistical validity, are not as reliable as many scientists assume. Nature 2014; 506: 150-153
• 7 Revicki D, Hays RD, Cella D. et al. Recommended methods for determining responsiveness and minimally important differences for patient-reported outcomes. J Clin Epidemiol 2008; 61: 102-109
• 8 King MT. A point of minimal important difference (MID): a critique of terminology and methods. Exp Rev Pharmacoecon Outcomes Res 2011; 11: 171-184
• 9 Windeler J, Thomas S. Relevanz von Effektstärken. Z Evid Fortbild Qual Gesundh. wesen (ZEFQ) 2010; 104: 244-248
• 10 Chan KB, Man-Son-Hing M, Molnar FJ. et al. How well is the clinical importance of study results reported? An assessment of randomized controlled trials. Can Med Assoc J 2001; 165: 1197-1202
• 11 Hoffmann TC, Thomas ST, Shin PNH. et al. Cross-sectional analysis of the reporting of continuous outcome measures and clinical significance of results in randomized trials of non-pharmacological interventions. Trials 2014; 15: 362
• 12 Molnar FJ, Man-Son-Hing M, Fergusson D. Systematic review of measures of clinical significance employed in randomized controlled trials of drugs for dementia. J Am Geriatr Soc 2009; 57: 536-546
• 13 Glujovsky D, Sueldo CE, Borghi C. et al. Misleading reporting and interpretation of results in major infertility journals. Fertil Steril 2016; 105: 1301-1306
• 14 Cohen J. Statistical power analysis for the behavior science. 2. Aufl. Hillsdale, New Jersey: Lawrence Erlbaum Associates; 1988
• 15 Norman GR, Sloan JA, Wyrwich KW. Interpretation of changes in health-related quality of life: the remarkable universality of half a standard deviation. Med Care 2003; 41: 582-592
• 16 Schwartz D, Lellouch J. Explanatory and pragmatic attitudes in therapeutical trials. J Clin Epidemiol 1967; 20: 637-648
• 17 McGraw KO, Wong S. A common language effect size statistic. Psychol Bull 1992; 111: 361-365
• 18 Inman HF, Bradley Jr EL. The overlapping coefficient as a measure of agreement between probability distributions and point estimation of the overlap of two normal densities. Commun Stat Theory 1989; 18: 3851-3874
• 19 Gerdes N, Farin E. Eingangsbelastungen, kurzfristige Reha-Effekte und Prädiktoren des Entlassungsstatus bei 1803 Patientinnen mit Fibromyalgie-Syndrom. Rehabilitation (Stuttg) 2016; 55: 305–311
• 20 Höder J, Mittag O, Arlt AC. et al. Risiken und Nebenwirkungen von medizinischer Rehabilitation: Annäherungen an ein wenig beachtetes Thema. Z Allg Med 2007; 83: 153-158
• 21 Peacock LL, Sauzet O, Ewing SM. et al. Dichotomising continuous data while retaining statistical power using a distributional approach. Statist Med 2012; 31: 3089-3103
• 22 Höder J, Eisemann N, Hüppe A. Über- und Unterschätzung von Erfolgsquoten. Gesundheitswesen 2015; 77: 426-431
• 23 Göbber J, Petermann F, Kobelt A. Evaluation einer kulturoffenen prästationären Informationsveranstaltung vor psychosomatischer Rehabilitation. Phys Med Rehab Kuror 2012; 22: 329–335
• 24 Loudovici-Krug D, Smolenski U, Best N. Relevante Fachzeitschriften im Bereich der Physikalischen Medizin und Rehabilitation sowie verwandter Fachbereiche – Ein Update. Phys Med Rehab Kuror 2014; 24: 92-101