Zusammenfassung
Einleitung: Die Forderung evidenzbasierte Methoden in der Orthopädie in den klinischen Alltag
zu inkludieren wächst zusehends. Um diesem Anspruch gerecht werden zu können stellt
sich jedoch die Frage nach der klinischen Anwendbarkeit und der Qualität der orthopädischen
Evidenz. Studienziel: In einer Querschnittsstudie der rezenten orthopädischen Topliteratur soll die Qualität
der Evidenz und einzelner Einflussparameter darauf untersucht werden. Methode: Alle kontrollierten Studien welche 2006 in orthopädischen Journalen mit hohem Impact
Factor publiziert wurden werden mit einer Qualitätsanalyse basierend auf dem CONSORT-Statement
untersucht. Der Einfluss von Einzelparametern wie Beteiligung eines ausgewiesenen
statistischen Experten oder Forschungsgebiet werden in einer multivariaten Regression
untersucht. Ergebnisse: 126 Studien wurden von zwei verblindeten unabhängigen Untersuchern analysiert. Die
Gesamtqualität der Evidenz ist im mittleren bis oberen Bereich, wobei vor allem die
Berechnung der Power, die „intention-to-treat“ und die Verblindung häufig vernachlässigt
werden. Die Beteiligung eines Untersuchers mit statistischer Ausbildung ist signifikant
mit einer hohen Qualität assoziiert. Wir konnten keine Hinweise finden, dass die statistische
Signifikanz des Ergebnisses mit der Qualität der Evidenz zusammenhängt. Schlussfolgerung: Wir fanden für die rezenten orthopädischen kontrollierten Studien gute Werte auf
unserer Skala der Evidenzqualität. Die am häufigsten vernachlässigten Qualitätsparameter
waren Verblindung, „intention-to-treat“ und Power. Dies ist insoweit gefährlich, da
mangelnde Verblindung zu falsch-positiven Ergebnissen führen kann. Unsere Daten belegen,
dass die Unterstützung eines Statistikers oder besser eines Chirurgen mit wissenschaftsmethodologischer
Ausbildung die Qualität einer Studie und damit die Reliabilität ihrer Ergebnisse signifikant
verbessert.
Abstract
Introduction: The demand to routinely apply evidence-based methods in orthopedic surgery increases
steadily. In order to do so, however, the validity and reliability of the “evidence”
has to be scrutinized. Aim: The object of this study was to assess the quality of the most recent orthopedic
evidence and to determine variables that have an influence on quality. Method: All 2006 controlled trials from orthopedic journals with high impact factors were
analysed in a cross-sectional study. A score based on the CONSORT statement was used
to assess study quality. Selected variables were tested for their influence on the
quality of the study. Results: Two independent blinded observers reviewed 126 studies. The overall quality was moderate
to high. The most neglected parameters were power analysis, intention-to-treat, and
concealment. The participation of a methodologically trained investigator increases
study quality significantly. There was no difference in study quality irrespective
of whether or not there was statistically significant result. Conclusion: Using our quality score we were able show fairly good results for recent orthopedic
studies. The most frequently neglected issues in orthopedic research are blinding,
power analysis, and intention-to-treat. This may distort the results of clinical investigations
considerably and, especially, lack of concealment causes false-positive findings.
Our data show furthermore that participation of a methodologist significantly increases
quality of the study and consequently strengthens the reliability of results.
Schlüsselwörter
Evidenz - evidenzbasierte Medizin - Studieninterpretation
Key words
evidence - evidence‐based medicine - critical appraisal
Literatur
1
Bhandari M, Morrow F. et al .
Meta-analyses in orthopedic surgery.
JBJS.
2001;
83-A
15-24
2
Bhandari M, Richards R R. et al .
The quality of reporting of randomized trials in The Journal of Bone and Joint Surgery
from 1988 through 2000.
J Bone Joint Surg [Am].
2002;
84
388-396
3
Freedman K, Back S. et al .
Sample size and statistical power of randomised controlled trials in orthopaedics.
JBJS.
2001;
83-B
397-402
4
Garfield E.
The history and meaning of the journal impact factor.
JAMA.
2006;
295
90-93
5
Lochner H, Bhandari M. et al .
Type-II error rates (beta errors) of randomized trials in orthopaedic trauma.
JBJS.
2001;
83-A
1650-1655
6
Lüring C, Koester B. et al .
Gibt es Evidenz in der evidenzbasierten Medizin? Ein Vergleich gängiger Klassierungssysteme
und kritische Auseinandersetzung.
Z Orthop.
2006;
144
563-568
7
McCulloch P, Taylor I. et al .
Randomised trials in surgery: problems and possible solutions.
BMJ.
2002;
324
1448-1451
8
Moher D, Schulz K F. et al .
The CONSORT statement: revised recommendations for improving the quality of reports
of parallel-group randomised trials.
Lancet.
2001;
357
1191-1194
9
Mullner M, Matthews H. et al .
Reporting on statistical methods to adjust for confounding: a cross-sectional survey.
Ann Intern Med.
2002;
136
122-126
10
Poolman R W, Struijs P A. et al .
Does a “level I evidence” rating imply high quality of reporting in orthopaedic randomised
controlled trials?.
BMC Med Res Methodol.
2006;
6
44
11
Poolman R W, Struijs P A. et al .
Reporting of outcomes in orthopaedic randomized trials: does blinding of outcome assessors
matter?.
J Bone Joint Surg [Am].
2007;
89
550-558
Dr. Patrick Vavken
Universitätsklinik für Orthopädie Medizinische Universität Wien
Währinger Gürtel 18 - 20
1090 Wien
Österreich
Telefon: + 43/1/4 04 00-40 82
Fax: + 43/1/4 04 00-40 29
eMail: patrick.vavken@meduniwien.ac.at