Die Bewertung des Rehabilitationsprozesses mittels des Peer-Review-Verfahrens: Methodische Prüfung und Ergebnisse der Erhebungsrunde 2000/2001 in den somatischen Indikationsbereichen

Zusammenfassung

Berichtet wird von den Ergebnissen des Peer-Review-Verfahrens zur Bewertung des Rehabilitationsprozesses im Qualitätssicherungsprogramm der gesetzlichen Rentenversicherung. Die Daten beziehen sich auf die Erhebungsrunde 2000/2001 in den somatischen Indikationsbereichen. Die Gutachterübereinstimmung bezüglich des Urteils eines einzelnen Peers fällt nur in der Orthopädie zufrieden stellend aus. Da in dem Qualitätssicherungsprogramm Kliniken jedoch in der Regel auf der Basis des Mittelwerts über 20 Raterurteile bewertet werden, wird zusätzlich die Reliabilität dieses aggregierten Maßes abgeschätzt. Diesbezüglich ist für alle Indikationen von zumindest zufrieden stellenden Reliabilitätswerten auszugehen. Die Ergebnisse in den 561 am Programm beteiligten Kliniken zeigen, dass insbesondere diejenigen Prozessmerkmale von den Peers als verbesserungsbedürftig angesehen wurden, die eine Dokumentation der Einschätzungen und subjektiven Konzepte des Patienten erfordern (z. B. Erfassung des subjektiven Krankheitsverständnisses). Während sich zwischen den Erhebungsrunden 1998 und 1999 die Bewertungen der Berichte der Kliniken statistisch signifikant verbessert haben, ist zwischen 1999 und 2000/2001 über alle Kliniken hinweg keine weitere Verbesserung erkennbar. Allerdings haben die 1999 schlecht bewerteten Kliniken (unterstes Quartil der Verteilung) auch zwischen 1999 und 2000/2001 eine positive Entwicklung vollzogen. Im Diskussionsteil werden Ursachen für diesen Trend sowie Möglichkeiten zur Verbesserung der Interrater-Reliabilität des Peer-Review-Verfahrens erörtert.

Abstract

This paper reports the results of a peer review system that was implemented in the context of the quality assurance programme of the statutory German Pension Insurance scheme. The data reported refer to the 2000/2001 data collection period for medical rehabilitation in the somatic indications. Examination of inter-rater reliability for judgements of individual raters shows satisfactory results only in orthopaedics. In the quality assurance programme, rehabilitation centres are usually evaluated by the mean of 20 rater judgements. The reliability of this aggregated measure is satisfactory in all indications. The results of 561 rehabilitation centres show that those quality criteria are in particular need of improvement that refer to subjective concepts of patients (e. g., subjective theories of illness). Between peer review procedures in 1998 and 1999, the quality scores of rehabilitation centres had improved whereas between 1999 and 2000/2001, no further improvement can be shown. However, those rehabilita-tion centres with a low quality score in 1999 (lowest quartile of the distribution) underwent a positive development between 1999 and 2000/2001. Reasons for this trend and possibilities for improving interrater reliability of the peer review process as an element of the quality assurance programme of the German Pension Insurance scheme are discussed.

Schlüsselwörter

Peer Review - Qualitätssicherung - Rehabilitation

Key words

Peer review - quality management - rehabilitation

Literatur

• 1 Moseley A, Rotem W. Establishing standards for the provision of brain injury services.  Brain Injury. 1995;  9 355-364
• 2 Sheahan S L, Simpson C, Rayens M K. Nurse practitioner peer review: process and evaluation.  Journal of the American Academy of Nurse Practitioners. 2001;  13 140-145
• 3 Saturno P J, Palmer R H, Gascon J J. Physician attitudes, self-estimated performance and actual compliance with locally peer-defined quality evaluation criteria.  International Journal for Quality in Health Care. 1999;  11 487-496
• 4 Wakefield D S, Helms C M. The role of peer review in a health care organization driven by TQM/CQI.  The Joint Commission Journal of Quality Improvement. 1995;  21 227-231
• 5 Shaw C D. External quality mechanisms for health care: Summary of the ExPeRT project on visitation, accreditation, EFQM and ISO assessment in European Union countries.  International Journal for Quality in Health Care. 2000;  12 169-175
• 6 Norton P G, Dunn E V, Beckett R, Faulkner D. Long-term follow-up in the peer assessment program for nonspecialist physicians in Ontario, Canada.  The Joint Commission Journal of Quality Improvement. 1998;  24 334-341
• 7 Brennan T A, Leape L L, Laird N M, Hebert L, Localio A R, Lawthers A G, Newhouse J P, Weiler P C, Hiatt H H. Incidence of adverse events and negligence in hospitalized patients. Results of the Harvard Medical Practice Study I.  New England Journal of Medicine. 1991;  324 370-376
• 8 Verband Deutscher Rentenversicherungsträger.  Das Qualitätssicherungsprogramm der gesetzlichen Rentenversicherung in der medizinischen Rehabilitation. Instrumente und Verfahren. DRV-Schriften 2000 (18)
• 9 Egner U, Gerwinn H, Schliehe F. Das bundesweite Reha-Qualitätssicherungsprogramm der gesetzlichen Rentenversicherung.  Zeitschrift für Ärztliche Fortbildung und Qualitätssicherung. 2002;  96 4-9
• 10 Jäckel W H, Maier-Riehle B, Protz W, Gerdes N. Peer-Review: Ein Verfahren zur Analyse der Prozessqualität stationärer Rehabilitationsmaßnahmen.  Die Rehabilitation. 1997;  36 224-232
• 11 Maier-Riehle B, Gerdes N, Protz W, Jäckel W H. Übereinstimmung und Unterschiede zwischen Beurteilern bei einem Peer-Review-Verfahren.  Gesundheitswesen. 1998;  60 290-296
• 12 Normand S-L T, Mc Neil B J, Peterson L E, Palmer R H. Eliciting expert opinion using the Delphi technique: identifying performance indicators for cardiovascular disease.  International Journal for Quality in Health Care. 1998;  10 247-260
• 13 Buetow S A, Coster G D. New Zealand and United Kingdom experiences with the RAND modified Delphi approach to producing angina and heart failure criteria for quality assessment in general practice.  Quality in Health Care. 2000;  9 222-231
• 14 Farin E, Jäckel W H. Qualitätssicherung in der medizinischen Rehabilitation.  Die Betriebskrankenkasse. 2001;  (8) 376-381
• 15 Vogel H, Neuderth S, Schieweck R, Gerlich C, Weber-Falkensammer H, Mehrhoff F. Qualitätssicherung in den Kliniken zur Berufsgenossenschaftlichen stationären Weiterbehandlung der gesetzlichen Unfallversicherung [Abstract]. In: Verband Deutscher Rentenversicherungsträger (Hrsg). Tagungsband, „Wissenstransfer zwischen Forschung und Praxis”, 10. Rehabilitationswissenschaftliches Kolloquium, 12. bis 14. März 2001 in Halle/Saale.  DRV-Schriften. 2001;  (26) 48-49
• 16 Kendall M G, Smith B B. The problem of m rankings.  Annals of Mathematical Statistics. 1939;  10 275-287
• 17 Asendorpf J, Wallbott H G. Maße der Beobachterübereinstimmung: Ein systematischer Vergleich.  Zeitschrift für Sozialpsychologie. 1979;  10 243-252
• 18 Finn R H. A note on estimating the reliability of categorical data.  Educational and Psychological Measurement. 1970;  30 71-76
• 19 Wirtz M, Caspar F. Beurteilerübereinstimmung und Beurteilerreliabilität. Göttingen; Hogrefe 2002
• 20 Lienert G A, Raatz U. Testaufbau und Testanalyse. Weinheim; Psychologie Verlags Union 1998
• 21 Campbell J L, Kenny D A. A primer on regression artifacts. New York; Guilford Press 1999
• 22 Goldman R L. The reliability of peer assessments: A meta-analysis.  Evaluation & The Health Professions. 1994;  17 3-21
• 23 Hofer T P, Bernstein S J, De Monner S, Hayward R A. Discussion between reviewers does not improve reliability of peer review of hospital quality.  Medical Care. 2000;  38 152-161
• 24 Weingart S N, Mukamal K, Davis R B, Davies D T, Palmer R H, Cahalane M, Hamel M B, Phillips R S, Iezzoni L I. Physician-reviewers’ perceptions and judgements about quality of care.  International Journal for Quality in Health Care. 2001;  13 357-365
• 25 Neale G, Woloshynowych M. Retrospective case record review: a blunt instrument that needs sharpening.  Quality and Safety in Health Care. 2002;  12 2-3
• 26 Brook R H, Chassin M R, Fink A, Solomon D H, Kosecoff J, Park R E. A method for the detailed assessment of the appropriateness of medical technologies.  International Journal of Technology Assessment in Health Care. 1986;  2 53-63
• 27 Levine R D, Sugarman M, Schiller W, Weinshel S, Lehning E J, Lagasse R S. The effect of group discussion on interrater reliability of structured peer review.  Anesthesiology. 1998;  89 507-515

1 Das Projekt wurde vom Verband Deutscher Rentenversicherungsträger und der Bundesversicherungsanstalt für Angestellte finanziert.

2 Für Diskussionen zur Analyse der Interrater-Reliabilität des Peer-Review-Verfahrens danken die Autoren/Innen Herrn Dr. M. Wirtz, Universität Freiburg, Abt. Rehabilitationspsychologie.

3 Eine Abweichung von diesem Schema ergibt sich bei Indikationen, für die generell weniger als 20 Peers zur Verfügung stehen. Dies ist bezüglich der hier präsentierten Daten bei Dermatologie, Onkologie/Urologie und Onkologie/Verdauung der Fall.

4 In die diesbezügliche Analyse wurden alle Kliniken mit zumindest 16 bewerteten Berichten aufgenommen. Für Kliniken mit weniger als 20 bewerteten Berichten wurden entsprechend kleinere Hälften gebildet.

5 Die in den Abbildungen nicht dargestellte Rate der fehlenden Werte liegt üblicherweise um 2 % und ist damit akzeptabel. Eine Ausnahme stellt die Gynäkologie mit 22 % fehlenden Werten dar. Detailanalysen zeigen, dass dieses Problem auf einen einzelnen Peer zurückzuführen ist, der vermutlich die Instruktion falsch verstanden hat.

6 Um den Einfluss der Regressionseffekte nach dem hier beschriebenen Verfahren abschätzen zu können, wurde das arithmetische Mittel der Bewertungen nach Mängelkategorien innerhalb einer Klinik bestimmt. Diese Operation ist streng genommen bei den nur ordinalskalierten Mängelkategorien nicht erlaubt. Da die Ergebnisse jedoch nur zur Orientierung dienen, scheint uns die Analyse bei vorsichtiger Interpretation vertretbar. Mögliche Alternativen (z. B. die Verwendung des Medians) wären mit anderweitigen Nachteilen verbunden. Die Verwendung der intervallskalierten Qualitätspunkte war nicht möglich, da diese 1999 noch nicht routinemäßig eingesetzt wurden.