Formative und summative Evaluation eines Peer-Schulungsprogramms für das trägerübergreifende Qualitätssicherungsverfahren der sozialmedizinischen Begutachtung bei Erwerbsminderungsrenten

Hintergrund: Ausgehend von den Empfehlungen der Kommission zur Weiterentwicklung der Sozialmedizin in der gesetzlichen Rentenversicherung wurde für die sozialmedizinische Begutachtung bei Erwerbsminderungsrenten ein trägerübergreifendes Qualitätssicherungskonzept, dem als Methode ein Peer Review-Verfahren zu Grunde liegt, entwickelt und evaluiert. Im Rahmen des Peer Reviews beurteilen erfahrene Sozialmediziner der Rentenversicherungsträger anonymisierte sozialmedizinische Gutachten. Das Peer Review basiert auf einem konsensuell abgestimmten Prüffragenkatalog mit spezifisch definierten Bewertungskriterien [1]. Die methodische Überprüfung zeigte, dass die betrachteten Indikatoren zur Konkordanz im Kontext vorhandener Forschungsdaten und Studien vergleichbare Reliabilitätswerte erreichen [2]. Um bei der Implementierung des Verfahrens auch einheitliche Beurteilungsmaßstäbe der Peers zu gewährleisten war es Ziel des Forschungsprojekts diese durch die Entwicklung und Evaluation eines standardisierten Peer-Schulungscurriculums herzustellen.

Methodik: Die Konzeption des Schulungscurriculums erfolgte mittels Literaturrecherche, Rückmeldungen aus der Pilotierung sowie sozialmedizinischer Expertise. Die Schulung wurde in zwei Schulungsworkshops mit insgesamt 38 Sozialmedizinern aller 16 Rentenversicherungsträger durchgeführt und evaluiert. Für die formative Evaluation des Peer-Schulungsprogramms wurde in Anlehnung an etablierte Evaluationsinstrumente, wie sie z.B. im Bereich der Patientenschulung Anwendung finden, ein selbstkonstruiertes Bewertungsinstrument eingesetzt. Unter anderem wurden die Sicherheit im Umgang mit den einzelnen Bereichen des Prüffragenkatalogs und die Zufriedenheit mit der Schulung per Rating erhoben. Die summative Evaluation zur Prüfung der Effektivität der Schulung wurde anhand von drei sozialmedizinische Gutachten bestimmt, die im Anschluss an den Schulungsworkshop beurteilt wurden. Mittels im Vorfeld konsentierter Referenzgutachten wurde in der methodischen Überprüfung die Konkordanz (Kendalls W) der Peers zum Modalwert sowie die Konkordanz zum konsentierten Expertenurteil gegenübergestellt.

Ergebnisse: Die im Ergebnis drei-tägige Peer-Schulung wurde in ein Basismodul mit vier Lernzielen sowie ein Anwendermodul mit fünf Lernzielen unterteilt. Das didaktische Vorgehen richtet sich an den übergeordneten Lernzielen der zwei Module aus, die in mehrere konkrete und überprüfbare Einzellernziele überführt und mit einer geeigneten Vermittlungsmethode hinterlegt wurden [3]. Während sich das Basismodul an Sozialmediziner richtet, die die Peer-Funktion neu übernehmen und im Umgang mit dem Verfahren geschult werden müssen, erfolgt im Anwendermodul die kleingruppenorientierte konkrete Gutachtenarbeit mit Sozialmedizinern, die das Basismodul durchlaufen haben oder bereits eine Peer-Funktion ausüben. Die Ergebnisse der formativen Evaluation zeigen, dass sich die Peers (n = 36) in der Selbsteinschätzung zum Umgang mit den Prüffragen des Manuals als sicher einschätzen (70% < x < 84%) und die Schulung auf einer 4-stufigen Skala insgesamt als gelungen (M= 1,6) und empfehlenswert (M= 1,6) beurteilt wird. Die methodische Überprüfung in der summativen Evaluation zeigte, dass bei allen drei beurteilten Gutachten die Schulungsteilnehmer im Vergleich zum externen Expertenkonsens eine höhere interne Konsistenz bei der Bearbeitung des Prüffragenkatalogs aufwiesen (0,53 > 0,41).

Diskussion: Das Schulungscurriculum weist eine hohe Akzeptanz und eine gute Durchführbarkeit auf. Anhand der akzeptablen internen Kongruenz der Beurteilungsmaßstäbe der Peers lässt sich ableiten, dass die Schulung einheitliche Bewertungsmaßstäbe herstellt und sichert. Es ist davon auszugehen, dass die direkt nach der Schulung erhobenen Messwerte bei regelmäßiger Peer-Tätigkeit weiter ansteigen. Besonders positiv werden der gemeinsame Austausch zur Kalibrierung der Bewertungsmaßstäbe sowie die gemeinsame Arbeit mit konkreten Beispielgutachten wahrgenommen. Es ist daher empfehlenswert, das Anwendermodul regelmäßig als eigenständige Fortbildungsmaßnahme für aktive Peers anzubieten, um dadurch den Peer-Bias zu minimieren und langfristig übereinstimmende Bewertungsmaßstäbe zu gewährleisten.