Der »Adjustierte Jahresindex« (aJaX)

Hintergrund und Fragestellung: Lehrevaluationen sollen einen Anreiz schaffen, die akademische Lehrqualität zu verbessern. Die Lehre als Outputgröße bekommt zudem Bedeutung bei der leistungsorientierten Mittelvergabe. Prüfungsergebnisse des Instituts für medizinische und pharmazeutische Prüfungsfragen (IMPP) sind naheliegende Indikatoren einer vergleichenden Lehrevaluation. Ein Vergleich der Prüfungsergebnisse verschiedener Fakultäten steht jedoch vor dem Problem, unterschiedlich große Anteile der Studierenden in der Referenzgruppe berücksichtigen zu müssen. Diese Gruppe umfasst die in Mindestzeit plantreu antretenden Prüfungskandidaten, die signifikant bessere Ergebnisse erzielen als die übrigen Studierenden. Wir beschreiben einen Index für einen Vergleich der IMPP-Ergebnisse der Fakultäten unter Berücksichtigung ihrer verschiedenen Referenzgruppenanteile.

Methodik: Das IMPP stellt die Ergebnisse der bundeseinheitlichen schriftlichen Prüfungen zur Verfügung, disaggregiert nach Fakultäten, Art der Prüfung, Prüfungsfächern, Prüfungssemester und Zugehörigkeit zur Referenzgruppe. Aggregation der Halbjahresdaten zu Jahresdaten führt zur Gleichbehandlung der Fakultäten mit unterschiedlichen Zulassungsregelungen. Referenzgruppen-Neutralität wird erreicht, indem bei Berechnung eines adjustierten Jahresindex (aJaX) das Ergebnis der jeweiligen Medizinischen Fakultät auf das Bundesdurchschnittsergebnis projiziert wird, das man bei gleichem Referenzgruppenanteil erwarten würde (indirekte Standardisierung).

Ergebnisse: Die durch den aJaX definierten Erfolgsquoten der Fakultäten während der Jahre 1994 bis 2000 liegen mit wenigen Ausnahmen im Intervall zwischen 0,95 und 1,05. Dabei streuen die Ergebnisse der ärztlichen Vorprüfung am stärksten. Im Längsschnitt zeigen sich nur selten starke Schwankungen. Der häufig benutzte Referenz-Herbst-Index (ReX), der nur die Ergebnisse der Referenzgruppen in den Herbstprüfungen berücksichtigt, variiert im Längsschnitt i. a. stärker. Zeitliche Trends werden daher im aJaX deutlicher sichtbar. Die Fakultäten der neuen Bundesländer zeigen im betrachteten Zeitraum einen deutlichen Aufwärtstrend.

Schlussfolgerungen: Für einen Vergleich der Medizinischen Fakultäten in den Prüfungen des IMPP steht ein Index aJaX zur Verfügung, der nach Aggregation von Halbjahresdaten zu Jahresdaten unterschiedliche Referenzgruppen-Anteile in den Fakultäten berücksichtigt. Die geringe Streubreite des aJaX spricht für eine hohe Standardisierung in der medizinischen akademischen Lehre. Allerdings misst der aJaX nur einen Output des Lehrbetriebs. Zur Beurteilung der Lehrqualität im Sinne einer Input-/Outputrelation müssen auch Inputgrößen, wie etwa die Abiturnoten der Studienanfänger und Wechsler, berücksichtigt werden.

The »Adjusted Annual Index« (aJaX): A proposal for the use of the IMPP results in the evaluation of teaching at German medical faculties

Background and objective: Teaching evaluations should create an incentive to improve academic teaching quality. Teaching also gains importance in the performance-oriented allocation of resources. The results of the countrywide written examinations conducted by the Federal Institute for Medical and Pharmaceutical Examination Questions (IMPP) are obvious indicators for purposes of comparative evaluation. However, a comparison of medical faculties is confounded by heterogeneous proportions of students in the so called »reference group«. This group includes students who attend their examinations within the regular duration of study; these candidates achieve significantly better results than other students. This contribution describes a comparative educational achievement index (aJaX) adjusting for the varying proportions of students in the reference group.

Material and methods: The IMPP publishes the results of the examinations, disaggregated according to faculties, type of examination, examination subjects, examination semester and membership in the reference group. Aggregation of the semi-annual data to annual data leads to equal treatment of faculties with different admittance regulations. The proportion of students in the reference group is taken into account by calculating an adjusted annual index (aJaX) which compares the observed result of the respective medical faculty with the result one would expect if the average (federal) outcome would apply to a faculty with an equal proportion of students in the reference group (i. e. indirect standardisation).

Results: The success rates of the faculties, as defined by the adjusted annual index aJaX, lie with a few exceptions in the interval between 0.95 and 1.05 during the years 1994 to 2000. The results of the second year examinations demonstrate the largest variance. Over time strong deviations rarely occur. These stable results are not observed with the frequently used reference-autumn-index (ReX), which only takes into consideration the results of the reference groups in the autumn examinations. Temporal trends therefore become more clearly visible in the aJaX. The faculties of the new federal states show a clear upward trend in the analysed period.

Conclusions: The results of the medical faculties in the uniform examinations can be compared using an adjusted annual index aJaX. Advantages of the aJaX lie in its stability and neutrality, which are obtained by the annual aggregation of data and the reference group adjustment. The low degree of scatter emphasises a high standardisation in academic medical teaching. However, the aJaX measures only one output of teaching. For the assessment of teaching efficiency in the sense of an input/output relation, inputs must also be taken into account, such as the final school grades of the entering and transferring students.

Literatur

• 1 Brähler E, Wittig U, Beckert C. Der Studienerfolg an Medizinischen Fakultäten - wieviel Studienanfänger bestehen nach vier Semestern die ärztliche schriftliche Vorprüfung?.  Gesundheitswesen. 1998;  60 317-321
• 2 Körber-Weik M, Schmidt D. Leistungsorientierte Hochschulfinanzierung in Baden-Württemberg.  Jahrbücher für Nationalökonomie und Statistik. 2000;  220 715-730
• 3 Lehrbericht 1999. Medizinische Hochschule Hannover
• 4 Müller-Böling D. Die entfesselte Hochschule. Gütersloh,Verlag Bertelsmann Stiftung 2000
• 5 Robra B -P, Schmitt H. Ergebnisse der IMPP-Prüfungen sind keine geeignete Grundlage für eine jährliche leistungsbezogene Mittelzuweisung an deutschen Medizinischen Fakultäten.  Med Ausbild. 2001;  18 159-164
• 6 Schmitt H, Felder S. Keine Angst vor Äpfeln und Birnen! Die Effizienzfrontanalyse im Krankenhausvergleich.  Gesundh ökon Qual manag. 2001;  6 10-17
• 7 Stößel U, Brähler E, Gostomzyk J G. et al . Evaluation von Lehrveranstaltungen in den psychosozialen Fächern und der Allgemeinmedizin im Studiengang Humanmedizin - Ergebnisse einer bundesweiten Pilotuntersuchung im Sommersemester 1995.  Gesundheitswesen. 1996;  58 249-252
• 8 Theisel N, Stosch C, Koebke J. Evaluationsbemühungen an den Medizinischen Fakultäten in Deutschland - Ergbnisse einer Umfrage.  Med Ausbild. 2000;  17 18-21
• 9 Weber A, Strebl H, Weltle D, Lehnert G. Ausbildungs- und Berufserwartungen der Ärztegeneration von morgen.  Gesundheitswesen. 1996;  58 629-634
• 10 Weber A, Wacker A, Weltle D, Lehnert G. Stellenwert der Lehre an den deutschen medizinischen Universitäten.  Dtsch Med Wochenschr. 2000;  125 1560-1564

Korrespondenz