Ultraschall Med 2016; 37(04): 386-392
DOI: 10.1055/s-0041-107976
Original Article
© Georg Thieme Verlag KG Stuttgart · New York

Collecting Validity Evidence for the Assessment of Mastery Learning in Simulation-Based Ultrasound Training

Erhebung der Validität für die Bewertung des „Mastery Learning“ im simulationsbasierten Ultraschalltraining
L. Dyre
1  Juliane Marie Centre, Copenhagen University Hospital Rigshospitalet, Copenhagen, Denmark
,
L. N. Nørgaard
2  Department of Gynaecology and Obstetrics, University of Copenhagen, Nordsjaelland Hospital, Hilleroed, Denmark
,
A. Tabor
1  Juliane Marie Centre, Copenhagen University Hospital Rigshospitalet, Copenhagen, Denmark
,
M. E. Madsen
1  Juliane Marie Centre, Copenhagen University Hospital Rigshospitalet, Copenhagen, Denmark
,
J. L. Sørensen
1  Juliane Marie Centre, Copenhagen University Hospital Rigshospitalet, Copenhagen, Denmark
,
C. Ringsted
3  Faculty of Health, University of Aarhus, Denmark
,
M. Tolsgaard
1  Juliane Marie Centre, Copenhagen University Hospital Rigshospitalet, Copenhagen, Denmark
› Institutsangaben
Weitere Informationen

Publikationsverlauf

27. März 2015

15. Juni 2015

Publikationsdatum:
01. März 2016 (online)

Abstract

Purpose: To collect validity evidence for the assessment of mastery learning on a virtual reality transabdominal ultrasound simulator.

Materials and Methods: We assessed the validity evidence using Messick’s framework for validity. The study included 20 novices and 9 ultrasound experts who all completed 10 obstetric training modules on a transabdominal ultrasound simulator that provided automated measures of performance for each completed module (i. e., simulator metrics). Differences in the performance of the two groups were used to identify simulator metrics with validity evidence for the assessment of mastery learning. The novices continued to practice until they had attained mastery learning level.

Results: One-third of the simulator metrics discriminated between the two groups. The median simulator scores from a maximum of 40 metrics were 17.5 percent (range 0 – 45.0 percent) for novices and 90.0 percent (range 85.0 – 97.5) for experts, p < 0.001. Internal consistency was high, with a Cronbach’s alpha value of 0.98. The test/retest reliability gave an intra-class correlation coefficient (ICC) of 0.62 for novices who reached the mastery learning level twice. Novices reached the mastery learning level within a median of 4 attempts (range 3 – 8) corresponding to a median of 252 minutes of simulator training (range 211 – 394 minutes).

Conclusion: This study found that validity evidence for the assessment of mastery learning in simulation-based ultrasound training can be demonstrated and that ultrasound novices can attain mastery learning levels with less than 5 hours of training. Only one-third of the standard simulator metrics discriminated between different levels of competence.

Zusammenfassung

Ziel: Erhebung der Validität für die Bewertung des „Mastery-Learning“ am transabdominellen Virtual-Reality-Ultraschallsimulator.

Material und Methoden: Wir bewerteten die Validität mit dem „Messick’s Framework of Validity“. Die Studie schloss 20 Anfänger und 9 Ultraschallexperten ein, die allesamt 10 geburtshilfliche Trainingsmodule an einem transabdominellen Ultraschallsimulator abgeschlossen hatten, welcher für jedes abgeschlossene Modul automatische Messungen der Ausführung (Simulatormetrik) lieferte. Die Unterschiede der Ausführung der beiden Gruppen wurden herangezogen, um die Simulatormetrik mit der Validität des „Mastery-Learning“ zu ermitteln. Die Anfänger setzten ihre praktischen Übungen bis zum Erreichen des Mastery-Learning-Levels fort.

Ergebnisse: Ein Drittel der Simulatormetrik unterschied zwischen den beiden Gruppen. Die medianen Simulator-Werte mit einem Maximum von 40 Metriken betrugen bei Anfängern 17,5 Prozent (Bereich 0 – 45,0 Prozent) und bei den Experten 90,0 Prozent (Bereich 85,0 – 97,5; p < 0,001). Die innere Konsistenz war hoch mit einem Cronbachs Alpha von 0,98. Die Test-Retest-Reliabilität ergab einen Intra-Klasse-Korrelationskoeffizienten (ICC) von 0,62 für Anfänger, die zweimal das Mastery-Learning-Level erreicht hatten. Die Neulinge erreichten das Mastery-Learning-Level mit einem Median von 4 Versuchen (Bereich 3 – 8), was einer medianen Dauer von 252 Minuten Simulatortraining (Bereich 211 – 394 Minuten) entspricht.

Schlussfolgerung: Diese Studie zeigte die Validität bei der Bewertung des Mastery-Learning im simulationsbasiertem Ultraschalltraining und dass Ultraschall-Anfänger mit weniger als 5 Stunden Übung das Mastery-Learning-Level erreichen können. Nur ein Drittel der Standard-Simulatormetriken unterschied zwischen den verschiedenen Kompetenzebenen.