Cost-Effectiveness of Mobile App-Guided Training in Extended Focused Assessment with Sonography for Trauma (eFAST): A Randomized Trial

Abstract

Purpose Ultrasound training is associated with a long learning curve and use of substantial faculty resources. Self-directed ultrasound training may decrease the need for faculty-led teaching. Mobile apps seem promising for use in self-directed ultrasound training, but no studies have examined the cost-effectiveness of mobile app-guided training versus traditional formats such as textbook-guided training. This study evaluated the cost-effectiveness of mobile app-guided versus textbook-guided ultrasound training.

Material and methods First-year residents (n = 38) with no previous ultrasound experience were randomized into mobile app-guided versus textbook-guided self-directed ultrasound training groups. Participants completed a transfer test involving four patient cases and a theoretical test on diagnostic accuracy. Two ultrasound experts assessed the residents’ performance using the Objective Structured Assessment of Ultrasound Skills (OSAUS) scale. The costs of developing mobile app and textbook material were calculated and used for the analysis of cost-effectiveness.

Results 34 participants completed the transfer test. There was no statistically significant difference in test performance or diagnostic accuracy between the mobile app-guided (mean-OSAUS 42.3 % [95 %CI38.5 – 46.0 %]) and textbook-guided groups (mean-OSAUS 45.3 % [95 %CI39.3 – 51.3 %]) (d.f. [1.33] = 0.45, p = 0.41). However, development costs differed greatly for each instructional format. Textbook-guided training was significantly more cost-effective than mobile app-guided training (Incremental Cost Effectiveness Ratio -861 967 [95 %CI-1071.7 to-3.2] USD/pct. point change in OSAUS score).

Conclusion Mobile app-guided ultrasound training is less cost-effective than textbook-guided self-directed training. This study underlines the need for careful evaluation of cost-effectiveness when introducing technological innovations for clinical skills training.

Zusammenfassung

Ziel Das Erlernen der Sonografie ist in der Regel ein langwieriger, mit erheblichen institutionellen Kosten verbundener Prozess. Individuelles Selbststudium vermag das Bedürfnis nach institutionellem Unterricht möglichweise verringern. Apps sind in diesem Zusammenhang eine vielversprechende Alternative, jedoch wurde bisher in keiner Studie die Kosteneffizienz von Apps, mit der Kosteneffizienz traditioneller Medien, sowie beispielsweise der von Lehrbüchern, untersucht. Das Ziel dieser Studie war die Auswertung, sowie das Vergleichen der Kosteneffizienz von App-basiertem und lehrbuchbasiertem Erlernen der Sonografie.

Material, Methoden Ärzte im Praktikum (n = 38) ohne vorherige sonografische Erfahrung wurden durch Randomisierung in eine App- und eine Lehrbuchgruppe eingeteilt. Die Teilnehmer absolvierten jeweils eine praktische und eine theoretische Prüfung. Der praktische Teil bestand aus vier patientenbasierten Fällen, während durch den theoretischen Teil die diagnostische Genauigkeit der Teilnehmer bewertet wurde. Zwei Sonografie-Experten beurteilten die Leistung der Teilnehmer durch Anwendung der "Objective Structured Assessment of Ultrasound Skills" (OASUS) Messskala. Kosten für die Entwicklung der App, sowie der Ausarbeitung des Lehrbuches wurden berechnet und die beiden Lernmedien wurden jeweils auf ihre Kosteneffizienz untersucht.

Ergebnisse 34 Teilnehmer absolvierten den Test. In Hinblick auf die diagnostische Genauigkeit, konnte kein statistisch signifikanter Unterschied zwischen der App-Gruppe (durchschnittliche OSAUS-Bewertung 42.3 % [95 %CI38.5 – 46.0 %]) und der Lehrbuch-Gruppe (durchschnittliche OSAUS-Bewertung 45.3 % [95 %CI39.3 – 51.3 %]) ausgemacht werden (d.f. [1, 33] = 0.45, p = 0.41). Bei den Entwicklungskosten der beiden Lernmedien wurden jedoch erhebliche Abweichungen aufgedeckt. Somit erwies sich das lehrbuchbasierte Erlernen der sonografischen Diagnostik, im Vergleich zum App-basierten Erlernen, als wesentlich kosteneffizienter.

Schlussfolgerung Die Anwendung der Sonografie lässt sich kosteneffizienter durch lehrbuchbasiertes, als durch App-basiertes Selbststudium erlernen. Bevor neue technologische Innovationen für das Erlernen praktischer Fähigkeiten implementiert werden, sollten diese sorgfältig auf ihre jeweilige Kosteneffizienz untersucht werden, welches durch die Ergebnisse dieser Studie verdeutlicht wird.

Key words

education - training - quality assurance - abdomen - chest

• References

• 1 Rozycki GS. Surgeon-Performed Ultrasound. Ann Surg 1998; 228: 16-28
• 2 Staren ED, Knudson MM, Rozycki GS. et al. An evaluation of the American College of Surgeons’ ultrasound education program. Am J Surg 2006; 191: 489-496
• 3 ATLS Subcommittee, American College of Surgeons’ Committee on Trauma, International ATLS working group. Advanced trauma life support (ATLS®): the ninth edition. J Trauma Acute Care Surg 2013; 74: 1363-1366
• 4 Todsen T, Jensen ML, Tolsgaard MG. et al. Transfer from point-of-care Ultrasonography training to diagnostic performance on patients--a randomized controlled trial. Am J Surg 2016; 211: 40-45
• 5 European Federation of Societies for Ultrasound in Medicine and Biology. Recommendations available at: http://www.efsumb.org/guidelines/guidelines01.asp Accessed August 19 2016.
• 6 Sclafani J, Tirrell TF, Franko OI. Mobile tablet use among academic physicians and trainees. J Med Syst 2013; 37: 9903
• 7 Payne KFB, Wharrad H, Watts K. Smartphone and medical related App use among medical students and junior doctors in the United Kingdom (UK): a regional survey. BMC Med Inform Decis Mak 2012; 12: 121
• 8 Masters K, Ellaway RH, Topps D. et al. Mobile technologies in medical education: AMEE Guide No. 105. Med Teach 2016; 38: 537-549
• 9 Foss KT, Subhi Y, Aagaard R. et al. Developing an emergency ultrasound app – a collaborative project between clinicians from different universities. Scand J Trauma Resusc Emerg Med 2015; 23: 47
• 10 Subhi Y, Foss KT, Henriksen M. et al. Development and use of web-based apps. Tidsskr Læring og Medier 2014; 7: 12
• 11 Mosa ASM, Yoo I, Sheets L. A systematic review of healthcare applications for smartphones. BMC Med Inform Decis Mak 2012; 12: 67
• 12 Ozdalga E, Ozdalga A, Ahuja N. The smartphone in medicine: a review of current and potential use among physicians and students. J Med Internet Res 2012; 14: e128
• 13 Gaglani SM, Topol EJ. iMedEd: the role of mobile health technologies in medical education. Acad Med 2014; 89: 1207-1209
• 14 Random.org, random number generator. Available at: http://www.random.org [accessed October 26, 2016]
• 15 Kirkpatrick a W, Sirois M, Laupland KB. et al. Hand-Held Thoracic Sonography for Detecting Post-Traumatic Pneumothoraces: The Extended Focused Assessment With Sonography For Trauma (EFAST). J Trauma Inj Infect Crit Care 2004; 57: 288-295
• 16 Tolsgaard MG, Todsen T, Sorensen JL. et al. International multispecialty consensus on how to evaluate ultrasound competence: a Delphi consensus survey. PLoS One 2013; 8: e57687
• 17 Tolsgaard MG, Ringsted C, Dreisler E. et al. Reliable and valid assessment of ultrasound operator competence in obstetrics and gynecology. Ultrasound Obstet Gynecol 2014; 43: 437-443
• 18 Todsen T, Tolsgaard MG, Olsen BH. et al. Reliable and valid assessment of point-of-care ultrasonography. Ann Surg 2015; 261: 309-315
• 19 Subhi Y, Todsen T, Konge L. An integrable, web-based solution for easy assessment of video-recorded performances. Adv Med Educ Pract 2014; 5: 103-105
• 20 Tolsgaard MG, Tabor A, Madsen ME. et al. Linking quality of care and training costs: cost-effectiveness in health professions education. Med Educ 2015; 49: 1263-1271
• 21 Johnson AT. The technology hype cycle. IEEE Pulse 2015; 6: 50
• 22 Zendejas B, Wang AT, Brydges R. et al. Cost: the missing outcome in simulation-based medical education research: a systematic review. Surgery Mosby, Inc 2013; 153: 160-176
• 23 Merriënboer van JJG, Sweller J. Cognitive load theory in health professional education: design principles and strategies. Med Educ 2010; 44: 85-93
• 24 Holtzman KZ, Swanson DB, Ouyang W. et al. Use of multimedia on the step 1 and step 2 clinical knowledge components of USMLE: a controlled trial of the impact on item characteristics. Acad Med 2009; 84: S90-S93
• 25 Chang TP, Schrager SM, Rake AJ. et al. The effect of multimedia replacing text in resident clinical decision-making assessment. Adv Health Sci Educ Theory Pract Springer Netherlands 2016 Epub ahead op print.
• 26 Maertens H, Madani A, Landry T. et al. Systematic review of e-learning for surgical training. Br J Surg 2016; 103: 1428-1437
• 27 Vleuten Van Der CP. The assessment of professional competence: Developments, research and practical implications. Adv Health Sci Educ Theory Pract 1996; 1: 41-67
• 28 Cantisani V, Dietrich CF, Badea R. et al. EFSUMB statement on medical student education in ultrasound (short version). . Ultraschall in Med  2016; 37: 100-102
• 29 Lund S, Boas IM, Bedesa T. et al. Association Between the Safe Delivery App and Quality of Care and Perinatal Survival in Ethiopia: A Randomized Clinical Trial. JAMA Pediatr 2016; 170: 765-771