Digitale Gesundheitsinterventionen entwickeln, evaluieren und implementieren Teil II – Diskussionspapier der Arbeitsgruppe Digital Health des Deutschen Netzwerk Versorgungsforschung (DNVF)

Zusammenfassung

Methodische Herausforderungen bei der Evaluation digitaler Interventionen (DI) sind für die Versorgungsforschung allgegenwärtig. Die Arbeitsgruppe Digital Health des Deutschen Netzwerks Versorgungsforschung (DNVF) hat in einem zweiteiligen Diskussionspapier diese Herausforderungen dargestellt und diskutiert. Im ersten Teil wurden begriffliche Abgrenzungen sowie die Entwicklung und Evaluation von DI thematisiert. In diesem zweiten Teil wird auf Outcomes, das Reporting von Ergebnissen, die Synthese der Evidenz sowie die Implementierung von DI eingegangen. Lösungsansätze und zukünftige Forschungsbedarfe zur Adressierung dieser Herausforderungen werden diskutiert.

Abstract

The methodological challenges of evaluating digital interventions (DI) for health services research are omnipresent. The Digital Health Working Group of the German Network for Health Services Research (DNVF) presented and discussed these challenges in a two-part discussion paper. The first part addressed challenges in definition, development and evaluation of DI. In this paper, which represents the second part, the definition of outcomes, reporting of results, synthesis of evidence, and implementation are addressed as methodological challenges of DI. Potential solutions are presented and the need to address these challenges in future research are discussed.

Schlüsselwörter

Digital Health - digitale Interventionen - Evaluation - Implementierung - Versorgungsforschung - E-Health

Key words

digital health - digital interventions - evaluation - implementation - health services research - e-health

Publication History

Article published online:
29 November 2022

• Literatur

• 1 Kramer U, Borges U, Fischer F. et al. DNVF-Memorandum – Gesundheits- und Medizin-Apps (GuMAs). Das Gesundheitswesen 2019; 81: e154-e170 DOI: 10.1055/s-0038-1667451.
• 2 Vollmar H, Kramer U, Müller H. et al. Digitale Gesundheitsanwendungen – Rahmenbedingungen zur Nutzung in Versorgung, Strukturentwicklung und Wissenschaft – Positionspapier der AG Digital Health des DNVF. Das Gesundheitswesen 2017; 79: 1080-1092 DOI: 10.1055/s-0043-122233.
• 3 Kolasa K, Kozinski G. How to Value Digital Health Interventions? A Systematic Literature Review. Int J Environ Res Pu 2020; 17: 2119 DOI: 10.3390/ijerph17062119.
• 4 Michie S, Yardley L, West R. et al. Developing and Evaluating Digital Interventions to Promote Behavior Change in Health and Health Care: Recommendations Resulting From an International Workshop. J Med Internet Res 2017; 19: e232 DOI: 10.2196/jmir.7126.
• 5 Taylor KI, Staunton H, Lipsmeier F. et al. Outcome measures based on digital health technology sensor data: data- and patient-centric approaches. Npj Digital Medicine 2020; 3: 97 DOI: 10.1038/s41746-020-0305-8.
• 6 NICE. Evidence standards framework for digital health technologies. 2019. https://www.nice.org.uk/corporate/ecd7
• 7 Kowatsch T, Otto L, Harperink S. et al. A design and evaluation framework for digital health interventions. Information Technology 2020; 61: 253-263 DOI: 10.1515/itit-2019-0019.
• 8 Kidholm K, Ekeland AG, Jensen LK. et al. A Model For Assessment Of Telemedicine Applications: Mast. Int J Technol Assess 2012; 28: 44-51 DOI: 10.1017/s0266462311000638.
• 9 Hajesmaeel-Gohari S, Bahaadinbeigy K. The most used questionnaires for evaluating telemedicine services. Bmc Med Inform Decis 2021; 21: 36 DOI: 10.1186/s12911-021-01407-y.
• 10 Hastenteufel M, Renaud S. Software als Medizinprodukt, Entwicklung und Zulassung von Software in der Medizintechnik 2019; 7-40 DOI: 10.1007/978-3-658-26488-8_2.
• 11 BfArM. Das Fast-Track-Verfahren für digitale Gesundheitsanwendungen (DiGA) nach § 139e SGB VEin Leitfaden für Hersteller, Leistungserbringer und Anwender. 2020; Im Internet: https://www.bfarm.de/DE/Medizinprodukte/DVG/_node.html
• 12 Morisky DE, Green LW, Levine DM. Concurrent and Predictive Validity of a Self-reported Measure of Medication Adherence. Med Care 1986; 24: 67-74 DOI: 10.1097/00005650-198601000-00007.
• 13 Knapp A, Harst L, Hager S. et al. Use of Patient-Reported Outcome Measures and Patient-Reported Experience Measures Within Evaluation Studies of Telemedicine Applications: Systematic Review. J Med Internet Res 2021; 23: e30042 DOI: 10.2196/30042.
• 14 Timpel P, Harst L. Research Implications for Future Telemedicine Studies and Innovations in Diabetes and Hypertension – A Mixed Methods Study. Nutrients 2020; 12: 1340 DOI: 10.3390/nu12051340.
• 15 Scheibe M, Knapp A, Schmitt J. Die Bedeutung patientenrelevanter Struktur- und Verfahrensverbesserungen nach DiGAV im Rahmen bisheriger Evaluationsstudien zu telemedizinischen Anwendungen. Ergebnisse eines systematischen Reviews. 2021
• 16 Timpel P, Oswald S, Schwarz PEH. et al. Mapping the Evidence on the Effectiveness of Telemedicine Interventions in Diabetes, Dyslipidemia, and Hypertension: An Umbrella Review of Systematic Reviews and Meta-Analyses. J Med Internet Res 2020; 22: e16791 DOI: 10.2196/16791.
• 17 Deckert S, Sabatowski R, Schmitt J. et al. Klinische Studien zur multimodalen Schmerztherapie. Der Schmerz 2016; 30: 537-548 DOI: 10.1007/s00482-016-0123-8.
• 18 Williamson PR, Altman DG, Bagley H. et al. The COMET Handbook: version 1.0. Trials 2017; 18: 280 DOI: 10.1186/s13063-017-1978-4.
• 19 Schlieter H, Timpel P, Otto L. et al. Digitale Gesundheitsanwendungen – Forderungen für deren Entwicklung, Implementierung und begleitende Evaluation. Monit Versorgungsforschung 2021; 14: 76-80 DOI: 10.24945/mvf.02.21.1866-0533.2301.
• 20 Johansen M, Thomsen SF. Guidelines for Reporting Medical Research: A Critical Appraisal. Int Sch Res Notices 2016; 2016: 1346026 DOI: 10.1155/2016/1346026.
• 21 Hoffmann TC, Glasziou PP, Boutron I. et al. Better reporting of interventions: template for intervention description and replication (TIDieR) checklist and guide. Bmj 2014; 348: g1687-g1687 DOI: 10.1136/bmj.g1687.
• 22 Glasziou P, Altman DG, Bossuyt P. et al. Reducing waste from incomplete or unusable reports of biomedical research. Lancet 2014; 383: 267-276 DOI: 10.1016/s0140-6736(13)62228-x.
• 23 Agarwal S, Lefevre AE, Labrique AB. A Call to Digital Health Practitioners: New Guidelines Can Help Improve the Quality of Digital Health Evidence. Jmir Mhealth Uhealth 2017; 5: e136 DOI: 10.2196/mhealth.6640.
• 24 Warner MM, Kelly JT, Reidlinger DP. et al. Reporting of Telehealth-Delivered Dietary Intervention Trials in Chronic Disease: Systematic Review. J Med Internet Res 2017; 19: e410 DOI: 10.2196/jmir.8193.
• 25 Lalloo C, Shah U, Birnie KA. et al. Commercially Available Smartphone Apps to Support Postoperative Pain Self-Management: Scoping Review. Jmir Mhealth Uhealth 2017; 5: e162 DOI: 10.2196/mhealth.8230.
• 26 Lunde P, Nilsson BB, Bergland A. et al. The Effectiveness of Smartphone Apps for Lifestyle Improvement in Noncommunicable Diseases: Systematic Review and Meta-Analyses. J Med Internet Res 2018; 20: e162 DOI: 10.2196/jmir.9751.
• 27 Logullo P, MacCarthy A, Kirtley S. et al. Reporting guideline checklists are not quality evaluation forms: they are guidance for writing. Heal Sci Reports 2020; 3: e165 DOI: 10.1002/hsr2.165.
• 28 Shamseer L, Hopewell S, Altman DG. et al. Update on the endorsement of CONSORT by high impact factor journals: a survey of journal “Instructions to Authors” in 2014. Trials 2016; 17: 301 DOI: 10.1186/s13063-016-1408-z.
• 29 Eysenbach G, Group C-E. CONSORT-EHEALTH: Improving and Standardizing Evaluation Reports of Web-based and Mobile Health Interventions. J Med Internet Res 2011; 13: e126 DOI: 10.2196/jmir.1923.
• 30 Kernebeck S, Kramer U, Redaelli M. et al. Bewerten, aber wie? – Kriterien für die Evaluation und das Reporting von Studien zu Gesundheits- und Medizin-Apps. Monitor Versrogungsforschung. 2021
• 31 Al-Durra M, Nolan RP, Seto E. et al. Nonpublication Rates and Characteristics of Registered Randomized Clinical Trials in Digital Health: Cross-Sectional Analysis. J Med Internet Res 2018; 20: e11924 DOI: 10.2196/11924.
• 32 Arnold K, Scheibe M, Müller O. et al. Principles for the evaluation of telemedicine applications: Results of a systematic review and consensus process. Zeitschrift Für Evidenz Fortbildung Und Qual Im. Gesundheitswesen 2016; 117: 9-19 DOI: 10.1016/j.zefq.2016.04.011.
• 33 Joerg JM, Gero L, Matthias P. et al. GRADE-Leitlinien: 3. Bewertung der Qualität der Evidenz (Vertrauen in die Effektschätzer). Zeitschrift Für Evidenz Fortbildung Und Qual Im. Gesundheitswesen 2012; 106: 449 DOI: 10.1016/j.zefq.2012.06.013.
• 34 Cochrane Collaboration. Cochrane Handbook for Systematic Reviews of Interventions. 2011; Im Internet: https://training.cochrane.org/handbook
• 35 Vollmar HC, Santos S, Jong Ade. et al. Wie gelangt Wissen in die Versorgung?. Bundesgesundheitsblatt – Gesundheitsforschung – Gesundheitsschutz 2017; 60: 1139-1146 DOI: 10.1007/s00103-017-2612-z.
• 36 Mohr DC, Weingardt KR, Reddy M. et al. Three Problems With Current Digital Mental Health Research … and Three Things We Can Do About Them. Psychiatr Serv 2017; 68: 427-429 DOI: 10.1176/appi.ps.201600541.
• 37 Proctor EK, Landsverk J, Aarons G. et al. Implementation Research in Mental Health Services: an Emerging Science with Conceptual, Methodological, and Training challenges. Adm Policy Ment Hlth 2009; 36: 24-34 DOI: 10.1007/s10488-008-0197-4.
• 38 Craig P, Dieppe P, Macintyre S. et al. Developing and evaluating complex interventions: the new Medical Research Council guidance. Bmj 2008; 337: a1655 DOI: 10.1136/bmj.a1655.
• 39 Wirtz M, Bitzer E, Albert U-S. et al. DNVF-Memorandum III – Methoden für die Versorgungsforschung, Teil 4 – Konzept und Methoden der organisationsbezogenen Versorgungsforschung. Das Gesundheitswesen 2019; 81: e82-e91 DOI: 10.1055/a-0862-0588.
• 40 Sampson UKA, Chambers D, Riley W. et al. Implementation Research The Fourth Movement of the Unfinished Translation Research Symphony. Global Hear 2016; 11: 153-158 DOI: 10.1016/j.gheart.2016.01.008.
• 41 Greenhalgh T, Wherton J, Papoutsi C. et al. Beyond Adoption: A New Framework for Theorizing and Evaluating Nonadoption, Abandonment, and Challenges to the Scale-Up, Spread, and Sustainability of Health and Care Technologies. J Med Internet Res 2017; 19: e367 DOI: 10.2196/jmir.8775.