Digitale Gesundheitsinterventionen entwickeln, evaluieren und
                    implementieren Teil II – Diskussionspapier der Arbeitsgruppe Digital
                    Health des Deutschen Netzwerk Versorgungsforschung (DNVF)

Sven Kernebeck; Madlen Scheibe; Monika Sinha; Florian Fischer; Andreas Knapp; Patrick Timpel; Lorenz Harst; Ulrich Reininghaus; Horst Christian Vollmar

doi:10.1055/a-1915-4371

Das Gesundheitswesen, Inhaltsverzeichnis

Gesundheitswesen 2023; 85(01): 65-70
DOI: 10.1055/a-1915-4371

Zur Diskussion

Digitale Gesundheitsinterventionen entwickeln, evaluieren und implementieren Teil II – Diskussionspapier der Arbeitsgruppe Digital Health des Deutschen Netzwerk Versorgungsforschung (DNVF)

Developing, Evaluating and Implementing Digital Health Interventions Part II – Discussion Paper of the Digital Health Working Group of the German Network for Health Services Research (DNVF)

Authors

Sven Kernebeck

¹Lehrstuhl für Didaktik und Bildungsforschung im Gesundheitswesen – Fakultät für Gesundheit, Universität Witten Herdecke, Witten, Germany
Madlen Scheibe

²Zentrum für Evidenzbasierte Gesundheitsversorgung, Universitätsklinikum und Medizinische Fakultät Carl Gustav Carus an der TU Dresden, Dresden, Germany
Monika Sinha

³Mitglied AG Bioinformatik, Charité Universitätsmedizin Berlin, Berlin, Germany
Florian Fischer

⁴Bayerisches Forschungszentrum Pflege Digital, Hochschule Kempten, Kempten, Germany

⁵Institut für Public Health, Charité Universitätsmedizin Berlin, Berlin
Andreas Knapp

⁶Mint Medical GmbH, Heidelberg
Patrick Timpel

²Zentrum für Evidenzbasierte Gesundheitsversorgung, Universitätsklinikum und Medizinische Fakultät Carl Gustav Carus an der TU Dresden, Dresden, Germany

⁷WIG2 GmbH, Wissenschaftliches Institut für Gesundheitsökonomie und Gesundheitssystemforschung, Leipzig, Germany
Lorenz Harst

²Zentrum für Evidenzbasierte Gesundheitsversorgung, Universitätsklinikum und Medizinische Fakultät Carl Gustav Carus an der TU Dresden, Dresden, Germany
Ulrich Reininghaus

⁸Department of Public Mental Health, Central Institute of Mental Health, University of Heidelberg, Manheim, Germany

⁹ESRC Centre for Society and Mental Health, King’s College London, London, United Kingdom of Great Britain and Northern Ireland

¹⁰Centre for Epidemiology and Public Health, Health Service and Population Research Department, Institute of Psychiatry, Psychology & Neuroscience, King’s College London, London, Germany
Horst Christian Vollmar

¹¹Abteilung für Allgemeinmedizin (AM RUB), Medizinische Fakultät, Ruhr-Universität Bochum, Bochum, Germany

Abstract

Zusammenfassung

Methodische Herausforderungen bei der Evaluation digitaler Interventionen (DI) sind für die Versorgungsforschung allgegenwärtig. Die Arbeitsgruppe Digital Health des Deutschen Netzwerks Versorgungsforschung (DNVF) hat in einem zweiteiligen Diskussionspapier diese Herausforderungen dargestellt und diskutiert. Im ersten Teil wurden begriffliche Abgrenzungen sowie die Entwicklung und Evaluation von DI thematisiert. In diesem zweiten Teil wird auf Outcomes, das Reporting von Ergebnissen, die Synthese der Evidenz sowie die Implementierung von DI eingegangen. Lösungsansätze und zukünftige Forschungsbedarfe zur Adressierung dieser Herausforderungen werden diskutiert.

Abstract

The methodological challenges of evaluating digital interventions (DI) for health services research are omnipresent. The Digital Health Working Group of the German Network for Health Services Research (DNVF) presented and discussed these challenges in a two-part discussion paper. The first part addressed challenges in definition, development and evaluation of DI. In this paper, which represents the second part, the definition of outcomes, reporting of results, synthesis of evidence, and implementation are addressed as methodological challenges of DI. Potential solutions are presented and the need to address these challenges in future research are discussed.

Schlüsselwörter

Digital Health - digitale Interventionen - Evaluation - Implementierung - Versorgungsforschung - E-Health

Key words

digital health - digital interventions - evaluation - implementation - health services research - e-health

Volltext

Referenzen

Literatur
1 Kramer U, Borges U, Fischer F. et al. DNVF-Memorandum – Gesundheits- und Medizin-Apps (GuMAs). Das Gesundheitswesen 2019; 81: e154-e170
2 Vollmar H, Kramer U, Müller H. et al. Digitale Gesundheitsanwendungen – Rahmenbedingungen zur Nutzung in Versorgung, Strukturentwicklung und Wissenschaft – Positionspapier der AG Digital Health des DNVF. Das Gesundheitswesen 2017; 79: 1080-1092
3 Kolasa K, Kozinski G. How to Value Digital Health Interventions? A Systematic Literature Review. Int J Environ Res Pu 2020; 17: 2119
4 Michie S, Yardley L, West R. et al. Developing and Evaluating Digital Interventions to Promote Behavior Change in Health and Health Care: Recommendations Resulting From an International Workshop. J Med Internet Res 2017; 19: e232
5 Taylor KI, Staunton H, Lipsmeier F. et al. Outcome measures based on digital health technology sensor data: data- and patient-centric approaches. Npj Digital Medicine 2020; 3: 97
6 NICE. Evidence standards framework for digital health technologies. 2019. https://www.nice.org.uk/corporate/ecd7
7 Kowatsch T, Otto L, Harperink S. et al. A design and evaluation framework for digital health interventions. Information Technology 2020; 61: 253-263
8 Kidholm K, Ekeland AG, Jensen LK. et al. A Model For Assessment Of Telemedicine Applications: Mast. Int J Technol Assess 2012; 28: 44-51
9 Hajesmaeel-Gohari S, Bahaadinbeigy K. The most used questionnaires for evaluating telemedicine services. Bmc Med Inform Decis 2021; 21: 36
10 Hastenteufel M, Renaud S. Software als Medizinprodukt, Entwicklung und Zulassung von Software in der Medizintechnik 2019; 7-40
11 BfArM. Das Fast-Track-Verfahren für digitale Gesundheitsanwendungen (DiGA) nach § 139e SGB VEin Leitfaden für Hersteller, Leistungserbringer und Anwender. 2020; Im Internet: https://www.bfarm.de/DE/Medizinprodukte/DVG/_node.html
12 Morisky DE, Green LW, Levine DM. Concurrent and Predictive Validity of a Self-reported Measure of Medication Adherence. Med Care 1986; 24: 67-74
13 Knapp A, Harst L, Hager S. et al. Use of Patient-Reported Outcome Measures and Patient-Reported Experience Measures Within Evaluation Studies of Telemedicine Applications: Systematic Review. J Med Internet Res 2021; 23: e30042
14 Timpel P, Harst L. Research Implications for Future Telemedicine Studies and Innovations in Diabetes and Hypertension – A Mixed Methods Study. Nutrients 2020; 12: 1340
15 Scheibe M, Knapp A, Schmitt J. Die Bedeutung patientenrelevanter Struktur- und Verfahrensverbesserungen nach DiGAV im Rahmen bisheriger Evaluationsstudien zu telemedizinischen Anwendungen. Ergebnisse eines systematischen Reviews. 2021
16 Timpel P, Oswald S, Schwarz PEH. et al. Mapping the Evidence on the Effectiveness of Telemedicine Interventions in Diabetes, Dyslipidemia, and Hypertension: An Umbrella Review of Systematic Reviews and Meta-Analyses. J Med Internet Res 2020; 22: e16791
17 Deckert S, Sabatowski R, Schmitt J. et al. Klinische Studien zur multimodalen Schmerztherapie. Der Schmerz 2016; 30: 537-548
18 Williamson PR, Altman DG, Bagley H. et al. The COMET Handbook: version 1.0. Trials 2017; 18: 280
19 Schlieter H, Timpel P, Otto L. et al. Digitale Gesundheitsanwendungen – Forderungen für deren Entwicklung, Implementierung und begleitende Evaluation. Monit Versorgungsforschung 2021; 14: 76-80
20 Johansen M, Thomsen SF. Guidelines for Reporting Medical Research: A Critical Appraisal. Int Sch Res Notices 2016; 2016: 1346026
21 Hoffmann TC, Glasziou PP, Boutron I. et al. Better reporting of interventions: template for intervention description and replication (TIDieR) checklist and guide. Bmj 2014; 348: g1687-g1687
22 Glasziou P, Altman DG, Bossuyt P. et al. Reducing waste from incomplete or unusable reports of biomedical research. Lancet 2014; 383: 267-276
23 Agarwal S, Lefevre AE, Labrique AB. A Call to Digital Health Practitioners: New Guidelines Can Help Improve the Quality of Digital Health Evidence. Jmir Mhealth Uhealth 2017; 5: e136
24 Warner MM, Kelly JT, Reidlinger DP. et al. Reporting of Telehealth-Delivered Dietary Intervention Trials in Chronic Disease: Systematic Review. J Med Internet Res 2017; 19: e410
25 Lalloo C, Shah U, Birnie KA. et al. Commercially Available Smartphone Apps to Support Postoperative Pain Self-Management: Scoping Review. Jmir Mhealth Uhealth 2017; 5: e162
26 Lunde P, Nilsson BB, Bergland A. et al. The Effectiveness of Smartphone Apps for Lifestyle Improvement in Noncommunicable Diseases: Systematic Review and Meta-Analyses. J Med Internet Res 2018; 20: e162
27 Logullo P, MacCarthy A, Kirtley S. et al. Reporting guideline checklists are not quality evaluation forms: they are guidance for writing. Heal Sci Reports 2020; 3: e165
28 Shamseer L, Hopewell S, Altman DG. et al. Update on the endorsement of CONSORT by high impact factor journals: a survey of journal “Instructions to Authors” in 2014. Trials 2016; 17: 301
29 Eysenbach G, Group C-E. CONSORT-EHEALTH: Improving and Standardizing Evaluation Reports of Web-based and Mobile Health Interventions. J Med Internet Res 2011; 13: e126
30 Kernebeck S, Kramer U, Redaelli M. et al. Bewerten, aber wie? – Kriterien für die Evaluation und das Reporting von Studien zu Gesundheits- und Medizin-Apps. Monitor Versrogungsforschung. 2021
31 Al-Durra M, Nolan RP, Seto E. et al. Nonpublication Rates and Characteristics of Registered Randomized Clinical Trials in Digital Health: Cross-Sectional Analysis. J Med Internet Res 2018; 20: e11924
32 Arnold K, Scheibe M, Müller O. et al. Principles for the evaluation of telemedicine applications: Results of a systematic review and consensus process. Zeitschrift Für Evidenz Fortbildung Und Qual Im. Gesundheitswesen 2016; 117: 9-19
33 Joerg JM, Gero L, Matthias P. et al. GRADE-Leitlinien: 3. Bewertung der Qualität der Evidenz (Vertrauen in die Effektschätzer). Zeitschrift Für Evidenz Fortbildung Und Qual Im. Gesundheitswesen 2012; 106: 449
34 Cochrane Collaboration. Cochrane Handbook for Systematic Reviews of Interventions. 2011; Im Internet: https://training.cochrane.org/handbook
35 Vollmar HC, Santos S, Jong Ade. et al. Wie gelangt Wissen in die Versorgung?. Bundesgesundheitsblatt – Gesundheitsforschung – Gesundheitsschutz 2017; 60: 1139-1146
36 Mohr DC, Weingardt KR, Reddy M. et al. Three Problems With Current Digital Mental Health Research … and Three Things We Can Do About Them. Psychiatr Serv 2017; 68: 427-429
37 Proctor EK, Landsverk J, Aarons G. et al. Implementation Research in Mental Health Services: an Emerging Science with Conceptual, Methodological, and Training challenges. Adm Policy Ment Hlth 2009; 36: 24-34
38 Craig P, Dieppe P, Macintyre S. et al. Developing and evaluating complex interventions: the new Medical Research Council guidance. Bmj 2008; 337: a1655
39 Wirtz M, Bitzer E, Albert U-S. et al. DNVF-Memorandum III – Methoden für die Versorgungsforschung, Teil 4 – Konzept und Methoden der organisationsbezogenen Versorgungsforschung. Das Gesundheitswesen 2019; 81: e82-e91
40 Sampson UKA, Chambers D, Riley W. et al. Implementation Research The Fourth Movement of the Unfinished Translation Research Symphony. Global Hear 2016; 11: 153-158
41 Greenhalgh T, Wherton J, Papoutsi C. et al. Beyond Adoption: A New Framework for Theorizing and Evaluating Nonadoption, Abandonment, and Challenges to the Scale-Up, Spread, and Sustainability of Health and Care Technologies. J Med Internet Res 2017; 19: e367