DEVASYS – Entwicklung eines Online-Tools zur Unterstützung der systematischen Evaluation von Interventionsprojekten der Prävention und Gesundheitsförderung

Zusammenfassung

Ziele der Arbeit Das Wissen über Wirkungen und Umsetzungsqualität in praxisbezogenen Projekten der Prävention und Gesundheitsförderung in Deutschland ist aktuell sehr begrenzt. Für die Evaluation solcher Projekte gibt es derzeit kaum strukturierte Evaluationssysteme, die leicht und mit wenig Aufwand, auch im Rahmen von Selbstevaluationen, genutzt werden können. Das Ziel der vorliegenden Arbeit war die wissenschaftsbasierte Entwicklung und Pilotierung eines Online-Tools zur Unterstützung einer strukturierten Dokumentation und Selbstevaluation von Interventionsprojekten der Prävention und Gesundheitsförderung, das zu einer zyklischen Projektentwicklung beiträgt.

Methodik Der multimethodische Ansatz beinhaltete 2 Abschnitte, eine Literatur- und Datenbankrecherche zur Erstellung eines Rahmenmodells sowie eine Praxisanpassung, einschließlich einer Fokusgruppe und einem Anwendungstest mit Stakeholdern aus unterschiedlichen Praxisbereichen der Prävention und Gesundheitsförderung (N=12).

Ergebnisse Das Dokumentations- und Evaluationssystem (DEVASYS) unterscheidet die Bereiche „Planung“, „Dokumentation“ und „Evaluation“, die jeweils auch unabhängig voneinander bearbeitet werden können. Konzeptionelle Grundlage des Tools bildet das RE-AIM Framework. Zur Bestimmung der Projektqualität können sowohl Dimensionen der Output-Ebene (Reichweite, Akzeptanz, Implementierung) als auch der Outcome-Ebene (Wirksamkeit, Aufrechterhaltung) erfasst werden.

Schlussfolgerung DEVASYS ist ein praxiserprobtes Werkzeug, das zu einer verbesserten Evaluation existierender praxisbezogener Interventionsprojekte und zu einer Qualitätsentwicklung zukünftiger Projekte in der Prävention und Gesundheitsförderung beiträgt. Nächste Schritte sind die systematische Dissemination und Implementierung.

Abstract

Objectives To date, knowledge about the effects and implementation quality of disease prevention and health promotion projects in Germany is limited. Only a few structured evaluation systems exist that can be easily used and which include features for evaluating research and practice projects. The aim of the current project was to develop and carry out a pilot study of an online evaluation tool that enables structured self-evaluation of projects in disease prevention and health promotion practice and contributes to an improved documentation and cyclical development of projects.

Methods The mixed-methods approach taken in this project included 2 steps: a) search of literature and database to develop a theoretical framework for the tool and b) adaptation process to test the fit of the tool for practice, including a focus group discussion and a usability test with different disease prevention and health promotion stakeholders (N=12).

Results The resulting documentation and evaluation system (DEVASYS) is comprised of the components “planning”, “documentation”, and “evaluation” which can be used independently of one another. The conceptual basis of the tool is the RE-AIM framework. To determine the quality of an individual project, dimensions of both the output (reach, acceptance, implementation) and the outcome levels (effectiveness, maintenance) can be documented with the tool.

Conclusion DEVASYS is a practice-oriented tool contributing to an improved evaluation of existing practice-related intervention projects and the overall quality of future projects in the area of disease prevention and health promotion. Systematic dissemination and implementation of the tool are the next steps to be taken.

Schlüsselwörter

Evaluation - Qualitätsentwicklung - RE-AIM - Online-Tool - Prävention

Key words

Evaluation - quality development - RE-AIM - online-tool - prevention

• Literatur

• 1 Kolip P, Müller VE. Qualität von Gesundheitsförderung und Prävention. 1. Aufl. Bern: Verlag Hans Huber; 2009
• 2 Centers for Disease Control and Prevention. Framework for program evaluation in public health. In, MMWR 48 (NoRR-11); 1999
• 3 Lobo R, Petrich M, Burns SK. Supporting health promotion practitioners to undertake evaluation for program development. BMC Public Health 2014; 14: 1315
• 4 Dunt D. Levels of project evaluation and evaluation study designs. In Jirowong S, Liamputtong P. Hrsg Population Health, Communities and Health Promotion 1st edition. Aufl.. Sydney: Oxford University Press; 2009
• 5 Green LW, Kreuter MW. Health Promotion Planning: An Educational and Ecological Approach. 4th edition. Aufl. New York: McGraw Hill; 2005
• 6 Dadaczynski K, Baumgarten K, Hartmann T. Settingbasierte Gesundheitsförderung und Prävention. Präv Gesundheitsf 2016; 11: 214-221
• 7 Walter U, Gold C, Hoffmann W. et al. Memorandum – Forschungsförderung Prävention. Gesundheitswesen 2012; 74: 526-532
• 8 Sachverständigenrat zur Begutachtung der Entwicklung im Gesundheitsweisen. Gutachten 2005 des Sachverständigenrates zur Begutachtung der Entwicklung im Gesundheitsweisen. Koordination und Qualität im Gesundheitswesen. In; 2005
• 9 Muellmann S, Landgraf-Rauf K, Brand T. et al. Wirksamkeit von schulbasierten Interventionen zur Prävention und/oder Reduktion psychosozialer Probleme bei Kindern und Jugendlichen: Ein Review von Reviews. Gesundheitswesen 2016; 79: 252-260
• 10 Craig P, Dieppe P, Macintyre S. et al. Developing and evaluating complex interventions: the new Medical Research Council guidance. BMJ 2008; 337: a1655
• 11 Petticrew M. When are complex interventions 'complex'? When are simple interventions 'simple'?. Eur J Public Health 2011; 21: 397-398
• 12 Bach-Mortensen AM, Montgomery P. What are the barriers and facilitators for third sector organisations (non-profits) to evaluate their services? A systematic review. Syst Rev 2018; 7: 13
• 13 Jolley G. Evaluating complex community-based health promotion: addressing the challenges. Eval Program Plann 2014; 45: 71-81
• 14 Armstrong R, Waters E, Crockett B. et al. The nature of evidence resources and knowledge translation for health promotion practitioners. Health Promot Int 2007; 22: 254-260
• 15 Green LW. Making research relevant: if it is an evidence-based practice, where's the practice-based evidence?. Fam Pract 2008; 25 Suppl 1 i20-i24
• 16 Deaton A, Cartwright N. Understanding and misunderstanding randomized controlled trials. Soc Sci Med 2018; 210: 2-21
• 17 Glasgow RE, Vogt TM, Boles SM. Evaluating the public health impact of health promotion interventions: the RE-AIM framework. Am J Public Health 1999; 89: 1322-1327
• 18 Harden SM, Gaglio B, Shoup JA. et al. Fidelity to and comparative results across behavioral interventions evaluated through the RE-AIM framework: a systematic review. Syst Rev 2015; 4: 155
• 19 Gaglio B, Shoup JA, Glasgow RE. The RE-AIM framework: a systematic review of use over time. Am J Public Health 2013; 103: e38-e46
• 20 Kooperationsverbund Gesundheitliche Chancengleichheit. Praxisdatenbank Gesundheitliche Chancengleichheit. In 2018
• 21 Loss J, Seibold C, Eichhorn C. et al. Eine Schritt-für-Schritt Anleitung für Gesundheitsförderer. Evaluation in der Gesundheitsförderung. In. Erlangen: Bayerisches Landesamt für Gesundheit und Lebensmittelsicherheit; 2010
• 22 Landeszentrum Gesundheit Nordrhein-Westfalen. Evaluationstools Methodenkoffer. In; 2016
• 23 Brownson RC, Colditz GA, Proctor EK. Dissemination and implementation research in health. 2nd. Aufl. New York: Oxford University Press; 2018
• 24 Lobo R, McManus A, Brown G. et al. Evaluating Peer-based Youth Programs: Barriers and Enablers. Evaluation Journal of Australasia 2010; 10: 36-43
• 25 Tempel N, Reker N, Bödeker M. et al. Qualitätssicherung in der Gesundheitsförderung in Settings. Präv Gesundheitsf 2013; 8: 73-77
• 26 Lakerveld J, van der Ploeg HP, Kroeze W. et al. Towards the integration and development of a cross-European research network and infrastructure: the DEterminants of DIet and Physical ACtivity (DEDIPAC) Knowledge Hub. Int J Behav Nutr Phys Act 2014; 11: 143
• 27 Bryant M, Ashton L, Nixon J. et al. Framework of outcome measures recommended for use in the evaluation of childhood obesity treatment interventions: the CoOR framework. Pediatr Obes 2014; 9: e116-e131
• 28 Luke DA, Calhoun A, Robichaux CB. et al. The Program Sustainability Assessment Tool: a new instrument for public health programs. Prev Chronic Dis 2014; 11: 130184
• 29 Centers for Disease Control and Prevention. Developing an Effective Evaluation Plan. In. Atlanta; Georgia: 2011
• 30 Aktionsforum Gesundheitsinformationssystem (afgis). Standards. In; 2018
• 31 Cohen J. Statistical Power Analysis for the Behavioral Sciences. 2. Aufl. Hillsdale, NJ: Lawrence Erlbaum Associates; 1988
• 32 National Cancer Institute. Research-Tested Intervention Programs (RTIPs). In; 2018
• 33 Glasgow RE, Askew S, Purcell P. et al. Use of RE-AIM to Address Health Inequities: Application in a low-income community health center based weight loss and hypertension self-management program. Transl Behav Med 2013; 3: 200-210