Modulare semiquantitative Qualitätsbewertung augenheilkundlicher Gesundheitsinformationen im Internet – Reproduzierbarkeit und Korrelation zwischen verschiedenen Bewertungskategorien

Zusammenfassung

Hintergrund: Zur Qualitätsbewertung webbasierter Gesundheitsinformationen in der Augenheilkunde bedarf es valider Standards und reproduzierbarer Prüfverfahren. Das Ziel der Untersuchung war, die Interrater-Reliabilität der Qualitätsbewertung augenheilkundlicher Websites und mögliche Abhängigkeiten der drei Bewertungskategorien Seriosität/Vertrauenswürdigkeit, Qualität medizinischer Inhalte und Nutzerfreundlichkeit untereinander zu untersuchen. Material und Methode: Nach Auswahl über die Suchmaschine „Google” wurde die Qualität von 20 augenheilkundlichen Websites mithilfe von Kriterien-Checklisten (modifizierte Afgis-Transparenzkriterien, modifizierter BITV-Test, Qualität medizinischer Inhalte zur AMD) in den vorgenannten 3 Kategorien von zwei unabhängigen Evaluatoren analysiert. Ergebnisse: Die Interrater-Reliabilität war mit Kappa-Werten von 0,91 für Seriosität/Vertrauenswürdigkeit, sowie 0,89 für Nutzerfreundlichkeit und 0,79 für Qualität medizinischer Inhalte sehr gut. Im Mittel wurden in den Kategorien Seriosität/Vertrauenswürdigkeit 62,5 % (± 17,43 %), Inhalt 27,36 % (± 16,5 %) und Nutzerfreundlichkeit 59,54 % (± 15,73 %) der Qualitätsanforderungen erfüllt. Zwischen den in den einzelnen Qualitätskategorien erzielten Ergebnissen besteht keine signifikante Korrelation (Seriosität – Inhalt: r = –0,039; p = 0,8709; Seriosität – Nutzerfreundlichkeit: r = –0,284; p = 0,228; Inhalt – Nutzerfreundlichkeit: r = 0,199; p = 0,4047). Schlussfolgerung: Werden im Rahmen der Qualitätsprüfung augenheilkundlicher Websites hinreichend operationalisierte Prüfkriterien angewandt, sind von verschiedenen Evaluatoren reproduzierbare Resultate erzielbar. Die Bewertung in einer einzelnen Kategorie, wie z. B. Seriosität/Vertrauenswürdigkeit, lässt keinen Rückschluss auf die Qualität anderer Kategorien wie Inhalt oder Nutzerfreundlichkeit oder die Gesamtqualität einer Internetpräsenz zu. Die Validität vereinfachter Instrumente zur Qualitätsprüfung von Gesundheitsinformationen durch Laien und Patienten kann daher begrenzt sein.

Abstract

Background: Quality evaluation of web-based health information in ophthalmology requires valid standards and reproducible assessment procedures. The objective was to evaluate the interrater-reliability of quality assessment of ophthalmic websites and a possible correlation between the results of the evaluation categories reliability/trustworthiness, quality of medical content and accessibility/usability. Materials and Method: After selection with the search engine ”Google” 20 ophthalmic websites had been analysed by two independent evaluators using criteria checklists (modified Afgis transparency criteria, modified BITV test, medical content related to AMD) related to the aforementioned 3 categories. Results: The interrater-reliability was almost perfectly estimated with Kappa-values of 0.91 for reliability/trustworthiness plus 0.89 for accessibility/usability and 0.79 for content. On average 62.5 % (± 17.43 %), 27.36 % (± 16.5 %) and 59.54 % (± 15.73 %) of the quality requirements were fulfilled for reliability/trustworthiness, content and accessibility/usability, respectively. No significant correlation was found between reliability and content (r = –0.039, p = 0.8709), reliability and accessibility/usability (r = –0.284; p = 0.228) plus content and accessibility/usability (r = 0.199; p = 0.4047). Conclusion: Sufficiently operationalised criteria are prerequisites for reproducible results of quality assessment of ophthalmic websites between different observers. The assessment within a single category, such as reliability/trustworthiness, does not allow one to draw conclusions on other categories such as content or accessibility/usability or the overall quality of a website. Therefore, simplified tools for quality assessment of health information by laymen and patients may have a limited validity.

Schlüsselwörter

Internet - Content - Qualität - Augenheilkunde - Gesundheitsinformationen

Key words

internet - content - quality - ophthalmology - health information

Literatur

• 1 Aktionsforum Gesundheitsinformationssystem (afgis) e.V .Afgis-Qualitätskriterien und Afgis-Qualitätslogoverfahren. http://www.afgis.de/qualitaetslogoverfahren/quali_transparenz_html/; Stand: 19.12.2008
• 2 Al-Bahrani A, Plusa S. The quality of patient-orientated internet information on colorectal cancer.  Colorectal Dis. 2004;  6 323-326
• 3 Ball D E, Tisocki K, Herxheimer A. Advertising and disclosure of funding on patient organisation websites: a cross-sectional survey.  BMC Public Health. 2006;  6 201
• 4 Baur C, Deering M J. Proposed frameworks to improve the quality of health web sites.  Med Gen Med. 2000;  2 E35
• 5 Berland G K, Elliott M N, Morales L S. et al . Health information on the Internet: accessibility, quality, and readability in English and Spanish.  JAMA. 2001;  285 2612-2621
• 6 Beverley C A, Bath P A, Booth A. Health information needs of visually impaired people: a systematic review of the literature.  Health Soc Care Community. 2004;  12 1-24
• 7 BITV-Test. http://www.bitvtest.de; Stand: 19.12.2008
• 8 Breckons M, Jones R, Morris J. et al . What do evaluation instruments tell us about the quality of complementary medicine information on the internet?.  J Med Internet Res. 2008;  10 (1) e3
• 9 Bush N E, Bowen D J, Wooldridge J. et al . What do we mean by Internet access? A framework for health researchers.  Prev Chronic Dis. 2004;  1 A15
• 10 Charnock D, Shepperd S, Needham G. et al . DISCERN: an instrument for judging the quality of written consumer health information on treatment choices.  J Epidemiol Community Health. 1999;  53 105-111
• 11 Chiang M F, Starren J. Evaluation of consumer health website accessibility by users with sensory and physical disabilities.  Medinfo. 2004;  11 1128-1132
• 12 Cohen J. Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit.  Psychological Bulletin. 1968;  70 213-220
• 13 Croft D R, Peterson M W. An evaluation of the quality and contents of asthma education on the World Wide Web.  Chest. 2002;  121 1301-1307
• 14 eEurope 2002: Quality Criteria for Health related Websites.  J Med Internet Res. 2002;  4 (3) e15 , http://www.jmir.org/ 2002 / 3 /e15 /; Stand: 12.12.2008
• 15 England C Y, Nicholls A M. Advice available on the Internet for people with coeliac disease: an evaluation of the quality of websites.  J Hum Nutr Diet. 2004;  17 547-559
• 16 Eysenbach G, Kohler C. How do consumers search for and appraise health information on the world wide web? Qualitative study using focus groups, usability tests, and in-depth interviews.  BMJ. 2002;  324 573-577
• 17 Eysenbach G, Yihune G, Lampe K. et al . MedCERTAIN: quality management, certification and rating of health information on the Net.  Proc AMIA Symp. 2000;  230-234
• 18 Fox S. Health Information Online. http://www.pewinternet.org/pdfs/PIP_Healthtopics_May05.pdf; Stand: 20.12.2008
• 19 Fox S. Online Health Search 2006: Pew Internet and American Life Project. Washington, DC, October 2006. http://www.pewinternet.org/pdfs/PIP_Online_Health_2006.pdf; Stand: 20.11.2008
• 20 Gagliardi A, Jadad A R. Examination of instruments used to rate quality of health information on the internet: chronicle of a voyage with an unclear destination.  BMJ. 2002;  324 (7337) 558-559
• 21 Henry S L, Brewer J. WAI Mission and Organization. http://www.w3.org/WAI/about.html; Stand: 12.12.2008
• 22 HON: The Health on the Net Foundation Code of Conduct. Geneva: Health on the Net Foundation. http://www.hon.ch/HONcode; Stand: 10.12.2008
• 23 International Organization for Standardization .DIN EN ISO 9241. Genf 2006. http://www.iso.org/iso/home.htm; Stand: 4.12.2008
• 24 Jadad A R, Gagliardi A. Rating health information on the Internet: navigating to knowledge or to Babel?.  JAMA. 1998;  279 611-614
• 25 Joint Commission on Accreditation of Healthcare Organizations .Primer on indicator development and application. Oakbrook Terrace. 1991: JCAHO. http://www.jointcommission.org/; Stand: 27.11.2008
• 26 Kim P, Eng T R, Deering M J. et al . Published criteria for evaluating health related web sites.  BMJ. 1999;  318 647-649
• 27 Kushniruk A W, Patel C, Patel V L. et al . Televaluation of clinical information systems: an integrative approach to assessing Web-based systems.  IJMI. 2001;  61 45-70
• 28 Landis J R, Koch G G. The measurement of observer agreement for categorical data.  Biometrics. 1977;  33 159-174
• 29 Lüchtenberg M, Hoppe T, Ohrloff C. et al . Zugänglichkeit von Informationsangeboten über Augenerkrankungen im Internet für sehbehinderte Nutzer.  Klin Monatsbl Augenheilkd. 2008;  225 (12) 1075-1083
• 30 Lüchtenberg M, Kuhli-Hattenbach C, Sinangin Y. et al . Accessibility of Health Information on the Internet to the Visually Impaired User.  Ophthalmologica. 2008;  222 (3) 187-193
• 31 Lüchtenberg M, Ohrloff C, Schalnus R. Transparency of Information on Eye Diseases on the Internet.  Ophthalmologica. 2008;  223 (3) 145-154
• 32 Mack R, Nielsen J. Executive Summary. Nielsen J, Mack RL Usability Inspection Methods New York; John Wiley & Sons, Inc 1994: 1-24
• 33 Maloney S, Ilic D, Green S. Accessibility, nature and quality of health information on the Internet: a survey on osteoarthritis.  Rheumatology (Oxford). 2005;  44 382-385
• 34 Martins E N, Morse L S. Evaluation of internet websites about retinopathy of prematurity patient education.  Br J Ophthalmol. 2005;  89 565-568
• 35 Nielsen J. Heuristic evaluation. Nielsen J, Mack RL Usability Inspection. Methods New York; John Wiley & Sons, Inc 1994: 25-62
• 36 Nielsen J. Jakob Nielsen’s Alertbox. Usability 101: Introduction to Usability. Fremont, USA; Nielsen Norman Group 2003 http://www.useit.com/alertbox/ 20 030 825.html; Stand: 10.12.2008
• 37 Norman F. Organizing medical networked information (OMNI).  Med Inform. 1998;  23 43-51
• 38 Pennekamp P H, Kraft C N, Engelhardt L V. et al . Quality analysis of internet information on epicondylitis radialis humeri.  Z Orthop Ihre Grenzgeb. 2006;  144 (2) 218-222
• 39 Rubin H R, Pronovost von P, Diette G B. From a process of care to a measure: the development and testing of a quality indicator.  Int J Qual Health Care. 2001;  13 489-496
• 40 Sambandam S N, Ramasamy V, Priyanka P. et al . Quality analysis of patient information about knee arthroscopy on the World Wide Web.  Arthroscopy. 2007;  23 509-513
• 41 Sänger S, Nickel J, Huth A. et al . Well-informed on health matters – how well? The German ‘Clearinghouse for Patient Information’ – objective, background and methods.  Gesundheitswesen. 2002;  64 391-397
• 42 Saithna A, Ajayi O O, Davis E T. The quality of Internet sites providing information relating to hip resurfacing.  Surgeon. 2008;  6 85-87
• 43 Sawyer P, Flanders A, Wixon D. Making a difference – the impact of inspections.  Proceedings of the Conference on Human Factors in Computing Systems, Proceedings of the ACM. 1996;  375-382
• 44 Schalnus R. Operationalisierung von Qualitätskriterien zu Angeboten im Gesundheitssport im Rahmen des Qualitätssiegels Sport pro Gesundheit. Wydra G, Winchenbach H, Schwarz M, Pfeifer K Assessmentverfahren im Gesundheitssport. Messen, Testen, Bewerten, Beurteilen Schriften der Deutschen Vereinigung für Sportwissenschaft 2006 158: 38-43
• 45 Schalnus R, Aulmann G, Ohrloff C. et al . Content quality of Ophthalmic Information on the Internet.  Ophthalmologica. 2009, im Druck; 
• 46 Schalnus R, Heinemann K, Romero R. et al . Userorientierte Bewertung medizinischer Websites.  Informatik, Biometrie und Epidemiologie in Medizin und Biologie. 2001;  32 267
• 47 Schriver K A. Evaluating Text Quality: The Continuum From Text-Focused to Reader-Focused Methods.  IEEE Transactions on Professional Communication. 1989;  32 238-255
• 48 Schweibenz W, Thissen F. Qualität im Web – Benutzerfreundliche Webseiten durch Usability Evaluation. Berlin; Springer Verlag 2003
• 49 Sens B, Fischer B. Begriffe und Konzepte des Qualitätsmanagements.  Inform Biom Epidemiol Med Biol. 2003;  34 (1) 1-64
• 50 Wilson P. How to find the good and avoid the bad or ugly: a short guide to tools for rating quality of health information on the internet.  BMJ. 2002;  324 (7337) 598-602
• 51 Winker M A, Flanagin A, Chi-Lum B. et al . Guidelines for medical and health information sites on the internet: principles governing AMA web sites, American Medical Association.  JAMA. 2000;  283 1600-1606
• 52 World Wide Web Consortium .Checklist of Checkpoints for Web Content Accessibility Guidelines 1.0 http://www.w3.org/TR/WCAG10 /full-checklist.html; Stand: 12.12.2008
• 53 Zeng X, Parmanto B. Web content accessibility of consumer health information web sites for people with disabilities: a cross sectional evaluation.  J Med Internet Res. 2004;  6 e19