Das kognitive Interview – Ein Instrument zur Entwicklung und Validierung von Erhebungsinstrumenten

Zusammenfassung

Erhebungsinstrumente zum subjektiven Gesundheitszustand sind ein wichtiger Bestandteil der Rehabilitationsforschung. Angaben zur Güte dieser Erhebungsinstrumente stützen sich zumeist auf quantitative psychometrische Analysen. Diese Analysen können jedoch keine explizite Auskunft darüber geben, ob und wie die Befragten die Fragen des Erhebungsinstruments verstehen. Die Methode des kognitiven Interviews wird in den letzten Jahren zunehmend in der Entwicklung und Überprüfung von Erhebungsinstrumenten eingesetzt. Sie dient der Identifikation von potentiell problematischen Fragen bzw. Unklarheiten oder Schwierigkeiten, die zu nicht intendierten Antworten führen können. Sie ermöglichen zu überprüfen, ob die von den Befragten gegebenen Antworten das repräsentieren, was mit der Frage intendiert war. Die durch das kognitive Interview gewonnenen Erkenntnisse können der Überarbeitung und Verbesserung neu entwickelter bzw. Überprüfung schon etablierter Erhebungsinstrumente dienen.

Das 4-Stufen-Modell von Tourangeau hat sich als konzeptuelle Basis kognitiver Interviewmethoden etabliert. Die 2 prominentesten kognitiven Interviewmethoden sind das laute Denken und das verbal probing. Es gibt von verschiedenen Autoren Empfehlungen zur Durchführung kognitiver Interviews, jedoch kaum Empfehlungen dazu, unter welchen Bedingungen welche Methode zum Einsatz kommen sollte.

Die Anwendungsmöglichkeiten des kognitiven Interviews gehen über die Entwicklung und Validierung von Erhebungsinstrumenten hinaus. Aufgrund seiner Verankerung in der Kognitionswissenschaft kann es auch zur Klärung von inhaltlichen Fragen, z. B. nach den Ursachen von Diskrepanzen zwischen 2 verschiedenen Arten der Veränderungsmessung, genutzt werden.

Abstract

Questionnaires concerning subjective health status are an important element of rehabilitation research. The appraisal of the quality of these instruments mostly relies on quantitative psychometric analyses. However, these analyses do not explicitly reveal whether or how respondents understand questionnaire content. Over the past few years cognitive interviewing has been increasingly used in questionnaire design and validation. It serves to identify potentially problematic questions, ambiguities and difficulties which could lead to unintended answers. It analyses whether the answers given by respondents represent the intended meaning of the question. Findings derived from cognitive interviewing serve to improve new and further validate well-established questionnaires.

The 4-stage model of the survey response process by Tourangeau provides a conceptual basis for cognitive interviewing. The 2 most prominent methods of cognitive interviewing are think aloud and verbal probing. Various authors give recommendations on executing cognitive interviews but almost no recommendations exist on the ­indications of the different methods.

Potential applications of cognitive interviewing go beyond questionnaire design and improvement. Due to its origin in cognitive science it can also be used to resolve substantive questions, e. g. concerning reasons for discrepancies between the results of 2 different methods of measuring change.

Schlüsselwörter

kognitives Interview - qualitative Methoden - Fragebögen - Inhaltsvalidität - Ergebnismessung

Key words

cognitive interview - qualitative methods - questionnaires - content validity - outcome assessment

• Literatur

• 1 Miller K. Conducting cognitive interviews to understand question-response limitations. American Journal of Health Behaviour 2003; 27 (Suppl 3) S264-S272
• 2 Meyer T, Deck R, Raspe H. Problems completing questionnaires on health status in medical rehabilitation patients. Journal of Rehabilitation Medicine 2007; 39: 633-639
• 3 Presser S, Couper MP, Lessler JT et al. Methods for testing and evaluating survey questions. Public Opinion Quarterly 2004; 68: 109-130
• 4 Willis GB. Cognitive Interviewing. A Tool for improving Questionnaire Design. Thousand Oaks, CA: Sage; 2005
• 5 Tourangeau R. Cognitive science and survey methods. In: Jabine T, Straf M, Tanur J, Tourangeau R. Cognitive Aspects of Survey Design: Building a Bridge between Disciplines. Washington, DC: National ­Academy Press; 1984: 73-100
• 6 Krosnick JA. Survey Research. Annual Review of Psychology 1999; 50: 537-567
• 7 Blair E, Burton S. Processes used in the formulation of behavioural frequency reports in surveys. Proceedings of the Section on Survey Research Methods, American Statistical Association 1986; 481-487
• 8 Meyer T, Deck R, Raspe H. Gültigkeit von Fragebogenangaben in der Rehabilitationsforschung: Unter welchen Bedingungen füllen Patienten Fragebogen aus?. Rehabilitation 2006; 45: 118-127
• 9 Clark HH, Schaeffer EF. Contributing to discourse. Cognitive Science 1989; 13: 259-294
• 10 Faulbaum F, Prüfer P, Rexroth M. Was ist eine gute Frage?. Wiesbaden: Verlag für Sozialwissenschaften; 2009
• 11 Willis GB, Lessler J. The BRFSS-QAS: A Guide for systematically evaluating Survey Question Wording. Rockville, MD: Research Triangle Institute; 1999
• 12 Prüfer P, Rexroth M. Kognitive Interviews. Mannheim: ZUMA How-to-Reihe; Nr. 15 2005. Im Internet: www.gesis.org/fileadmin/upload/forschung/publikationen/gesis_reihen/howto/How_to15PP_MR.pdf Stand: 14.03.2014
• 13 Levine RE, Fowler Jr FJ, Brown JA. Role of cognitive testing in the development of the CAHPS Hospital Survey. Health Services Research 2005; 40: 2037-2056
• 14 Watt T, Rasmussen AK, Groenvold M et al. Improving a newly developed patient-reported outcome for thyroid patients, using cognitive interviewing. Quality of Life Research 2008; 17: 1009-1017
• 15 Ericsson KA, Simon HA. Verbal reports as data. Psychological Review 1980; 87: 215-250
• 16 French DP, Cooke R, McLean N et al. What do people think about when they answer theory of planned behaviour questionnaires?. Journal of Health Psychology 2007; 12: 672-687
• 17 Nápoles-Springer AM, Santoyo-Olsson J, O’Brien H et al. Using cognitive interviews to develop surveys in diverse populations. Medical Care 2006; 44 (Suppl 3) S21-S30
• 18 Meyer T, Karbach U, Holmberg C et al. Qualitative Studien in der Versorgungsforschung – Diskussionspapier, Teil 1: Gegenstandsbestimmung. Gesundheitswesen 2012; 74: 510-515
• 19 Harris-Kojetin LD, Fowler FJ, Brown JA et al. The use of cognitive testing to develop and evaluate CAHPS 1.0 core survey items. Consumer Assessment of Health Plans Study. Medical Care 1999; 37 (Suppl 3) MS10-MS21
• 20 Carbone ET, Campbell MK, Honess-Morreale L. Use of cognitive interview techniques in the development of nutrition surveys and interactive nutrition messages for low-income populations. Journal of the American Dietary Association 2002; 102: 690-696
• 21 Robertson C, Langston AL. The PRISM Trial Group et al. Meaning behind measurement: self-comparisons affect responses to health-related quality of life questionnaires. Quality of Life Research 2009; 18: 221-230
• 22 Loosveldt G. Interaction characteristics of the difficult-to-interview respondent. International Journal of Public Opinion Research 1997; 9: 386-391
• 23 Mayring P. Qualitative Inhaltsanalyse. Weinheim: Beltz; 2010
• 24 Knafl K, Deatrick J, Gallo A et al. The analysis and interpretation of cognitive interviews for instrument development. Research in ­Nursing & Health 2007; 30: 224-234
• 25 Drennan J. Cognitive interviewing: verbal data in the design and pretesting of questionnaires. Journal of Advanced Nursing 2003; 42: 57-63
• 26 Conrad F, Blair J, Tracy E. Verbal reports are data! A theoretical ­approach to cognitive interviews. In: Proceedings of the Federal Committee on Statistical Methodology Research Conference, Tuesday B Sessions. Arlington: VA; 1996: 11-20
• 27 Conrad F, Blesser J. From impressions to data: increasing the objectivity of cognitive interviews. In: Proceedings of the Federal Committee on Statistical Methodology Research Conference, Tuesday B Sessions. Arlington: VA; 1996: 1-10
• 28 Pohontsch N. Gründe für die Diskordanz zwischen indirekter und direkter Messung der Veränderung des subjektiven Gesundheitszustands von orthopädischen und onkologischen Rehabilitanden – Eine qualitative Analyse [Dissertationsschrift]. Lübeck: Universität zu Lübeck; 2013. Im Internet: www.zhb.uni-luebeck.de/ediss1.html#sozialmedizin Stand: 01.07.2014