Das kognitive Interview – Ein Instrument zur Entwicklung und Validierung von Erhebungsinstrumenten

Zusammenfassung

Erhebungsinstrumente zum subjektiven Gesundheitszustand sind ein wichtiger Bestandteil der Rehabilitationsforschung. Angaben zur Güte dieser Erhebungsinstrumente stützen sich zumeist auf quantitative psychometrische Analysen. Diese Analysen können jedoch keine explizite Auskunft darüber geben, ob und wie die Befragten die Fragen des Erhebungsinstruments verstehen. Die Methode des kognitiven Interviews wird in den letzten Jahren zunehmend in der Entwicklung und Überprüfung von Erhebungsinstrumenten eingesetzt. Sie dient der Identifikation von potentiell problematischen Fragen bzw. Unklarheiten oder Schwierigkeiten, die zu nicht intendierten Antworten führen können. Sie ermöglichen zu überprüfen, ob die von den Befragten gegebenen Antworten das repräsentieren, was mit der Frage intendiert war. Die durch das kognitive Interview gewonnenen Erkenntnisse können der Überarbeitung und Verbesserung neu entwickelter bzw. Überprüfung schon etablierter Erhebungsinstrumente dienen.

Das 4-Stufen-Modell von Tourangeau hat sich als konzeptuelle Basis kognitiver Interviewmethoden etabliert. Die 2 prominentesten kognitiven Interviewmethoden sind das laute Denken und das verbal probing. Es gibt von verschiedenen Autoren Empfehlungen zur Durchführung kognitiver Interviews, jedoch kaum Empfehlungen dazu, unter welchen Bedingungen welche Methode zum Einsatz kommen sollte.

Die Anwendungsmöglichkeiten des kognitiven Interviews gehen über die Entwicklung und Validierung von Erhebungsinstrumenten hinaus. Aufgrund seiner Verankerung in der Kognitionswissenschaft kann es auch zur Klärung von inhaltlichen Fragen, z. B. nach den Ursachen von Diskrepanzen zwischen 2 verschiedenen Arten der Veränderungsmessung, genutzt werden.

Abstract

Questionnaires concerning subjective health status are an important element of rehabilitation research. The appraisal of the quality of these instruments mostly relies on quantitative psychometric analyses. However, these analyses do not explicitly reveal whether or how respondents understand questionnaire content. Over the past few years cognitive interviewing has been increasingly used in questionnaire design and validation. It serves to identify potentially problematic questions, ambiguities and difficulties which could lead to unintended answers. It analyses whether the answers given by respondents represent the intended meaning of the question. Findings derived from cognitive interviewing serve to improve new and further validate well-established questionnaires.

The 4-stage model of the survey response process by Tourangeau provides a conceptual basis for cognitive interviewing. The 2 most prominent methods of cognitive interviewing are think aloud and verbal probing. Various authors give recommendations on executing cognitive interviews but almost no recommendations exist on the ­indications of the different methods.

Potential applications of cognitive interviewing go beyond questionnaire design and improvement. Due to its origin in cognitive science it can also be used to resolve substantive questions, e. g. concerning reasons for discrepancies between the results of 2 different methods of measuring change.

Schlüsselwörter

kognitives Interview - qualitative Methoden - Fragebögen - Inhaltsvalidität - Ergebnismessung

Key words

cognitive interview - qualitative methods - questionnaires - content validity - outcome assessment

Einleitung

Erhebungsinstrumente, die Auskunft über den subjektiven Gesundheitszustand eines Rehabilitanden bzw. einer Rehabilitandin geben, sind ein wichtiger Bestandteil der Rehabilitation und Rehabilitationsforschung. Ihre Qualität wird traditionell mithilfe psychometrischer Verfahren untersucht und drückt sich in Kennwerten zur Validität und Reliabilität aus. Nur indirekt geben diese Kennwerte Aufschluss über eine Kernfrage der standardisierten Befragung von Personen: Inwieweit stimmen die intendierten Fragen mit den von den Befragten verstandenen Fragen überein? Diese Frage trifft genau genommen den Bereich der Inhaltsvalidität, der in der traditionell psychometrisch geprägten Instrumentenentwicklung aufgrund fehlender fundierter Strategien noch zu wenig behandelt wird. In der Rehabilita­tionspraxis findet diese Vernachlässigung ihre Entsprechung in der Einschätzung, dass nicht wenige Rehabilitanden und Rehabilitandinnen mit der Beantwortung standardisierter Fragebogen überfordert sind.

Bei der Beantwortung einer Frage können Faktoren wie z. B. eine niedrige Schulbildung, geringe sprachliche Kompetenzen, die Unklarheit über den Zweck der Erhebung, aber auch unklare Konzepte, missverständliche Formulierungen und eine zu hohe Komplexität erhebliche Probleme verursachen [1] [2]. Bis vor einigen Jahren wurde bei der Entwicklung von Fragebogen oftmals lediglich ein quantitativer Pretest durchgeführt, bei dem das Erhebungsinstrument an ca. 20–50 Zielpersonen unter den Rahmenbedingungen der Haupterhebung getestet wird. Diese Methode ist gut geeignet, über Qualitätsmerkmale des Erhebungsinstruments wie z. B. das Auftreten von fehlenden Werte oder die Handhabbarkeit des Erhebungsinstruments für Interviewer und Interviewerinnen Auskunft zu geben [3]. Quantitative­ psychometrische Methoden können jedoch nur bedingt und ­indirekt Hinweise darauf geben, inwieweit Befragte die Fragen so verstehen, bearbeiten und beantworten, wie es von den Fragebogenentwicklern intendiert wurde. Wie verstehen Befragte die jeweilige Frage, bzw. wie interpretieren sie die Frage im Kontext der Befragungssituation? Inwieweit können sie sich an Informationen erinnern? Wie kommen die Befragten zu ihren Antworten? Diese Fragen sind bei der Entwicklung von Fragebögen besonders bedeutsam, sind aber auch bei ihrer Anwendung in den jeweiligen spezifischen Kontextbedingungen zu stellen. Die Bedeutung dieses Problems liegt in dem Umstand begründet, dass sich aus Antworten in einem Fragebogen, in der Regel in Form von Ankreuzungen, keine zuverlässigen Information ­darüber ableiten lassen, ob bzw. inwieweit eine befragte Person die Fragen in der intendierten Weise verstanden hat.

Vor dem Hintergrund stellt sich die Frage, wie sich nicht-intendierte Antworten identifizieren und vermeiden lassen. Hier hat sich mittlerweile die Nutzung qualitativer Methoden, wie des kognitiven Interviews [4], als ein wichtiger Ansatz für die Entwicklung von Erhebungsinstrumenten etabliert. Mit dem vorliegenden Methoden-Artikel möchten wir in die Technik des kognitiven Interviews als einen Schritt der Entwicklung bzw. als eine Methode der Überprüfung von gesundheitsbezogenen Fragebogen einführen.

Modell der Fragenbeantwortung und mögliche Ursachen nicht-intendierter Antworten

Die Beantwortung von Fragen lässt sich als das Ergebnis einer Abfolge komplexer kognitiver Prozesse verstehen [4]. Ein Modell hierfür ist das 4-Stufen-Modell der Fragenbeantwortung von Tourangeau [5], das den Antwortprozess in 4 Stufen unterteilt: 1. Verständnis der Frage, 2. Abruf von relevanten Informationen, 3. Beurteilung der abgerufenen Informationen und 4. Beantwortung der Frage ([Tab. 1]).

Tab. 1 Das 4-Stufen-Modell der idealen Fragenbeantwortung (modifiziert nach Tourangeau [5]).

Stufe	Spezifische Prozesse	Relevante Kernpunkte
Fragenverständnis	Aufmerksamkeit bezüglich der Frage und Instruktionen Repräsentation der logischen Form der Frage Identifikation, welche Informationen fokussiert/abgefragt werden Verbinden von Schlüsselwörtern mit relevanten Konzepten	a) Bedeutung der Frage: Wonach wird nach Eindruck des Befragten gefragt? b) Bedeutung einzelner Begriffe: Was bedeuten bestimmte Worte und Phrasen in der Frage?
Abruf	Bildung einer Abrufstrategie bzw. von Abrufanreizen Abruf spezifischer Erinnerungen Auffüllen fehlender Details	a) Erinnerbarkeit der Informationen: Welche Art von Informationen muss der Befragte erinnern können, um die Frage zu beantworten? b) Erinnerungsstrategie: Welche Strategien werden genutzt, um Informationen abzurufen?
Beurteilung	Beurteilung der Vollständigkeit und Relevanz der Erinnerungen Rückschlüsse aufgrund der Schwierigkeit der Erinnerung Integration des erinnerten Materials Schätzung auf der Basis teilweiser Erinnerungen	a) Motivation: Widmet der Befragte der Beantwortung der Frage genug kognitiven Aufwand, um sie korrekt zu beantworten? b) Sensibilität/soziale Erwünschtheit: Will der Befragte die Frage wahrheitsgemäß beantworten?
Beantwortung	Übersetzung der Antwort in eine Antwortkategorie Bearbeitung der Antwort	a) Auswahl der Antwortkategorie: Kann der Befragte seine Antwort akkurat in eine der zur Verfügung stehenden Antwortkategorien übersetzen? b) Was macht er, wenn ihm keine der Antwortkategorien passend erscheint?

Die Befragten durchlaufen allerdings nicht zwangsläufig immer alle Stufen, wenn sie eine Frage beantworten. Welche der Prozesse ablaufen, hängt u. a. davon ab, wie viel Zeit und Mühe die Befragten bereit sind, in die Beantwortung der Frage zu investieren (satisficing vs. optimizing [6]). Auf allen Stufen können Pro­bleme auftauchen, die Befragten können z. B. die Frage anders als intendiert interpretieren, wichtige Informationen vergessen, irrige Rückschlüsse aus den eigenen Erinnerungen ziehen oder eine zu ihrer Antwort unpassende Antwortkategorie auswählen ([Tab. 2]). Auf jeder der 4 Stufen des Antwortprozessmodells können Dinge passieren, die der Intention der Frage zuwiderlaufen. Das Frageverständnis spielt dabei eine wesentliche Rolle für nicht-intendierte Antworten. Beurteilungs- und Beantwortungsprozesse dürften bei Fragen der Anwendung in einem konkreten Kontext (z. B. bei hoher Bedeutung der Motivationslagen für die Beantwortung von Fragen) einen besonderen Stellenwert aufweisen.

Tab. 2 Beispielhafte Darstellung möglicher Fehler bei der Beantwortung der Frage: „Wie oft waren Sie in den letzten 12 Monaten beim Arzt?“.

Phase	Mögliche Ursache für Antwortfehler
Fragenverständnis*	Definition des Begriffs „Arzt“: Der Befragte denkt lediglich an seinen Hausarzt. Inwieweit wird der Besuch beim Psychiater als Arztbesuch verstanden, inwieweit der Besuch beim Psychologen einbezogen? Wird ein Heilpraktiker als Arzt wahrgenommen? Werden Zahnärzte in der Überlegung mit einbezogen?
Abruf	Schwierigkeit, die relevante Information zu erinnern: Der Befragte war in den letzten 12 Monaten häufig krank und kann sich nicht an jeden einzelnen Arztbesuch genau erinnern.
Beurteilung	Einschluss: Der Befragte weiß nicht, ob er die Gelegenheiten, bei denen er sich lediglich ein neues Rezept bei seinem Arzt abgeholt oder sich vor einer Fernreise beraten lassen hat, mitzählen soll.
Beantwortung	Auswahl der Antwortmöglichkeit: Die Antwortmöglichkeiten sind einmal, 2- bis 5-mal und mehr als 5-mal. Der Befragte weiß nicht, welche Antwortkategorie er ankreuzen soll, denn er erinnert sich an 4 Arztbesuche und 2 Gelegenheiten, zu denen er nur ein Rezept abgeholt hat. Um nicht vom Durchschnitt abweichend zu erscheinen, kreuzt er die mittlere Kategorie an.

*„Antwortfehler“ ergeben sich erfahrungsgemäß auch aus dem Problem, dass die Untersucher selber kein eindeutiges Verständnis aller in Fragen verwendeten Begriffen aufweisen.

Antwortfehler[1] sind ein häufiges Phänomen [7]. Die möglichen Ursachen für Antwortfehler können auf der Befragtenseite situa­tionaler (z. B. soziale Beeinflussung durch anwesende Personen), motivationaler (z. B. intentionale Verzerrungen) oder kognitiver Art (z. B. eingeschränkte kognitive Funktionen) sein [8]. Auf der Instrumentenseite kann z. B. die intendierte Vagheit[2] der Fragen eine klare Kommunikation zwischen dem Forschenden und Befragten einschränken [9].

Ansätze zur Entwicklung und Überprüfung von Fragebogenfragen

Zum Thema des Fragebogendesigns und der Formulierung von Surveyfragen liegen diverse Veröffentlichungen vor [10]. Als Hilfsmittel dienen Checklisten, mit deren Hilfe Fehler und Unstimmigkeiten des entworfenen Erhebungsinstruments bereinigt werden können. Sie fokussieren eher auf die einzelnen Fragen als auf den Fragebogen als Ganzes und sollten vor dem Pretesting angewandt werden. Beispiele sind das „Questionnaire Appraisal System“ (QAS) [11] und das Fragenbewertungssystem (FBS) [10]. Checklisten sind jedoch kein „Allheilmittel“: Diese Ansätze sind nicht spezifisch genug und blind gegenüber dem speziellen Fragenkontext. Prüfer und Rexroth [12] schlagen zur Lösung des Problems das 2-Phasen-Pretesting, die Kombination von kognitivem Interview und dem beschriebenen quantitativen Pretest, zur Evaluation und Überarbeitung von Erhebungsinstrumenten vor. Das kognitive Interview dient der Identifikation von potentiell problematischen Fragen, von Unklarheiten oder Schwierigkeiten, die zu nicht intendierten Antworten führen können. Gleichzeitig kann damit überprüft werden, ob die von den Befragten gegebenen Antworten das repräsentieren, was in der Frage abzufragen intendiert war. Mithilfe des kognitiven Interviews können außerdem Erkenntnisse darüber gewonnen werden, wie Befragte mit den Anforderungen, die die Beantwortung einer bestimmten Frage an sie stellt (Fragenverständnis, Informationsabruf und Antwortauswahl), umgehen.

Die Methode des kognitiven Interviews wird heute auch außerhalb des Bereichs der Entwicklung und Evaluation von Survey-Fragen genutzt, z. B. in der Versorgungs- [2] [13] oder Lebensqualitätsforschung [14]. Seit 2005 liegt mit „Cognitive Interviewing“ ein Standardwerk zur Theorie und Anwendung kognitiver Interviewmethoden vor [4].

Kognitive Interviewmethoden

Die am häufigsten genutzten kognitiven Interviewmethoden lassen sich in 2 Untergruppen aufteilen: das think aloud (lautes Denken) und das probing [3]. Beide Techniken schließen sich nicht aus, sondern können ergänzend zueinander angewendet werden.

Lautes Denken

Bei der Methode des lauten Denkens [15] werden die Befragten gebeten, alles mitzuteilen, was ihnen durch den Kopf geht, während sie eine Frage beantworten. Interviewer lesen den Befragten eine Frage vor oder lassen sie diese selber lesen und dokumentieren dann alle Informationen, die die Befragten über ihren Beantwortungsprozess mitteilen. Das laute Denken muss vor der Befragung mit den Probanden geübt werden. Während der Befragung ist es i. d. R. notwendig, die Befragten an die Aufgabe des lauten Denkens zu erinnern. Ein gutes Beispiel für eine Anleitung zum lauten Denken geben French et al. [16] (ins Deutsche übertragen): „[…] Wir möchten überprüfen, ob die Befragten die Fragen so verstehen, wie sie von uns gemeint sind. Um dies zu tun, möchte ich Sie bitten laut zu denken, während Sie den Fragebogen ausfüllen. Ich meine mit laut denken, dass ich möchte, dass Sie mir alles erzählen, was Sie denken, während Sie jede Frage lesen und darüber nachdenken, wie Sie sie beantworten wollen. Ich möchte, dass Sie kontinuierlich laut sprechen. […] Tun Sie so als wären Sie allein im Raum und würden mit sich selbst sprechen. Wenn Sie eine längere Zeit still sind, werde ich Sie bitten weiterzusprechen. […]“: Wenn der Befragte aufhört, laut zu denken, ­fordert der Interviewer ihn auf: „Sprechen Sie bitte weiter.“

Diese Methode kann Anhaltspunkte dafür liefern, wo Probleme in einem Fragebogen auftauchen, z. B. welche Fragen nicht oder nicht so wie intendiert verstanden werden, ob Sprungregeln verwirrend sind oder Informationen dem Befragten nicht vorliegen. Allerdings stellt diese Methode hohe Anforderungen an die Befragten, insbesondere generell an ihre Verbalisierungsfähigkeit sowie im Besonderen die Fähigkeit, inneres Erleben in eigenen Worten ausdrücken zu können. Dies stellt auch eine sub­stanzielle Begrenzung des Anwendungsspektrums dieser Methode dar. Die Verbalisierungsfähigkeit kann und sollte ggf. im Rahmen von kognitiven Interviews geübt werden [4].

Probing

Bei der Methode des probing lässt der Interviewer den Befragten zunächst die Frage(n) beantworten und befragt ihn dann über den Prozess der Fragenbeantwortung. Dabei können proaktive, vorher festgelegte probes und zusätzlich reaktive, „spontane“ probes, die sich aus den Aussagen des Befragten und der jeweiligen Interviewsituation ergeben, verwendet werden. Probing kann entweder gleichzeitig mit der Fragenbeantwortung oder retrospektiv am Ende der gesamten Befragung geschehen. Die erste Form hat den Vorteil, dass die zu erfragenden Informationen noch frisch im Gedächtnis des Befragten sind, während die zweite Form den Prozess der Fragenbeantwortung am wenigsten stört. Es ist davon auszugehen, dass die Beantwortung von gleichzeitigen probes die Beantwortung der folgenden Fragen beeinflussen kann. [Tab. 3] gibt eine Übersicht über und Beispiele für verschiedene probing-Varianten.

Tab. 3 Verschiedene Arten verbaler probes (modifiziert nach Willis [4]).

Verständnis/Interpretation	An was denken Sie, wenn Sie den Begriff „allgemeiner Gesundheitszustand“ lesen? Was verstehen Sie unter „allgemeiner Gesundheitszustand“?
Paraphrase	Können Sie die Frage bitte in eigenen Worten wiederholen?
Einschätzung der Verlässlichkeit der Antwort	Wie sicher sind Sie, dass Ihr Arzt Ihnen das genannte Medikament verordnet hat?
Erinnerungs-probes	Sie sollten sich bei dieser Frage an die Anzahl ihrer Arztbesuche in den letzten 12 Monaten erinnern. Wie sind Sie dabei vorgegangen?
spezifische probes	Haben Sie auch an Ihren Zahnarzt gedacht, als Sie die Anzahl Ihrer Arztbesuche erinnern sollten?
allgemeine probes	Wie sind Sie zu dieser Antwort gekommen? Woran haben Sie gedacht, als Sie die Frage beantwortet haben? Sie haben gezögert, was haben Sie da gedacht? Warum haben Sie diese Frage nicht beantwortet?

Das 4-Stufen-Modell der Fragenbeantwortung kann erste Anhaltspunkte für die Entwicklung von probes geben. Um gute probes entwickeln zu können, muss jedoch nicht nur der Informa­tionsverarbeitungsprozess bedacht werden, sondern auch die Probleme, die aus dem Zusammenspiel der Charakteristiken von Fragen mit den Kognitionen des Befragten entstehen können. Eine Theorie des probing existiert nicht, sodass die Entwicklung von probes immer inhaltlich-substanziell begründet werden sollte. Generell ist es empfehlenswert, im kognitiven Interview von den allgemeinen zu den speziellen Fragen (probes) vorzugehen.

In den letzten Jahren wurden bei kognitiven Interviews zunehmend auf die Methode des probing zurückgegriffen und weniger auf die Methode des lauten Denkens [17]. Das probing ist zwar durch die Notwendigkeit der Entwicklung von probes und den höheren Aufwand für den Interviewer gekennzeichnet, hat aber die Vorteile der geringeren Belastung des Befragten und der größeren Flexibilität bei der Datenerhebung. Ein weiterer Vorteil liegt darin, dass der Interviewer bzw. die Interviewerin explizit nach Problemen suchen kann und nicht darauf warten muss, dass Probleme vom Probanden angezeigt werden. Es empfiehlt sich eine Mischung aus vorformulierten proaktiven probes und reaktiven probes, die sich an den während des jeweiligen Interviews gemachten Äußerungen des Befragten orientieren, diese vertiefend ergründen und somit die Offenheit für die Entdeckung nicht antizipierter Probleme wahren.

Ablauf und Durchführung eines kognitiven Pretests

[Tab. 4] zeigt exemplarisch die Phasen eines kognitiven Pretests (in Anlehnung an Prüfer und Rexroth [12]).

Tab. 4 Ablauf des kognitiven Pretests (in Anlehnung an Prüfer und Rexroth [12]).

Phase	Arbeitsschritte
1.	– Entwicklung des Erhebungsinstruments – Überprüfung durch Experten (mit Begutachtungsinstrument) – Einarbeitung von Änderungsvorschlägen
2.	– kognitive Interviews (5–15 Interviewpartner; Fokus: ­generelle Konzepte)
3.	– Auswertung der Interviews
4.	– Diskussion der Ergebnisse – Modifikation des Erhebungsinstruments
5.	– kognitive Interviews (modifiziertes Erhebungsinstrument; Fokus: Format/Fragenformulierung)
6.	– Auswertung der Interviews
7.	– Diskussion der Ergebnisse – Modifikation des Erhebungsinstruments – evtl. 1–2 weitere Testrunden
8.	– Pretesting im Feld
9.	– Nutzung des Erhebungsinstruments an der Zielgruppe

Die Interviews sollten aufgezeichnet werden, da eine gleichzeitige konzentrierte Interviewführung und Protokollierung der Aussagen der Befragten selbst für erfahrene Interviewer und Interviewerinnen sehr schwierig ist. Die Dauer des kognitiven Interviews sollte 90 min nicht überschreiten, um die Konzentra­tionsfähigkeit und das Interesse der Befragten zu berücksichtigen. Zusätzlich empfiehlt es sich, das Erhebungsinstrument in der Form zu testen, in der es später genutzt werden soll (z. B. paper & pencil oder am Computer).

Einen Referenzstandard oder Algorithmen zur Erkennung von nicht-intendierten Antworten oder Frageproblemen während der Interviews gibt es nicht. Die Interviewer müssen sich einerseits gut auf das Interview vorbereiten (Auseinandersetzung mit den Inhalten des zu testenden Instruments und Antizipation von Problemen). Andererseits sollten sie wachsam sein für mögliche Probleme, die sich während des Interviews zeigen, um spontan entscheiden zu können, ob ggf. weitere probes notwendig sind oder nicht. Es ist die Aufgabe der Interviewer, während des Interviews auf antizipierte Probleme einzugehen, wachsam zu sein für potenzielle Probleme und sensibel auf Äußerungen der Befragten zu reagieren, die erkennen lassen, dass sie die Frage nicht oder nicht wie intendiert verstehen oder mit den vorgegebenen Antwortkategorien nicht zurecht kommen. Die Qualität der Durchführung und Ergebnisse der Interviews hängen somit, wie generell bei der Durchführung qualitativer Interviews, entscheidend von der Person des Interviewers bzw. der Interviewerin, dem theoretischen Vorwissen, ihrer Ausbildung, ihren ­Erfahrungen mit qualitativen Interviews sowie ihrer Aufmerksamkeit und Offenheit in ihrer Haltung gegenüber den Interviewten ab. Zudem ist die Einbindung in eine Forschergruppe zum Zwecke des Austauschs über die Interview-Ergebnisse wünschenswert [18].

Es gibt nur wenig konkrete Empfehlungen zur Auswertung von probing. Die Methoden variieren von der Auswertung von Interviewer-Notizen und Interviewer Debriefing [19] [20] über qualitative Auswertungen von Interviewaufnahmen oder -transkripten [21] zu objektivierenden Methoden wie der Kodierung des ­Verhaltens von Befragten [22]. Empfehlenswert ist es, die ­Auswertungen am transkribierten Textmaterial vorzunehmen. Die Nutzung eines Programms zur computergestützten Analyse von qualitativen Daten ist hilfreich. Prüfer und Rexroth empfehlen, eine fallspezifische Auflistung [12] aller Äußerungen der Befragten für jede getestete Frage zu erstellen. Diese sollte folgende Komponenten enthalten: die Frage und ihre Beantwortung, spontane Reaktionen der Testperson, die Antworten und Reak­tionen auf die probes und sich aus dem Interviewgeschehen ergebenden Anmerkungen des Interviewers. Dieses Material sollte in Anlehnung an den Auswertungsansatz der qualitativen ­Inhaltsanalyse [23] auf mögliche Probleme bezüglich des Verständnisses bzw. des Funktionierens der Frage untersucht werden. Dieses Vorgehen kann zu verschiedenen Ergebnissen führen: Vorschläge zur Umformulierung der Items, Veränderung der Reihenfolge von Items, das Erkennen des Bedarfs einer ausführlicheren Beschreibung des Fragebogenzwecks oder einer Reduzierung der Länge des Instruments und die Erkenntnis, welche Inhalte ggf. mit der Fragebogenmethoden nicht abgefragt werden können [4]. Das Verfassen eines strukturierten Ergebnisprotokolls ist unverzichtbar. Die darin dokumentierten Ergebnisse werden in der Überarbeitung des Instruments umgesetzt. Die Überarbeitung der Items kann wiederum Probleme hervorrufen. Eine erneute Testung der veränderten Items bzw. Instrumentenversion gibt Aufschluss darüber, ob die revidierte Form weniger Probleme verursacht als die Originalversion [17]. Beispielhaft soll das Vorgehen von Knafl et al. [24] zur Auswertung kognitiver Interviews (mittels probing) zur Verbesserung ihres Instruments dargestellt werden. In einem ersten Schritt werden alle Kommentare/Antworten der zu dem Instrument befragten Personen dem betreffenden Item im Fragebogen zugeordnet. Zu jedem Item wird zudem zusammengefasst, wie die Befragten das Item verstehen, wobei auch divergierende Verständnisse zwischen einzelnen Befragten aufgeführt werden. In einem zweiten Schritt wird von 2 Autoren ein Kategoriensystem zur Beschreibung der aufgetretenen Probleme (z. B. eingeschränkter Geltungsbereich oder problematische Formulierungen) entwickelt und alle Antworten der Befragten in dieses Kategoriensystem eingeordnet. Im letzten Schritt werden im Projekt gemeinsam auf der Basis dieser systematisch geordneten Informationen Entscheidungen über die Beibehaltung, Veränderung oder Löschung der Items getroffen.

Beispiele für originale und nach dem kognitiven Interview überarbeitete Fragen aus verschiedenen Fragebogen finden sich in [Tab. 5].

Tab. 5 Beispiele zur Veränderung von Fragenbogenitems durch kognitive Interviews.

Nr.	vor den kognitiven Interviews	nach den kognitiven Interviews
1 1	„Has it been noticeable to others that you have a thyroid disease?“	„Has your thyroid disease affected your appearance (for example, swelling of the neck, eye changes, weight changes)?“
2 1	„Has your thyroid disease made you consider yourself too thin?“	„Has your thyroid disease made you feel too thin?“
3 2	„During your hospital stay, did you want to be involved in decisions about your treatment?“	„During this hospital stay, how often did doctors, nurses, or other hospital staff involve you in decisions about your treatment as much as you wanted?“
4 2	„During your hospital stay, were you anxious or concerned about your illness or the effects of your treatment?“	„During this hospital stay, did you need any emotional support from doctors, nurses, or other hospital staff?“

¹ aus [14], ² aus [13]

Empirische Fundierung der Methode

Obwohl es wenig Daten und Befunde zur empirischen Fundierung des kognitiven Interviews gibt, steht damit ein vielversprechendes Tool zur Entwicklung und ggf. Überprüfung und Weiterentwicklung von Erhebungsinstrumenten zur Verfügung. Auch wenn es unter Entwicklern von Erhebungsinstrumenten einen Konsens über die Notwendigkeit kognitiver Interviews für die Entwicklung von Erhebungsinstrumenten gibt, so gibt es doch noch keine einheitlichen Empfehlungen dafür, unter welchen Bedingungen welche Methode zum Einsatz kommen sollte [3]. Trotz der fortschreitenden Entwicklung der kognitiven Interviewmethoden mangelt es weiterhin an Forschung zur Bedeutung und den Anwendungsbedingungen der einzelnen Techniken. Der Ansatz wurde u. a. wegen seiner Künstlichkeit und Subjektivität kritisiert [25]. Auch die Plausibilität, Validität und der spezifische Nutzen des Ansatzes sind bisher nicht ausreichend empirisch – vergleichend – untersucht. Weiterhin fehlen Leitlinien zur (standardisierten) Durchführung und Auswertung kognitiver Interviews [26]. Die Entwicklung von Auswertungstaxonomien [27] soll zumindest die Objektivität erhöhen. Willis [4] und Prüfer und Rexroth [12] geben wertvolle Hinweise zu Mindeststandards der Anwendung kognitiver Interviews. Uns sind keine Arbeiten bekannt, die Ergebnisse einer Original- und einer (nach kognitivem Pretest) überarbeiteten Version eines Fragebogens vergleichen. Die Überprüfung bzw. der Vergleich der Validität mehrerer Fragebogenversionen an einem externen Kriterium steht unseres Wissens ebenfalls noch aus.

Ein Beispiel weiterer Nutzungsmöglichkeiten kognitiver Interviews

Die kognitiven Interviewtechniken bieten auch weiterführende Möglichkeiten. Als Beispiel sei die KIVI-Studie (Kognitive Interviews über VeränderungsItems) genannt, deren Ziel es war, mittels problemzentriertem und kognitivem Interview nachzuvollziehen, wie Rehabilitanden und Rehabilitandinnen Fragen zur direkten und indirekten Veränderungsmessung verstehen und beantworten, um Ursachen für die Diskrepanz der Ergebnisse beider Methoden zu erklären [28]. Direkte Veränderungsmessung bedeutet, dass der Befragte zu einem Zeitpunkt gefragt wird, inwieweit sich sein Gesundheitszustand oder ein Symptom sich seit einem Referenzzeitpunkt verändert hat (z. B. verbessert, nicht verändert oder verschlechtert). Indirekte Veränderungsmessung bezeichnet die Berechnung einer Differenz zwischen der Erhebung eines Gesundheitszustands oder eines Symptoms an 2 Messzeitpunkten. Die Probanden und Probandinnen wurden mittels proaktiver und spontaner probes zu ihrem Verständnis und der Beantwortung der Fragen befragt. Die Antworten wurden mittels qualitativer Inhaltsanalyse ausgewertet. In den Interviews zeigten sich neben Phänomenen, die die Unterschiedlichkeit der beiden Messmethoden zu erklären helfen, auch Hinweise auf optimierungsbedürftige ­Fragenkon­struktionen. Beispiele für solche Phänomene finden sich in [Tab. 6]: Einige Befragte missverstehen die direkte Veränderungsmessung als Statusmessung, verstehen die Fragen überhaupt nicht (weil diese zu komplex sind) oder haben Probleme mit uneindeutigen Fragen.

Tab. 6 Beispiele aus den kognitiven Interviews der KIVI-Studie.

(1) Fragen zum Veränderungsurteil werden als Statusabfrage missverstanden – Leistungsvermögen im Alltag (QS-Reha/DRV)	Interviewerin: Jetzt haben Sie ja „etwas gebessert“ geantwortet. 022: Ja. Interviewerin: Wie sind Sie denn jetzt zu dieser Antwort gekommen? 022: Ja weil…, ist ganz einfach. Weil im Moment geht’s mir gut. Und…deswegen hab ich das angekreuzt, weil es geht mir auch gut, wenn ich Hausarbeiten mach. Im Moment. (Absatz 303–306)
(2) Probleme mit dem grundsätzlichen Fragenverständnis (Fragenkomplexität) – SF-36 (mehr als 1 km zu Fuß gehen), Veränderungsurteil	030: Im Folgenden sind einige Tätigkeiten beschrieben, die sie vielleicht an einem normalen Tag ausüben. Sind Sie durch Ihren Gesundheitszustand in den vergangenen 4 Wochen eingeschränkt gewesen? Heißt das jetzt davor, vor der Reha oder nach der Reha? Interviewerin: Das wäre jetzt meine Gegenfrage gleich: Wie haben Sie es denn verstanden? 030: Nach der Reha. Ne, vor der Reha. Ja, ich war eingeschränkt. Mehr als 1 km zu Fuß zu gehen. Ich war vor der Reha eingeschränkt. (Absatz 156–158)
(3) Probleme mit der Uneindeutigkeit von Fragen – SF-36 (allgemeiner Gesundheitszustand)	014: (…) Man könnte sämtliche Fragebogen noch ein bißchen differenzieren und dann könnte ja zu jeder Frage noch was dazu schreiben. Dann wäre das…ist ja nicht Sinn der Fragebogen. Interviewerin: Wie müsste…, Sie sagen jetzt grad, differenzieren, wie müsste das aussehen? 014:Ja dann könnte man da z. B. schreiben, körperlich hat sich nichts geändert aber, wie ich schon sagte, psychisch hat sich was geändert. Gibt ja auch Fragebogen, wo man noch was dazu schreiben kann und das da erklären kann, warum und weswegen. Was wir jetzt im Gespräch machen. Gibt’s ja auch Fragebogen, die man dementsprechend ausfüllen kann. (Absatz 271–273)

Die Zahlen 014, 022 und 033 sind die IDs der befragten Rehabilitanden. Die Interviewerin ist NP

Koordinatoren der Reihe „Methoden in der Rehabilitationsforschung“:

Prof. Dr. Dr. Hermann Faller, Würzburg; Prof. Dr. Thomas Kohlmann, Greifswald; Prof. Dr. Dr. Christian Zwingmann, Bochum

Interessenten, die einen Beitrag zur Reihe beisteuern möchten, werden gebeten, vorab Kontakt aufzunehmen, E-Mail: [e-mail]

Interessenkonflikt:

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

¹ Der Begriff „Fehler“ ist aus der Sicht der Fragebogenentwickler bzw. -anwender zu verstehen. Wenn Befragte Fragebogenitems nicht in der intendierten Art und Weise beantworten, beantworten diese das Item in ihrem Sinne korrekt, der „Antwortfehler“ ist auf der Ebene der Interaktion zwischen Befragten und Item zu verorten und durch die Fragebogenentwickler bzw. -anwender anzupassen.

² Fragen müssen der Anforderung genügen, auf sehr unterschiedliche Situationen oder Zustände anwendbar zu sein, ihre Formulierung ist daher eher vage gehalten (intendierte Vagheit/Uneindeutigkeit).

³ Die deutschen Übersetzungen i. S. von Erforschung/Sondierung geben die Bedeutung des Begriffs probing, wie er in der englischsprachigen Literatur verwendet wird, nicht adäquat wieder. Deshalb werden hier wie bei Prüfer und Rexroth [12] die englischsprachigen Begriffe verbal probing, probing und probe(s) verwendet.

• Literatur

• 1 Miller K. Conducting cognitive interviews to understand question-response limitations. American Journal of Health Behaviour 2003; 27 (Suppl 3) S264-S272
• 2 Meyer T, Deck R, Raspe H. Problems completing questionnaires on health status in medical rehabilitation patients. Journal of Rehabilitation Medicine 2007; 39: 633-639
• 3 Presser S, Couper MP, Lessler JT et al. Methods for testing and evaluating survey questions. Public Opinion Quarterly 2004; 68: 109-130
• 4 Willis GB. Cognitive Interviewing. A Tool for improving Questionnaire Design. Thousand Oaks, CA: Sage; 2005
• 5 Tourangeau R. Cognitive science and survey methods. In: Jabine T, Straf M, Tanur J, Tourangeau R. Cognitive Aspects of Survey Design: Building a Bridge between Disciplines. Washington, DC: National ­Academy Press; 1984: 73-100
• 6 Krosnick JA. Survey Research. Annual Review of Psychology 1999; 50: 537-567
• 7 Blair E, Burton S. Processes used in the formulation of behavioural frequency reports in surveys. Proceedings of the Section on Survey Research Methods, American Statistical Association 1986; 481-487
• 8 Meyer T, Deck R, Raspe H. Gültigkeit von Fragebogenangaben in der Rehabilitationsforschung: Unter welchen Bedingungen füllen Patienten Fragebogen aus?. Rehabilitation 2006; 45: 118-127
• 9 Clark HH, Schaeffer EF. Contributing to discourse. Cognitive Science 1989; 13: 259-294
• 10 Faulbaum F, Prüfer P, Rexroth M. Was ist eine gute Frage?. Wiesbaden: Verlag für Sozialwissenschaften; 2009
• 11 Willis GB, Lessler J. The BRFSS-QAS: A Guide for systematically evaluating Survey Question Wording. Rockville, MD: Research Triangle Institute; 1999
• 12 Prüfer P, Rexroth M. Kognitive Interviews. Mannheim: ZUMA How-to-Reihe; Nr. 15 2005. Im Internet: www.gesis.org/fileadmin/upload/forschung/publikationen/gesis_reihen/howto/How_to15PP_MR.pdf Stand: 14.03.2014
• 13 Levine RE, Fowler Jr FJ, Brown JA. Role of cognitive testing in the development of the CAHPS Hospital Survey. Health Services Research 2005; 40: 2037-2056
• 14 Watt T, Rasmussen AK, Groenvold M et al. Improving a newly developed patient-reported outcome for thyroid patients, using cognitive interviewing. Quality of Life Research 2008; 17: 1009-1017
• 15 Ericsson KA, Simon HA. Verbal reports as data. Psychological Review 1980; 87: 215-250
• 16 French DP, Cooke R, McLean N et al. What do people think about when they answer theory of planned behaviour questionnaires?. Journal of Health Psychology 2007; 12: 672-687
• 17 Nápoles-Springer AM, Santoyo-Olsson J, O’Brien H et al. Using cognitive interviews to develop surveys in diverse populations. Medical Care 2006; 44 (Suppl 3) S21-S30
• 18 Meyer T, Karbach U, Holmberg C et al. Qualitative Studien in der Versorgungsforschung – Diskussionspapier, Teil 1: Gegenstandsbestimmung. Gesundheitswesen 2012; 74: 510-515
• 19 Harris-Kojetin LD, Fowler FJ, Brown JA et al. The use of cognitive testing to develop and evaluate CAHPS 1.0 core survey items. Consumer Assessment of Health Plans Study. Medical Care 1999; 37 (Suppl 3) MS10-MS21
• 20 Carbone ET, Campbell MK, Honess-Morreale L. Use of cognitive interview techniques in the development of nutrition surveys and interactive nutrition messages for low-income populations. Journal of the American Dietary Association 2002; 102: 690-696
• 21 Robertson C, Langston AL. The PRISM Trial Group et al. Meaning behind measurement: self-comparisons affect responses to health-related quality of life questionnaires. Quality of Life Research 2009; 18: 221-230
• 22 Loosveldt G. Interaction characteristics of the difficult-to-interview respondent. International Journal of Public Opinion Research 1997; 9: 386-391
• 23 Mayring P. Qualitative Inhaltsanalyse. Weinheim: Beltz; 2010
• 24 Knafl K, Deatrick J, Gallo A et al. The analysis and interpretation of cognitive interviews for instrument development. Research in ­Nursing & Health 2007; 30: 224-234
• 25 Drennan J. Cognitive interviewing: verbal data in the design and pretesting of questionnaires. Journal of Advanced Nursing 2003; 42: 57-63
• 26 Conrad F, Blair J, Tracy E. Verbal reports are data! A theoretical ­approach to cognitive interviews. In: Proceedings of the Federal Committee on Statistical Methodology Research Conference, Tuesday B Sessions. Arlington: VA; 1996: 11-20
• 27 Conrad F, Blesser J. From impressions to data: increasing the objectivity of cognitive interviews. In: Proceedings of the Federal Committee on Statistical Methodology Research Conference, Tuesday B Sessions. Arlington: VA; 1996: 1-10
• 28 Pohontsch N. Gründe für die Diskordanz zwischen indirekter und direkter Messung der Veränderung des subjektiven Gesundheitszustands von orthopädischen und onkologischen Rehabilitanden – Eine qualitative Analyse [Dissertationsschrift]. Lübeck: Universität zu Lübeck; 2013. Im Internet: www.zhb.uni-luebeck.de/ediss1.html#sozialmedizin Stand: 01.07.2014