Effects of Observer Variation on Performance in Probabilistic Diagnosis of Jaundice

A system for probabilistic diagnosis of jaundice has been used for studying the effects of taking into account the unreliability of diagnostic data caused by observer variation. Fourteen features from history and physical examination were studied. Bayes’ theorem was used for calculating the probabilities of a patient’s belonging to each of four diagnostic categories.

The construction sample consisted of 61 patients. An equal number of patients were tested in the evaluation sample. Observer variation on the fourteen features had been assessed in two previous studies. The use of kappa-statistics for measuring observer variation allowed the construction of a probability transition matrix for each feature. Diagnostic probabilities could then be calculated with and without the inclusion of weights for observer variation. Tests of system performance revealed that discriminatory power remained unchanged. However, the predictions rendered by the variation-weighted system were diffident. It is concluded that taking observer variation into account may weaken the sharpness of probabilistic diagnosis but it may also help to explain the value of probabilistic diagnosis in future applications.

Ein System zur probabilistischen Diagnose von Gelbsucht wurde benutzt, um die Auswirkungen der durch Beobachter-Variation verursachten UnZuverlässigkeit diagnostischer Daten zu untersuchen. Vierzehn Merkmale aus Vorgeschichte und ärztlicher Untersuchung wurden studiert. Das Bayes’sche Theorem wurde benutzt, um die Wahrscheinlichkeit der Zugehörigkeit eines Patienten zu jeder von vier diagnostischen Kategorien zu berechnen.

Die Konstruktionsstichprobe bestand aus 61 Patienten. Die gleiche Anzahl von Patienten wurde in der Auswertungsstichprobe getestet. Die Beobachter-Variation bei den vierzehn Merkmalen war in zwei früheren Studien festgestellt worden. Die Anwendung der Kappa-Statistik zur Messung der Beobachter-Variation ermöglichte die Konstruktion einer Wahrscheinlichkeits-Übergangsmatrix für jedes Merkmal. Diagnostische Wahrscheinlichkeiten konnten dann mit und ohne Gewichtung für die Beobachter-Variation berechnet werden. Überprüfungen der Systemleistung ergaben, daß die Diskriminierungsfähigkeit unverändert blieb. Jedoch waren die Voraussagen durch das variationsgewichtete System unsicher. Es wird geschlossen, daß die Berücksichtigung der Beobachter-Variation die Schärfe der probabilistischen Diagnose vermindern kann; sie kann aber auch eine Hilfe bei der Erklärung des Wertes der probabilistischen Diagnose für zukünftige Anwendungen sein.

Key-Words:

Observer Variation - Probabilistic Diagnosis - Computer-aided Diagnosis - Jaundice - Medical History - Physical Examination

Schlüssel-Wörter:

Beobachter-Variation - probabilistische Diagnose - computerunterstützte Diagnose - Gelbsucht - medizinische Vorgeschichte - ärztliche Untersuchung

• References

• 1 Brier G. W, Allen R. A. Verification of Weather Forecasts. In Malone T. F. (Edit.): Compendium of Meteorology Boston: American Meteorological Society; 1951: 841-848.
• 2 Cohen J. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement 1960; 20: 37-46.
• 3 Fletcher C. M. The Problem of Observer Variation in Medical Diagnosis with Special Reference to Chest Diseases. Meth. Inform. Med 1964; 3: 98-103.
• 4 Good I. J, Card W. I. The Diagnostic Process with Special Reference to Errors. Meth. Inform. Med 1971; 10: 176-188.
• 5 Hilden J, Habbema J. D. F, Bjerregaard B. The Measurement of Performance in Probabilistic Diagnosis, II—III. Meth. Inform. Med 1978; 17: 227-246.
• 6 Knill-Jones R. P, Stern R. B, Girmes D. H, Maxwell J. D, Thompson R. P. H, Williams R. Use of Sequential Bayesian Model in Diagnosis of Jaundice by Computer. Brit. Med. J 1973; 1: 530-533.
• 7 Koran L. M. The Reliability of Clinical Methods, Data and Judgements. New Engl. J. Med 1975; 293 642-646 695-701.
• 8 Lindberg G, Helmers C. Inter-Observer Variation of Symptoms and Signs in Jaundice. Scand. J. Gastroenterol. (Submitted for publ.).
• 9 Lindberg G, Björkman A, Helmers C, Knill-Jones R. P. Decision-Making in Jaundice. Unpubl 1980
• 10 Lusted L. B. Introduction to Medical Decision Making. Springfield, Illinois: C. C. Thomas Publishers; 1968
• 11 Theodossi A, Knill-Jones R. P, Skene A, Lindberg G, Bjerregaard B, Holt-Christensen J, Williams R. Inter-Observer Variation of Symptoms and Signs in Jaundice. Liver 1981; 1: 21-32.