Use of Probability Estimates in Medical Communications and Decisions^[*]

Summary

Quantitatively sophisticated physicians in general internal medicine gave a series of probability estimates about each of several cases, which consisted of a written case background and radiological test report. First, they estimated the three quantities of Bayes’ formula: the pretest probability based on the background, the likelihood ratio based on the test report, and the posttest probability based on both. They made two further estimates of the posttest probability, one after being informed of the consensus of expert radiologists on the likelihood ratio of the test and another after being told a consensus pretest probability formed by experts in the medical speciality relevant to the case backgrounds. They also stated how high (low) the posttest probability would have to be in order to confirm (rule out) the suspected disease and estimated the chances that the test report would serve to move the posttest probability across one of those thresholds.

On average, the clinician subjects agreed quite well with the experts’ estimates and with Bayes’ formula. Information about experts’ consensuses influenced the subjects’ estimates in the appropriate direction and decreased the variation among subjects. These results are taken to indicate the feasibility and potential effectiveness of certain quantitative aids to clinical decision making. On the other hand, the variation among the subjects’ estimates, and among experts’ estimates, was substantial - enough to warrant attempts to understand it and to reduce it. Diagnostic criteria that the subjects reported using for case backgrounds and for test reports were analyzed as a way of accounting for some of the variation.

In der allgemeinen inneren Medizin gaben erfahrene Ärzte eine Serie von Wahrscheinlichkeitsschätzungen über verschiedene Fälle ab, die aus einer schriftlich niedergelegten Vorgeschichte und einem radiologischen Befundbericht bestanden. Zuerst schätzten sie die drei Quantitäten der Bayesschen Formel ab: die »Pretest«-Wahrscheinlichkeit basierend auf der Vorgeschichte, den Likelihood-Quotienten auf der Grundlage des Testberichts und die auf beiden beruhende »Posttest«-Wahrscheinlichkeit.

Sie machten zwei weitere Schätzungen der »Posttest«-Wahrscheinlichkeit; eine, nachdem sie über den Konsens von Experten auf dem Gebiet der Radiologie über den Likelihood-Quotienten des Tests informiert worden waren, und eine weitere, nachdem ihnen eine Übereinstimmung über die »Pretest«-Wahrscheinlichkeit von Experten in dem für die Vorgeschichte des Falles relevanten medizinischen Fachbereich übermittelt worden war. Sie gaben auch an, wie hoch (niēdrig) die »Posttest«-Wahrscheinlichkeit sein müßte, um den Verdacht auf eine bestimmte Krankheit zu bestätigen (auszuschließen), und schätzten die Chancen dafür,’ daß der Testbericht dazu dienen würde, die »Posttest«-Wahrscheinlichkeit über eine dieser Schwellen anzuheben.

Im Durchschnitt stimmten die Testärzte (Subjects) recht gut mit den Schätzungen der Fachleute (Experts) und der Bayesschen Formel überein. Informationen über den Konsens der Experts beeinflußte die Schätzungen der Subjects in der richtigen Richtung und verringerte den Unterschied unter den Subjects. Diese Ergebnisse werden benutzt, um die Machbarkeit und potentielle Wirksamkeit bestimmter quantitativer Hilfen für die klinische Entscheidungsfindung aufzuzeigen. Andererseits war der Unterschied zwischen den Schätzungen der Subjects und denen der Experten beträchtlich - genug, um Versuche zu rechtfertigen, ihn zu verstehen und zu reduzieren. Die von den Subjects angegebenen diagnostischen Kriterien für Fallvorgeschichten und Testberichte wurden als Mittel zur Erklärung einiger dieser Unterschiede analysiert.

Key-Words

Medical Communications - Medical Decisions - Probability Estimates - Bayes’ Theorem - Decision Aids - Diagnostic Criteria

Schlüssel-Wörter

Medizinische Kommunikation - ärztliche Entscheidungen - Wahrscheinlichkeitsschätzungen - Bayes Theorem - Entscheidungshilfen - diagnostische Kriterien

^* This research was supported in part by Grant LM03401 from the National Library of Medicine to Brigham and Women's Hospital and in part by Grant 5R01 CA33261-02 from the National Cancer Institute to the University of Chicago. Both granting agencies are in the Department of Health and Human Services. Both grantee institutions have contracts with BBN Laboratories Incorporated.

• REFERENCES

• 1 Balla J. I, Elstein A, Gates P. Effects of Prevalence and Test Diagnosticity upon Clinical Judgments of Probability. Meth. Inform. Med 1983; 22: 25-28.
• 2 Berwick D. M, Fineberg H. V, Weinstein M. C. When Doctors Meet Numbers. Amer. J. Med 1981; 71: 991-998.
• 3 Berwick D. M, Thibodeau L. A. Receiver Operating Characteristic Analysis of Diagnostic Skill. Med. Care 1983; 21: 876-885.
• 4 Cain K. C, Greenes R. A, Begg C. B. Patient-oriented Performance Measures of Diagnostic Tests: 3. U-factor. Med. Decis. Making 1984; 4: 33-46.
• 5 Getty D. J, Swets J. B, Swets J. A. The Observer’s Use of Perceptual Dimensions in Signal Identification. In Nicker-son R. S. (Ed.) Attention and Performance VIII. Hillsdale, N. J: Lawrence Erlbaum Ass; 1980: 361-380.
• 6 Getty D. J, Swets J. A, Swets J. B, Green D. M. On the Prediction of Confusion Matrices from Similarity Judgments. Percept., Psychophys 1979; 26: 1-19.
• 7 Greenes R. A, Begg C. B, Cain K. C, Swets J. A, Feehrer C. E, McNeil B. J. Patient-oriented Performance Measures of Diagnostic Tests: 2. Assignment Potential and Assignment Strength. Med. Decis. Making 1984; 4: 17-31.
• 8 Greenes R. A, Cain K. C, Begg C. B. Patient-oriented Performance Measures of Diagnostic Tests: 1. Tools for Prospective Evaluation of Test Order Decisions. Med. Decis. Making 1984; 4: 7-15.
• 9 Nakao M. A, Axelrod S. Numbers are Better than Words. Amer. J. Med 1983; 74: 1061-1065.
• 10 Schwartz W. B, Wolfe H. J, Paucker S. G. Pathology and Probabilities. New Engl. J. Med 1981; 305: 917-923.
• 11 Spivey M, Ryan J, Metz C, Cooper M. A Nuclear Medicine Approach to Documentation of Patient Care Processes. Presented at the National Symposium and Workshop on Quality Assurance in Nuclear Medicine. Washington, D. C: April 1981
• 12 Tufte E. R. The Visual Display of Quantitative Information. Cheshire, Conn: Graphics Press; 1983
• 13 Wallsten T. S. Physician and Medical Student Bias in Evaluating Diagnostic Information. Med. Decis. Making 1981; 1: 145-164.