A Graphic Method for the Evaluation of Diagnostic Tests^[*]

The theory of decision-making has been previously applied to the evaluation of laboratory tests in clinical diagnosis taut the emphasis on formulae and equations has discouraged many physicians from attempting to understand the concept. This paper offers a graphic portrayal of the four possible decision outcomes : true negative, false negative, true positive and false positive. The presentation permits a graphic representation of the concepts of specificity, sensitivity, accuracy, predictive value of a laboratory test and information content as well as of the receiver-operating-characteristic (ROC) curve. It demonstrates why disease incidence has no effect upon specificity, sensitivity and the ROC curve but has a strong influence upon accuracy and information content and especially upon the predictive value of a positive laboratory test. The graphic method is applicable to theoretical distributions and to distributions based on actual laboratory data.

Die Theorie der Entscheidungsfindung ist bereits früher auf die Auswertung von Laboratoriumstests bei der klinischen Diagnose angewandt worden; jedoch hat die Betonung der Formeln und Gleichungen viele Ärzte von dem Versuch abgehalten, das Konzept zu verstehen. Die vorliegende Arbeit bietet eure graphische Darstellung von vier möglichen Entscheidungsergebnissen an: richtig negativ, falsch negativ, richtig positiv und falsch positiv. Sie gestattet eine graphische Darstellung der Begriffe der Spezifität, der Sensitivität, der Genauigkeit, des Prädikationswertes eines Laboratoriumstests und des Informationsgehalts sowie der sogenannten Receiver-Operating-Characteristic (ROC)-Kurve. Sie demonstriert, warum die Krankheitsinzidenz keinen Einfluß auf die Speziflzität, die Sensitivität und die ROC-Kurve, jedoch einen großen Einfluß auf die Genauigkeit und den Informationsgehalt und besonders auf den Vorhersagewert eines positiven Laboratoriumstests ausübt. Die graphische Methode kann auf theoretische Verteilungen und auf Verteilungen angewandt werden, die auf tatsächlichen Laboratoriumsdaten beruhen.

Key-Words:

Sensitivity - Specificity - Predictive Value - Receiver-operating-characteristic (ROC) Curve - Decision-Making - Information Content - Diagnostic Test

Schlüssel-Wörter:

Sensitivität - Speziflzität - Vorhersagewert - Receiver-Operating-Characteristic (ROC)-Kurve - Entscheidungsfindung - Informationsgehalt - Diagnostischer Test

• References

• 1 Archer P. G. The predictive value of clinical laboratory test results. Amer. J. clin. Path 1978; 69: 32-35.
• 2 Benson E. S. Clinical laboratory utilization and the cost of health care. Postgrad. Med 1978; 63: 20-21.
• 3 Burke M. D. Laboratory tests: basic concepts and realistic expectation. Postgrad. Med 1978; 63: 53-60.
• 4 Fagan T. J. Nomogram for Bayes’s theorem. New Engl. J. Med 1975; 293: 257.
• 5 Ginsberg A. S. Decision analysis in clinical patient management with an application to the pleural-effusion syndrome. (Rand Corporation Monograph R-751-RC/NLM, Santa Monica, Calif., Rand Corporation 1971).
• 6 Gorry G. A. A system for computer-aided diagnosis. Ph. D. Thesis, Massachusetts Institute of Technology, Springfield, Virginia (Clearinghouse for Federal Scientific and Technical Information 1967
• 7 Gorry P. A, Pauker S. G, Schwartz W. B. The diagnostic importance of the normal finding. New Engl. J. Med 1978; 298: 486-489.
• 8 Ingeleinger F. J. Editorial: Decision in medicine. New Engl. J. Med 1975; 293: 254-255.
• 9 Katz M. A. A probability graph describing the predictive value of a highly sensitive diagnostic test. New Engl. J. Med 1974; 292: 1115-1116.
• 10 Knowles J. H. Radiology — a case study in technology and manpower. New Engl. J. Med 1969; 280: 1323-1329.
• 11 Lusted L. B. Decision-making studies in patient management. New Engl. J. Med 1971; 284: 416-424.
• 12 Lusted L. B. Editorial : In the process of solution. New Engl. J. Med 1975; 293: 255-256.
• 13 Massod M. F. Nonparametric percentile estimate of clinical normal ranges. Amer. J. Med. Technol 1977; 43: 243-252.
• 14 Mcneil B. J, Keeler E, Adelstein S. J. Primer on certain elements of medical decision malting. New Engl. J. Med 1975; 293: 211-215.
• 15 Mcneil B. J, Varady P. D, Burrows B. A, Adelstein S. J. Measures of clinical efficacy: cost-effectiveness calculations in the diagnosis and treatment of hypertensive renovascular disease. New Engl. J. Med 1975; 293: 216-221.
• 16 Mcneil B. J, Adelstein S. J. Measures of clinical efficacy; the value of case finding in hypertensive renovascular disease. New Engl. J. Med 1975; 293: 221-226.
• 17 Metz C. E, Goodenough D. J, Rossman K. Evaluation of receiver operating characteristic curve data in terms of information theory, with applications in radiography. Radiology 1973; 109: 297-303.
• 18 Neuhauser D, Lewicki A. M. What do we gain from the sixth stool guaiac ? New Engl. J. Med 1975; 293: 226-228.
• 19 Pauker S. G, Kassirer J. P. Therapeutic decision making: a cost-benefit analysis. New Engl. J. Med 1975; 293: 229-234.
• 20 Rossing R. G, Hatcher W. E. Estimation of percentiles in laboratory data. In Martin J. I. (Edit.): Proceedings of the 16th San Diego Biomedical Symposium New York: Academic Press; 1977: 459-463.
• 21 Rossing R. G, Rao S. V, Maewal H. K, Hatcher W. E. The clinical utility of percentile estimation in Spirometric data. In Martin J. T, Calvert E. A. (Eds) Proceedings of the 17th San Diego Biomedical Symposium. North Hollywood: Western Periodicals Co.; 1978: 157-162.
• 22 Schwartz W. B, Gorry G. A, Kassiber J. P, Essig A. Decision analysis and clinical judgment. Amer. J. Med 1973; 55: 459-472.
• 23 Vecchio T. J. Predictive value of a single diagnostic test in unselected populations. New Engl. J. Med 1966; 274: 1171-1173.