False-Positive and False-Negative Misclassification of Liver Scans

Liver scans are used in the study of hepatic cancer. Changes in the size of perfusion defects may prompt the judgment of progression or regression of the disease. Assessments of change of size are usually made subjectively and there is the possibility that different investigators may differ in their assessments of a perfusion defect or that a particular investigator may not be consistent in his assessment from one time to another. Various possibilities of misclassification exist. A defect which is unchanged may be adjudged to have progressed or regressed (false-positive misclassification); true progression (or regression) may fail to be discerned (false-negative misclassification).

An experiment was conducted to examine the assessment of perfusion defect areas by a group of experienced oncologists examining a set of liver scans. Misclassification probabilities were estimated and their extent gives grounds for concern. False attribution of progression (or regression) at the 50% level occurs with probabilities in the range 0.23 to 0.37. Failure to adjudge progression (regression) at the 50% level, where there is true progression at the 100% level, arises with an estimated probability in the range 0.20 to 0.26. The higher values refer to cases where different investigators examine the scans on two occasions; the lower values when one investigator makes both assessments. Unjustified rounding-off of measured values seems an important factor in the occurrence of misclassification.

Leber-Scans werden zur Untersuchung auf Leberkrebs verwendet. Veränderungen in der Größe von Perfusionsdefekten können die Beurteilung der Progression oder Regression der Krankheit stützen. Die Einschätzung der Veränderungen ist subjektiv; daher besteht die Möglichkeit, daß verschiedene Untersucher einen Perfusionsdefekt unterschiedlich beurteilen oder daß ein bestimmter Untersucher seine Beurteilung von einem Zeitpunkt zum anderen ändert. Es gibt verschiedene Möglichkeiten der Fehlklassifikation. Ein unveränderter Defekt kann als Progression oder Regression eingeschätzt werden (falsch positive Fehlklassifikation); eine wirkliche Progression (oder Regression) kann unbeachtet bleiben (falsch negative Fehlklassifikation).

Um einen Anhalt für die Genauigkeit der Abschätzung von Zonen mit Perfusionsdefekten zu gewinnen, wurde einer Gruppe von erfahrenen Onkologen eine Anzahl von Leber-Scans vorgelegt. Die Wahrscheinlichkeit der Fehlklassifikation wurde geschätzt; ihr Ausmaß gibt Anlaß zur Beunruhigung. Eine falsche Beurteilung als Progression (oder Regression) auf der 50%-Ebene kommt mit einer Wahrscheinlichkeit von 0,23 bis 0,37 vor. Die Unfähigkeit, Progression bzw. Regression auf der 50%-Ebene zu erkennen, wenn auf der 100%-Ebene echte Progression vorliegt, kommt mit einer geschätzten Wahrscheinlichkeit von 0,20 bis 0,26 vor. Die höheren Werte beziehen sich auf Fälle, bei denen verschiedene Untersucher die Scans zweimal untersuchten; die niedrigeren Werte beziehen sich auf Fälle, bei denen ein Untersucher beide Beurteilungen vornahm. Eine ungerechtfertigte Abrundung von gemessenen Werten scheint ein wichtiger Faktor für das Auftreten von Fehlklassifikationen zu sein.

Keywords

Liver Scans - Hepatic Cancer - Areas of Perfusion Defect - Measurement Errors - Incorrect Attribution of Progression or Regression

Schlüssel-Wörter

Leber-Scans - Leberkrebs - Zonen mit Perfusionsdefekten - Meßfehler - unrichtige Zuordnung von Progression oder Regression.

^*) Work conducted in part in the Statistical Laboratory, State lesion in liver scan. University of New York at Buffalo, under research contract number NO CM-33715.

• References

• 1 GOTLAND J., JOHNSON R. O.. Case for Using only Maximum Diameter in Measuring Tumors. Cancer Chemother. Rep 50 ( 1966; ) 119-124.
• 2 MOEETEL C. G., HANLEY J. A.. The Effect of Measuring Error on the Results of Therapeutic Trials in Advanced Cancer. Cancer 3S ( 1976; ) 388-388.
• 3 ROSE G. A., HOLLAND W. W., CROWLEY F. A.. A Sphygmomanometer for Epidemiologists. Lancet 1964; I: 296-300.
• 4 SIEGEL S.. Nonparametric Statistics for the Behavioural Scienccs. ( New York: McGraw-Hill; 1956. ).