Abstract
Purpose To determine the performance of radiologists with different levels of expertise regarding
the differentiation of COVID-19 from other atypical pneumonias. Chest CT to identify
patients suffering from COVID-19 has been reported to be limited by its low specificity
for distinguishing COVID-19 from other atypical pneumonias (“COVID-19 mimics”). Meanwhile,
the understanding of the morphologic patterns of COVID-19 has improved and they appear
to be fairly specific.
Materials and Methods Between 02/2020 and 04/2020, 60 patients with COVID-19 pneumonia underwent chest
CT in our department. Cases were matched with a comparable control group of 60 patients
of similar age, sex, and comorbidities, who underwent chest CT prior to 01/2020 for
atypical pneumonia caused by other pathogens. Included were other viral, fungal, and
bacterial pathogens. All 120 cases were blinded to patient history and were reviewed
independently by two radiologists and two radiology residents. Readers rated the probability
of COVID-19 pneumonia according to the COV-RADS classification system. Results were
analyzed using Clopper-Pearson 95 % confidence intervals, Youden’s Index for test
quality criteria, and Fleiss‘ kappa statistics.
Results Overall, readers were able to correctly identify the presence of COVID-19 pneumonia
in 219/240 (sensitivity: 91 %; 95 %-CI; 86.9 %–94.5 %), and to correctly attribute
CT findings to COVID-19 mimics in 159/240 ratings (specificity: 66.3 %; 59.9 %–72.2 %),
yielding an overall diagnostic accuracy of 78.8 % (378/480; 74.8 %–82.3 %). Individual
reader accuracy ranged from 74.2 % (89/120) to 84.2 % (101/120) and did not correlate
significantly with reader expertise. Youden’s Index was 0.57. Between-reader agreement
was moderate (κ = 0.53).
Conclusion In this enriched cohort, radiologists were able to distinguish COVID-19 from “COVID-19
mimics” with moderate diagnostic accuracy. Accuracy did not correlate with reader
expertise.
Key Points:
-
In a scenario of direct comparison (no negative findings), CT allows the differentiation
of COVID-19 from other atypical pneumonias (“COVID mimics”) with moderate accuracy.
-
Reader expertise did not significantly influence these results.
-
Despite similar patterns and distributions of pulmonary findings, radiologists were
able to estimate the probability of COVID-19 pneumonia using the COV-RADS classification
in a standardized manner in the larger proportion of cases.
Citation Format
Zusammenfassung
Ziel Bestimmung der Leseleistung von Radiologen mit unterschiedlichen Fachkenntnissen
hinsichtlich der Unterscheidung von COVID-19 von anderen atypischen Pneumonien. Als
Limitierung der Thorax-CT in der Identifizierung von Patienten mit COVID-19 wird eine
geringe Spezifität in der Unterscheidung von COVID-19 von anderen atypischen Pneumonien
(„COVID-19-Mimics“) beschrieben. Inzwischen hat sich das Verständnis der morphologischen
Muster von COVID-19 verbessert und scheint relativ spezifisch zu sein.
Material und Methoden Im Zeitraum von Februar bis April 2020 wurden 60 Patienten mit COVID-19-Pneumonie
mittels Thorax-CT in unserem Hause untersucht. Die Fälle wurden einer vergleichbaren
Kontrollgruppe mit ähnlicher Geschlechterverteilung, Alter und Vorerkrankungen gegenübergestellt,
die eine CT-Thorax bei atypischer Pneumonie vor Januar 2020 erhielt. Eingeschlossen
wurden andere virale, Pilz- und atypische bakterielle Erreger. Alle 120 Fälle wurden
verblindet von 2 radiologischen Fachärzten und 2 Assistenzärzten hinsichtlich der
Wahrscheinlichkeit einer COVID-19-Pneumonie anhand des COV-RADS-Score beurteilt. Die
Ergebnisse wurden mittels Clopper-Pearson-95 %-Konfidenzintervallen, Youden-Index
für die Testgütekriterien und Fleiss’ Kappa ausgewertet.
Ergebnisse Insgesamt erkannten die Radiologen das Vorliegen einer COVID-19-Pneumonie in 219/240
Wertungen (Sensitivität: 91 %; 95 %-KI 86,9–94,5 %) und das eines „COVID-19-Mimics“
in 159/240 Wertungen (Spezifität: 66,3 %; 95 %-KI 59,9 %–72,2 %). Dies entspricht
einer diagnostischen Genauigkeit von 78,8 % (378/480 Wertungen; 74,8–82,3 %). Individuelle
diagnostische Genauigkeiten reichten von 74,2 % (89/120) bis 84,2 % (101/120) und
korrelierten nicht signifikant mit der Berufserfahrung. Der Youden-Index betrug 0,57.
Die Übereinstimmung der Radiologen war moderat (κ = 0,53).
Zusammenfassung In dieser mit atypischen Pneumonien angereicherten Kohorte konnten die Radiologen
anhand der CT-Untersuchung COVID-19-Pneumonien von „COVID-Mimics“ mit moderater diagnostischer
Genauigkeit unterscheiden. Hierbei zeigte die Berufserfahrung der Radiologen keinen
direkten Einfluss auf die Ergebnisse.
Kernaussagen:
-
Eine Unterscheidung zwischen COVID-19- und anderen atypischen Pneumonien („COVID-Mimics“)
in der CT ist im Szenario des direkten Vergleichs (keine Negativbefunde) mit moderater
diagnostischer Genauigkeit möglich.
-
Die Berufserfahrung hatte keinen direkten Einfluss auf die Ergebnisse.
-
Trotz der ähnlichen Verteilung von Infiltraten konnten die Radiologen anhand der COV-RADS-Klassifikation
die Wahrscheinlichkeiten für das Vorliegen einer COVID-Pneumonie reliabel und standardisiert
im größeren Anteil der Fälle einschätzen.
Key words
COVID-19 - diagnostic accuracy - CT - atypical pneumonia
