Present Limitations of Artificial Intelligence in the Emergency Setting – Performance Study of a Commercial, Computer-Aided Detection Algorithm for Pulmonary Embolism - Müller-Peltzer, Katharina; Kretzschmar, Lena; Negrão de Figueiredo, Giovanna; Crispin, Alexander; Stahl, Robert; Bamberg, Fabian; Trumm, Christoph Gregor (RöFo - Fortschritte auf dem Gebiet der Röntgenstrahlen und der bildgebenden Verfahren, 2021)
Purpose Since artificial intelligence is transitioning from an experimental stage to clinical implementation, the aim of our study was to evaluate the performance of a commercial, computer-aided detection algorithm of computed tomography pulmonary angiograms regarding the presence of pulmonary embolism in the emergency room.Materials and Methods This retrospective study includes all pulmonary computed tomography angiogram studies performed in a large emergency department over a period of 36 months that were analyzed by two radiologists experienced in emergency radiology to set a reference standard. Original reports and computer-aided detection results were compared regarding the detection of lobar, segmental, and subsegmental pulmonary embolism. All computer-aided detection findings were analyzed concerning the underlying pathology. False-positive findings were correlated to the contrast-to-noise ratio.Results Expert reading revealed pulmonary embolism in 182 of 1229 patients (49 % men, 10–97 years) with a total of 504 emboli. The computer-aided detection algorithm reported 3331 findings, including 258 (8 %) true-positive findings and 3073 (92 %) false-positive findings. Computer-aided detection analysis showed a sensitivity of 47 % (95 %CI: 33–61 %) on the lobar level and 50 % (95 %CI 43–56 %) on the subsegmental level. On average, there were 2.25 false-positive findings per study (median 2, range 0–25). There was no significant correlation between the number of false-positive findings and the contrast-to-noise ratio (Spearman’s Rank Correlation Coefficient = 0.09). Soft tissue (61.0 %) and pulmonary veins (24.1 %) were the most common underlying reasons for false-positive findings.Conclusion Applied to a population at a large emergency room, the tested commercial computer-aided detection algorithm faced relevant performance challenges that need to be addressed in future development projects.Key Points: Citation FormatZiel Da zunehmend Anwendungen künstlicher Intelligenz im klinischen Alltag implementiert werden, war das Ziel unserer Studie, die Leistung eines kommerziellen, computerassistierten Detektionsalgorithmus für Lungenarterienembolien in Computertomografie-Pulmonalisangiografien im Rahmen einer Notfallbefundung zu analysieren.Material und Methoden In diese retrospektive Studie wurden alle Computertomografie-Pulmonalisangiografien eingeschlossen, die über einen Zeitraum von 36 Monaten in einer großen deutschen Notaufnahme gefahren wurden. Alle eingeschlossenen Untersuchungen wurden von 2 in Notfallradiologie erfahrenen Radiologen bewertet, um einen Referenzstandard festzulegen. Die Originalbefunde wurden mit den Ergebnissen des computerassistierten Detektionsalgorithmus in Bezug auf die Erkennung lobärer, segmentaler und subsegmentaler Lungenarterienembolien verglichen. Für alle Ergebnisse des computerbasierten Detektionsalgorithmus wurde die zugrunde liegende Pathologie definiert. Falsch positive Ergebnisse des Detektionsalgorithmus wurden mit dem Kontrast-Rausch-Verhältnis verglichen.Ergebnisse Im Rahmen der Referenzbefundung wurden 504 Emboli in 182 von insgesamt 1229 Patienten (49 % männlich, 10–97 Jahre) detektiert. Der computerassistierte Detektionsalgorithmus zeigte insgesamt 3331 Ergebnisse an, hiervon waren 258 (8 %) richtig positiv und 3073 (92 %) falsch positiv. Die Sensitivität des Detektionsalgorithmus betrug 47 % (95 %-Konfidenzintervall 33–61 %) für lobäre und 50 % (95 %-Konfidenzintervall 43–56 %) für subsegmentale Lungenarterienembolien. Im Durchschnitt wurden 2,25 Ergebnisse pro Untersuchung (Median 2, 0–25) angezeigt. Es gab keine signifikante Korrelation zwischen der Anzahl der falsch positiven Ergebnisse und dem Kontrast-Rausch-Verhältnis (Spearman’s Rangkorrelationskoeffizient = 0,09). Weichteilgewebe (61,0 %) und Pulmonalvenen (24,1 %) waren die häufigsten Ursachen für falsch positive Ergebnisse.Schlussfolgerung Die Anwendung des getesteten computerassistierten Detektionsalgorithmus auf ein Patientenkollektiv einer großen Notaufnahme deckt die Schwachstellen des Algorithmus auf, die im Rahmen zukünftiger Projektentwicklungen optimiert werden sollten.Kernaussagen: Zitierweise
Keywords: pulmonary embolism; CAD; CT pulmonary angiogram; computer-aided detection