Interoperator Reliability of Lung Ultrasound during the COVID-19 Pandemic

Abstract

Aim Lung ultrasound (LUS) is a reliable, radiation-free, and bedside imaging technique used to assess several pulmonary diseases. Although COVID-19 is diagnosed with a nasopharyngeal swab, detection of pulmonary involvement is crucial for safe patient discharge. Computed tomography (CT) is currently the gold standard. To treat paucisymptomatic patients, we have implemented a “fast track” pathway in our emergency department, using LUS as a valid alternative. Minimal data is available in the literature about interobserver reliability and the level of expertise needed to perform a reliable examination. Our aim was to assess these.

Materials and Methods This was a single-center prospective study. We enrolled 96 patients. 12 lung areas were explored in each patient with a semiquantitative assessment of pulmonary aeration loss in order to obtain the LUS score. Scans were performed by two different operators, an expert and a novice, who were blinded to their colleague’s results.

Results 96 patients were enrolled. The intraclass correlation coefficient (ICC) showed excellent agreement between the expert and the novice operator (ICC 0.975; 0.962–0.983); demographic features (age, sex, and chronic pulmonary disease) did not influence the reproducibility of the method. The ICC was 0.973 (0.950–0.986) in males, 0.976 (0.959–0.986) in females; 0.965 (0.940–0.980) in younger patients (≤ 46 yrs), and 0.973 (0.952–0.985) in older (> 46 yrs) patients. The ICC was 0.967 (0.882–0.991) in patients with pulmonary disease and 0.975 (0.962–0.984) in the other patients. The learning curve showed an increase in interobserver agreement.

Conclusion Our results confirm the feasibility and reproducibility of the method among operators with different levels of expertise, with a rapid learning curve.

Zusammenfassung

Ziel Lungenultraschall (LUS) ist ein zuverlässiges, strahlungsfreies und bettseitiges Bildgebungsverfahren, das zur Beurteilung verschiedener Lungenerkrankungen eingesetzt wird. Obwohl die Diagnose von COVID-19 mittels Nasopharyngealabstrich erfolgt, ist der Nachweis einer pulmonalen Beteiligung für die sichere Entlassung des Patienten von entscheidender Bedeutung. Die Computertomografie (CT) ist derzeit der Goldstandard. Um paucisymptomatische Patienten zu behandeln, haben wir in unserer Notaufnahme einen „Fast Track“-Pfad implementiert, der LUS als valide Alternative nutzt. In der Literatur gibt es nur wenige Daten zur Inter-Observer-Reliabilität und den Grad der Expertise, die für eine zuverlässige Untersuchung erforderlich sind. Unser Ziel war es daher, diese zu bewerten.

Material und Methoden Es handelte sich um eine prospektive Single-Center-Studie. Wir haben 96 Patienten eingeschlossen. Bei jedem Patienten wurden 12 Lungenbereiche mit semiquantitativer Bewertung des pulmonalen Belüftungsverlustes untersucht, um den LUS-Score zu erhalten. Die Scans wurden von 2 verschiedenen Anwendern, einem Experten und einem Neuling, durchgeführt, die gegenüber den Ergebnissen ihres Kollegen verblindet waren.

Ergebnisse 96 Patienten wurden in die Studie aufgenommen. Der Intraklassen-Korrelationskoeffizient (ICC) zeigte eine ausgezeichnete Übereinstimmung zwischen dem Experten und dem Neuanwender (ICC 0,975; 0,962–0,983). Demografische Merkmale (Alter, Geschlecht und chronische Lungenerkrankung) hatten keinen Einfluss auf die Reproduzierbarkeit der Methode. Der ICC betrug 0,973 (0,950–0,986) bei Männern; 0,976 (0,959–0,986) bei Frauen; 0,965 (0,940–0,980) bei jüngeren Patienten (≤ 46 Jahre) und 0,973 (0,952–0,985) bei älteren Patienten (> 46 Jahre). Der ICC betrug 0,967 (0,882–0,991) bei Patienten mit Lungenerkrankungen und 0,975 (0,962–0,984) bei den anderen Patienten. Die Lernkurve zeigte einen Anstieg der Inter-Observer-Übereinstimmung.

Schlussfolgerung Unsere Ergebnisse bestätigen die Durchführbarkeit und Reproduzierbarkeit der Methode bei Anwendern mit unterschiedlichem Fachwissen mit einer schnellen Lernkurve.

Key words

COVID-19 - lung ultrasound - chest - LUS score - interoperator reliability

Publication History

Received: 13 July 2020

Accepted: 10 March 2021

Article published online:
15 April 2021

• References

• 1 Wimalasena Y, Kocierz L, Strong D. et al Lung ultrasound: a useful tool in the assessment of the dyspnoeic patient in the emergency department. Fact or fiction?. Emerg Med J 2018; 35 (04) 258-266 . doi:10.1136/emermed-2016-205937
• 2 Wong HYF, Lam HYS, Fong AH. et al Frequency and Distribution of Chest Radiographic Findings in COVID-19 Positive Patients. Radiology 2019; 201160 DOI: 10.1148/radiol.2020201160.
• 3 Jacobi A, Chung M, Bernheim A. et al Portable chest X-ray in coronavirus disease-19 (COVID-19): A pictorial review. Clin Imaging 2020; 64: 35-42 . doi:10.1016/j.clinimag.2020.04.001
• 4 Fang Y, Zhang H, Xie J. et al Sensitivity of Chest CT for COVID-19: Comparison to RT-PCR. Radiology 2020; 200432 DOI: 10.1148/radiol.2020200432.
• 5 Pan Y, Guan H, Zhou S. et al Initial CT findings and temporal changes in patients with the novel coronavirus pneumonia (2019-nCoV): a study of 63 patients in Wuhan, China. Eur Radiol 2020; DOI: 10.1007/s00330-020-06731-x.
• 6 Pan F, Ye T, Sun P. et al Time Course of Lung Changes On Chest CT During Recovery From 2019 Novel Coronavirus (COVID-19) Pneumonia. Radiology 2020; 200370 DOI: 10.1148/radiol.2020200370.
• 7 Salehi S, Abedi A, Balakrishnan S. et al Coronavirus Disease 2019 (COVID-19): A Systematic Review of Imaging Findings in 919 Patients. Am J Roentgenol Am JRoentgenol 2020; 1-7 DOI: 10.2214/AJR.20.23034.
• 8 Volpicelli G, Gargani L. Sonographic signs and patterns of COVID-19 pneumonia. Ultrasound J 2020; 12: 22 . doi:10.1186/s13089-020-00171-w
• 9 Mayo PH, Beaulieu Y, Doelken P. et al American College of Chest Physicians/La Société de Réanimation de Langue Française statement on competence in critical care ultrasonography. Chest 2009; 135 (04) 1050-1060 . doi:10.1378/chest.08-2305
• 10 Soldati G, Smargiassi A, Inchingolo R. et al Is There a Role for Lung Ultrasound During the COVID-19 Pandemic?. J Ultrasound Med 2020; DOI: 10.1002/jum.15284.
• 11 Bouhemad B, Zhang M, Lu Q. et al Clinical review: Bedside lung ultrasound in critical care practice. Crit Care 2007; 11: 205
• 12 Bouhemad B, Mongodi S, Via G. et al Ultrasound for “lung monitoring” of ventilated patients. Anesthesiology 2015; 122: 437-447 . doi:10.1097/ALN.0000000000000558
• 13 Dietrich CF, Mathis G, Cui XW. et al Ultrasound of the pleurae and lungs. Ultrasound Med Biol 2015; 41: 351-365 . doi:10.1016/j.ultrasmedbio.2014.10.002
• 14 Volpicelli G, Lamorte A, Villén T. What's new in lung ultrasound during the COVID-19 pandemic. Intensive Care Med 2020; DOI: 10.1007/s00134-020-06048-9.
• 15 Pičuljan A, Šustić M, Brumini G. et al Reliability of B-line quantification by different-level observers and a software algorithm using point-of-care lung ultrasound. J Clin MonitComput 2019; DOI: 10.1007/s10877-019-00440-7.
• 16 Anderson KL, Fields JM, Panebianco NL. et al Inter-rater reliability of quantifying pleural B-lines using multiple counting methods. J Ultrasound Med 2013; 32: 115-120
• 17 Gullett J, Donnelly JP, Sinert R. et al Interobserver agreement in the evaluation of B-lines using bedside ultrasound. J Crit Care 2015; 30: 1395-1399 . doi:10.1016/j.jcrc.2015.08.021
• 18 Moy RJ, Chapman AL, Bapusamy A. The Effectiveness of an Informal Teaching Programme for Junior Doctors Identifying Pleural Effusions Using Ultrasound at the Bedside. JR Army Med Corps 2010; 156: 233-235
• 19 Rouby JJ, Arbelot C, Gao Y. et al Training for lung ultrasound score measurement in critically Ill patients. Am J Respir Crit Care Med 2018; 198: 398-401
• 20 Via G, Storti E, Gulati G. et al Lung ultrasound in the ICU: from diagnostic instrument to respiratory monitoring tool. Minerva Anestesiol 2012; 78: 1282-1296 . Epub 2012 Aug 3. PMID: 22858877
• 21 Piscaglia F, Stefanini F, Cantisani V. et al Benefits, Open questions and Challenges of the use of Ultrasound in the COVID-19 pandemic era. The views of a panel of worldwide international experts. Ultraschall in Med 2020; DOI: 10.1055/a-1149-9872.
• 22 Tung-Chen Y, Marti de Gracia M, Diez-Tascon A. et al Correlation between chest computed tomography and lung ultrasonography in patients with coronavirus disease 2019 (covid-19). Ultrasound Med Biol 2020; 46: 2918-2926