Intra- and Interobserver Agreement of Endoscopic Sonoelastography in the Evaluation of Lymph Nodes

Zusammenfassung

Ziel: Es mangelt an Untersuchungen zur Intra- und Interobserver-Varianz der endoskopischen Ultrasonografie (EUS) insbesondere der endoskopischen Sonoelastografie (ES). Das Ziel dieser Studie war es, Intra- und Interobserver-Übereinstimmung von EUS und ES während der Untersuchung eines spezifischen Lymphknotens in Patienten mit oberen gastrointestinalen Malignitäten (UGIM) zu bewerten. Die ES-Strainrate wurde verwandt, um zwischen gut- und bösartigen Lymphknoten zu unterscheiden und die Interobserver-Übereinstimmung wurde ausgewertet. Material und Methoden: Diese Studie umfasste prospektiv 62 Patienten mit UGIM. EUS und ES wurden durch 2 Beobachter in randomisierter Reihenfolge an einem bestimmten Lymphknoten unter Benutzung eines linearen Pentax-Echoendoskops und der Hitachi-EUB-8500-US-Anlage durchgeführt. Der Lymphknoten wurde auf Basis von EUS, ES einem ES- Punktesystems und 5 wiederholten Strainraten-Bestimmungen als bös- oder gutartig eingestuft. Die Interobserver-Varianz wurde durch 20 Strainraten-Bestimmungen ermittelt, die jeder Beobachter am selben Lymphknoten durchführte. Schließlich wurde eine EUS-Feinnadelaspiration vollzogen. Zur Ermittlung der Interobserver-Varianz wurde Kappa-Statistik angewandt. Ergebnisse: Ein Patient wurde aufgrund der unzureichenden ES-Bilddarstellung ausgeschlossen. Dadurch wurden 61 Patienten für die Analyse der Interobserver-Übereinstimmung eingeschlossen. Die Kappa-Werte bei Benutzung von EUS betrugen 0,80, von ES 0,58 und des ES-Punktesystems 0,35. Eine ES-Strainrate von 3,81 wurde als Grenzwert zwischen gut- und bösartigen Lymphknoten unter Verwendung der Zytologie als Goldstandard definiert (n = 55). Mit dieser Vorgehensweise erhielt man einen Kappawert von 0,59. Ein t-Test-Vergleich der von den 2 Beobachtern gemessenen Strainraten zeigte keine signifikanten Unterschiede. Schlussfolgerung: Die ES sowie die ES-Strainraten-Bestimmung der Lymphknoten sind gut durchführbar und können mit einer guten Intraobserver-Übereinstimmung in einen klinischen Blindversuch reproduziert werden. Das vordefinierte ES-Punktesystem lieferte eine nur geringe Interobserver-Übereinstimmung. Die Bildauswahl sollte Bestandteil der Intra- und Interobserver-Bewertung sein. Die ES-Strainrate erscheint Erfolg versprechend, aber zur Bewertung dieser neuen Funktion sind größere Studien nötig.

Abstract

Purpose: There is a lack of studies on the intra- and interobserver variability of endoscopic ultrasonography (EUS) and especially endoscopic sonoelastography (ES). The aim of this study was to evaluate the intra- and interobserver agreement of EUS and ES during the evaluation of a specific lymph node in patients with upper gastrointestinal malignancies (UGIM). The ES strain ratio was used to differentiate between benign and malignant lymph nodes and the interobserver agreement was evaluated. Materials and Methods: This study prospectively enrolled 62 patients with UGIM. EUS and ES were performed by two observers in randomized order of a specific lymph node using a linear Pentax echoendoscope and the Hitachi EUB-8500 US unit. The lymph node was classified as malignant or benign on the basis of EUS, ES, an ES scoring system, and 5 repeated strain ratio measurements. The intraobserver variation was evaluated by each observer performing 20 strain ratio measurements of the same lymph node. Finally, EUS fine needle aspiration was performed. The kappa statistic was used to test for interobserver variability. Results: One patient was excluded due to inadequate ES imaging. Thus, 61 patients were included in the analysis of the interobserver agreement. Using EUS, ES, and an ES scoring system, the kappa values were 0.80, 0.58, and 0.35, respectively. An ES strain ratio of 3.81 was defined as the cut-off value between benign and malignant lymph nodes using cytology as the gold standard (n = 55). Using this modality, a kappa value of 0.59 was obtained. A t-test comparison of the measured strain ratios for the two observers found no significant differences. Conclusion: ES and ES strain ratio evaluation of lymph nodes were feasible and may be reproduced with good interobserver agreement in a blinded clinical setup. The predefined ES scoring system provided only poor interobserver agreement. Image selection should be part of the intra- and interobserver evaluation. ES strain ratio seemed promising but larger studies are needed to evaluate this new feature.

Key words

sonoelastography - endoscopic ultrasound - interobserver agreement - lymph nodes

References

• 1 Puli S R, Reddy J B, Bechtold M L et al. Accuracy of Endoscopic Ultrasound in the Diagnosis of Distal and Celiac Axis Lymph Node Metastasis in Esophageal Cancer: A Meta-Analysis and Systematic Review.  Dig Dis Sci. 2008;  53 2405-2414
• 2 Puli S R, Batapati Krishna R J, Bechtold M L et al. Endoscopic ultrasound: It’s accuracy in evaluating mediastinal lymphadenopathy? A meta-analysis and systematic review.  World J Gastroenterol. 2008;  14 3028-3037
• 3 Vazquez-Sequeiros E, Levy M J, Clain J E et al. Routine vs. selective EUS-guided FNA approach for preoperative nodal staging of esophageal carcinoma.  Gastrointest Endosc. 2006;  63 204-211
• 4 Chhieng D C, Jhala D, Jhala N et al. Endoscopic ultrasound-guided fine-needle aspiration biopsy: a study of 103 cases.  Cancer. 2002;  96 232-239
• 5 Chen V K, Eloubeidi M A. Endoscopic ultrasound-guided fine needle aspiration is superior to lymph node echofeatures: a prospective evaluation of mediastinal and peri-intestinal lymphadenopathy.  Am J Gastroenterol. 2004;  99 628-633
• 6 Saftoiu A, Vilmann P, Hassan H et al. Analysis of endoscopic ultrasound elastography used for characterisation and differentiation of benign and malignant lymph nodes.  Ultraschall in Med. 2006;  27 535-542
• 7 Saftoiu A, Vilmann P, Ciurea T et al. Dynamic analysis of EUS used for the differentiation of benign and malignant lymph nodes.  Gastrointest Endosc. 2007;  66 291-300
• 8 Janssen J, Dietrich C F, Will U et al. Endosonographic elastography in the diagnosis of mediastinal lymph nodes.  Endoscopy. 2007;  39 952-957
• 9 Giovannini M, Hookey L C, Bories E et al. Endoscopic ultrasound elastography: the first step towards virtual biopsy? Preliminary results in 49 patients.  Endoscopy. 2006;  38 344-348
• 10 Giovannini M, Thomas B, Erwan B et al. Endoscopic ultrasound elastography for evaluation of lymph nodes and pancreatic masses: a multicenter study.  World J Gastroenterol. 2009;  15 1587-1593
• 11 Hirche T O, Ignee A, Barreiros A P et al. Indications and limitations of endoscopic ultrasound elastography for evaluation of focal pancreatic lesions.  Endoscopy. 2008;  40 910-917
• 12 Fusaroli P, Buscarini E, Peyre S et al. Interobserver agreement in staging gastric malt lymphoma by EUS.  Gastrointest Endosc. 2002;  55 662-668
• 13 Roubein L D, Lynch P, Glober G et al. Interobserver variability in endoscopic ultrasonography: a prospective evaluation.  Gastrointest Endosc. 1996;  44 573-577
• 14 Kelly S, Harris K M, Berry E et al. A systematic review of the staging performance of endoscopic ultrasound in gastro-oesophageal carcinoma.  Gut. 2001;  49 534-539
• 15 Chang K J. Maximizing the yield of EUS-guided fine-needle aspiration.  Gastrointest Endosc. 2002;  56 S28-S34
• 16 Landis J R, Koch G G. The measurement of observer agreement for categorical data.  Biometrics. 1977;  33 159-174
• 17 Burtin P, Napoleon B, Palazzo L et al. Interobserver agreement in endoscopic ultrasonography staging of esophageal and cardia cancer.  Gastrointest Endosc. 1996;  43 20-24
• 18 Catalano M F, Sivak Jr M V, Bedford R A et al. Observer variation and reproducibility of endoscopic ultrasonography.  Gastrointest Endosc. 1995;  41 115-120
• 19 Meining A, Rosch T, Wolf A et al. High interobserver variability in endosonographic staging of upper gastrointestinal cancers.  Z Gastroenterol. 2003;  41 391-394
• 20 Meining A, Dittler H J, Wolf A et al. You get what you expect? A critical appraisal of imaging methodology in endosonographic cancer staging.  Gut. 2002;  50 599-603