The Reliability of Transcranial Duplex Scanning in Parkinsonian Patients: Comparison of Different Observers and Ultrasound Systems

Zusammenfassung

Ziel: Untersuchung der Inter-Observer- und Intra-Transducer-Reliabilität bei „online”- und „offline”-Untersuchung der Substantia nigra (SN) und der Raphe Kerne (RN) mittels transkranieller Duplex-Sonografie in einer gemischten Studienpopulation. Material und Methoden: Ambulanz der neurologischen Klinik der Universitätsklinik Maastricht. Insgesamt wurden 24 Probanden untersucht: 9 Patienten mit idiopathischer Parkinson-Erkrankung, 10 Patienten mit Parkinson-Syndrom unklarer Genese, 1 Patient mit essenziellem Tremor und 4 gesunde Probanden. Jeder Studienteilnehmer wurde 4-mal durch 2 unabhängige erfahrene Ultraschaller mit 2 verschiedenen Ultraschallsystemen (SONOS 5500 and iU22; beide Philips, Eindhoven, Niederlande) untersucht. Die Echointensität der SN wurde qualitativ und quantitativ, die RN nur qualitativ bewertet. 1. Bei der „online”-Messung wurde bewertet: a) die Inter-Observer-Übereinstimmung der 4 möglichen Kombinationen. b) die Intra-Observer-Übereinstimmung beider Ultraschaller bei Einsatz der 2 unterschiedlichen Ultraschallsysteme. 2. Bei der „offline”-Analyse bewertete ein dritter Ultraschaller die gespeicherten Bilder. Wir untersuchten die Inter-Observer-Übereinstimmung des dritten Untersuchers mit den Ergebnissen der „online”-Untersuchungen der 2 anderen Ultraschaller. Cohen’s Kappa-Koeffizient wurde für die Übereinstimmung berechnet. Ergebnisse: 1a) Die „online”-Inter-Observer-Übereinstimmung der 4 möglichen Kombinationen von Ultraschallern und Transducern lag bei: Kappa 0,23 – 0,39 für die qualitative Evaluation der SN, Kappa 0,31 – 0,56 für die quantitative Evaluation der SN und Kappa 0,03 – 0,15 für die Evaluation der RN. 1b) Die „online”-Intra-Observer-Übereinstimmung war: Kappa 0,53 – 0,67 für die qualitative Evaluation der SN, Kappa 0,55 – 0,76 für die quantitative Evaluation der SN und Kappa 0,45 – 0,47 für die Evaluation der RN. 2. Die „offline”-Inter-Observer Übereinstimmung war: Kappa 0,32 – 0,67 für die qualitative Evaluation der SN, Kappa 0,53 – 0,61 für die quantitative Evaluation der SN und Kappa 0,08 – 0,33 für die Evaluation der RN. Schlussfolgerung: Für die SN fand sich eine mäßige Übereinstimmung im Vergleich beider Untersucher miteinander im „online”-Verfahren wie auch beim Vergleich eines „offline”-Untersuchers mit den beiden „online”-Untersuchern. Insgesamt war für die Bewertung der SN die Inter-Observer- und die Intra-Observer-Übereinstimmung mittelgradig bis gut. Die Übereinstimmung für die Evaluation der RN war im Gegensatz hierzu deutlich geringer. Unsere Ergebnisse zeigen, dass diese TCD-Technik für Screeninguntersuchungen in großen Populationen noch nicht ausgereift genug ist.

Abstract

Purpose: To establish the inter-observer and intra-transducer reliability of ”on-line” and ”off-line” assessment of substantia nigra (SN) and raphe nuclei (RN) by transcranial duplex scanning (TCD) in a mixed study population. Materials and Methods: Out-patient neurology department of the University Hospital Maastricht. In total 24 subjects were investigated: 9 patients with idiopathic Parkinson’s disease, 10 with parkinsonism from yet unclear origin, 1 with essential tremor and 4 healthy volunteers. Each patient was assessed four times by two independent experienced sonographers using two different ultrasound devices: SONOS 5500 and iU22; both Philips, Eindhoven, The Netherlands. The echointensity of the SN is evaluated qualitatively and quantitatively and the RN only qualitatively. 1. In the ”on-line” assessment we determined: a) the inter-observer agreement of the four possible combinations. b) the intra-observer agreement of both sonographers using two different ultrasound systems. 2. In the ”off-line” assessment a third sonographer re-examined the stored images. We determined the inter-observer agreement of the third sonographer with the ”on-line” assessment of the other two sonographers. Cohen’s k value was calculated for the agreement. Results: 1a) The ”on-line” inter-observer agreement of the four possible combinations of sonographer and transducer was: kappa 0.23 – 0.39 for the qualitative evaluation of the SN, kappa 0.31 – 0.56 for the quantitative evaluation of the SN and kappa 0.03 – 0.15 for the evaluation of the RN. 1b) The ”on-line” intra-observer agreement was: kappa 0.53 – 0.67 for the qualitative evaluation of the SN, kappa 0.55 – 0.76 for the quantitative evaluation of the SN and kappa 0.45 – 0.47 for the evaluation of the RN. 2. The ”off-line” inter-observer agreement was: kappa 0.32 – 0.67 for the qualitative evaluation of the SN, kappa 0.53 – 0.61 for the quantitative evaluation of the SN and kappa 0.08 – 0.33 for the evaluation of the RN. Conclusion: For the SN we found mediocre accordance comparing both observers ”on-line” with each other as well as comparing an ”off-line” observer with both ”on-line” observers. On the whole, the inter-observer and intra-observer agreement were moderate to substantial for the evaluation of the SN. ”On-line” and ”off-line” comparisons yielded comparable results. The agreement for the evaluation of the RN, on the contrary, was considerably lower. Our findings indicate that this TCD technique is not yet ready for the application in large population screenings.

Key words

ultrasound - head/neck - CNS - brain

References

• 1 Becker G, Seufert J, Bogdahn U. et al . Degeneration of substantia nigra in chronic Parkinson’s disease visualized by transcranial color-coded real-time sonography.  Neurology. 1995;  45 182-184
• 2 Berg D, Becker G, Zeiler B. et al . Vulnerability of the nigrostriatal system as detected by transcranial ultrasound.  Neurology. 1999;  53 1026-1031
• 3 Berg D, Siefker C, Becker G. Echogenicity of the substantia nigra in Parkinson’s disease and its relation to clinical findings.  J Neurol. 2001;  248 684-689
• 4 Walter U, Niehaus L, Probst T. et al . Brain parenchyma sonography discriminates Parkinson’s disease and atypical parkinsonian syndromes.  Neurology. 2003;  60 74-77
• 5 Becker G, Becker T, Struck M. et al . Reduced echogenicity of brainstem raphe specific to unipolar depression: a transcranial color-coded real-time sonography study.  Biol Psychiatry. 1995;  38 180-184
• 6 Berg D, Supprian T, Hofmann E. et al . Depression in Parkinson’s disease: brainstem midline alteration on transcranial sonography and magnetic resonance imaging.  J Neurol. 1999;  246 1186-1193
• 7 Walter U, Behnke S, Eyding J. et al . Transcranial brain parenchyma sonography in movement disorders: state of the art.  Ultrasound Med Biol. 2007;  33 15-25
• 8 Vlaar A M, Bouwmans A E, Mess W H. et al . Transcranial duplex in the differential diagnosis of parkinsonian syndromes: a systematic review.  Journal of Neurology. 2009;  256 530-538
• 9 Godau J, Schweitzer K J, Liepelt I. et al . Substantia nigra hypoechogenicity: definition and findings in restless legs syndrome.  Mov Disord. 2007;  22 187-192
• 10 Huang Y W, Jeng J S, Tsai C F. et al . Transcranial imaging of substantia nigra hyperechogenicity in a Taiwanese cohort of Parkinson’s disease.  Mov Disord. 2007;  22 550-555
• 11 Tsai C F, Wu R M, Huang Y W. et al . Transcranial color-coded sonography helps differentiation between idiopathic Parkinson’s disease and vascular parkinsonism.  J Neurol. 2007;  254 501-507
• 12 Loo van de S, Walter U, Behnke S. et al . Inter- and intraobserver reliability of substantia nigra sonography for the diagnosis of Parkinson’s disease.  Movement Disorders. 2009;  24 S216
• 13 Vlaar A M, Nijs de T, Kroonenburgh M JPG. et al . The predictive value of transcranial duplex sonography for the clinical diagnosis in undiagnosed parkinsonian syndromes: comparison with SPECT scans.  BMC Neurol. 2008;  8 42
• 14 Berg D, Roggendorf W, Schroder U. et al . Echogenicity of the substantia nigra: association with increased iron content and marker for susceptibility to nigrostriatal injury.  Arch Neurol. 2002;  59 999-1005
• 15 Tromp S C, Vlaar A MM, Weber W EJ. et al . Can ultrasonography of the substantia nigra replace FP-CIT-SPECT?.  Parkinsonism Relat Disord. 2005;  11 (Supplement 2) S221
• 16 Okawa M, Miwa H, Kajimoto Y. et al . Transcranial sonography of the substantia nigra in Japanese patients with Parkinson’s disease or atypical parkinsonism: clinical potential and limitations.  Intern Med. 2007;  46 1527-1531
• 17 Landis J R, Koch G G. The measurement of observer agreement for categorical data.  Biometrics. 1977;  33 159-174
• 18 Flossmann E, Redgrave J N, Briley D. et al . Reliability of clinical diagnosis of the symptomatic vascular territory in patients with recent transient ischemic attack or minor stroke.  Stroke. 2008;  39 2457-2460