Berichtsqualität diagnostischer klinischer Studien: STARD (Standards for the Reporting of Diagnostic accuracy studies)

Die Zahl diagnostischer Methoden ist immens und nimmt auch in der Radiologie weiter zu. Deshalb ist es wichtig, die Qualität und den Nutzen solcher Verfahren im Sinne einer evidenzbasierten Radiologie zu bewerten [1]. Diagnostische Studien [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] können die hierfür erforderlichen Informationen liefern, vorausgesetzt, sie sind ausreichend transparent und für den Leser nachvollziehbar dargestellt. Um die diagnostische Genauigkeit neuer Verfahren in der Radiologie einschätzen zu können, sind vergleichende Studien (versus „Goldstandard” = Referenzstandard) notwendig.

Die Qualität der Berichterstattung von Ergebnissen derartiger Studien ist jedoch oft unzureichend. So konnten Reid et al. [20] zeigen, dass selbst in angesehenen medizinischen Journalen bei der Veröffentlichung von diagnostischen Studien wesentliche Informationen nicht enthalten sind. So wurden zum Beispiel Details des Studiendesigns und der Patientencharakteristika häufig nicht ausreichend beschrieben. Eine Auswertung von 124 diagnostischen Studien, die in 12 verschiedenen Journalen im Jahr 2000 veröffentlicht wurden, bestätigte dieses Ergebnis [21]. Dem Leser ist es außerdem kaum möglich, die Validität, Generalisierbarkeit und klinische Anwendbarkeit der Ergebnisse diagnostischer Studien zu beurteilen, wenn elementare Studiencharakteristika nicht beschrieben werden.

Bedenkt man die zahlreichen Faktoren, die ein Studienergebnis beeinflussen und sogar verfälschen können [22] [23], wird deutlich, welche außerordentliche Bedeutung eine ausführliche Berichterstattung hat. Bereits die Wahl des Studiendesigns kann erheblichen Einfluss auf die Ergebnisse haben. Studien mit Mängeln im Design führen zu beeinflussten und überschätzten Testgenauigkeiten im Vergleich zu Studien ohne diese Defizite [24]. Ein Beispiel für einen solchen Mangel ist der „partial verification bias”. Wenn dieser vorliegt, wird die Entscheidung, ob der Referenzstandard bei Patienten durchgeführt wird, von dem Ergebnis des zu überprüfenden diagnostischen Testes abhängig gemacht. Da in diesem Fall eine Patientenselektion stattfindet und Patienten mit positiven Testergebnissen mit höherer Wahrscheinlichkeit dem Referenzstandard zugeführt werden, wird die Sensitivität des zu überprüfenden diagnostischen Testes fälschlich erhöht. Häufig lassen sich derartige Schwierigkeiten in der praktischen Umsetzung von Studienideen nicht vermeiden. Die Kenntnis des „partial verification bias” durch eine ausführliche Berichterstattung in der Publikation ermöglicht dem Leser allerdings eine kritische und damit auch objektive Würdigung der Studienergebnisse.

Mit der zunehmenden Zahl von systematischen Übersichtsarbeiten und Metaanalysen insbesondere zu randomisierten kontrollierten Studien traten die Mängel bei der Berichterstattung von Studien zu Beginn der 1990er-Jahre besonders deutlich zutage [25]. Um diesen Zustand zu überwinden, wurden zahlreiche Qualitätsinitiativen gegründet. Ihr Ziel war vorrangig die Verbesserung der Studienpublikationen. Damit grenzen sie sich von Leitlinien ab, die sich auf die Planung und Durchführung der Studien beziehen. Sehr erfolgreich ist das CONSORT-Statement („Consolidated Standards of Reporting Trials”), das 1996 erstmals veröffentlicht wurde [26] und in 2010 eine Aktualisierung erfuhr [27]. Das CONSORT-Statement besteht im Wesentlichen aus einer Checkliste und ist speziell für randomisierte kontrollierte Therapiestudien ausgelegt. Es folgte in den kommenden Jahren die Publikation einer Reihe weiterer Richtlinien für verschiedene Studientypen.

Im Januar 2003 veröffentlichten Bossuyt und Kollegen das STARD-Statement (Standards for the Reporting of Diagnostic accuracy studies”), das speziell auf die Erfordernisse und Rahmenbedingungen diagnostischer Studien zugeschnitten ist [28]. Diese Empfehlung beinhaltet eine Checkliste mit 25 Punkten, die Autoren von diagnostischen Studien an die Hand gegeben werden kann. Mithilfe dieser Liste können sie zum Zeitpunkt der Publikationserstellung überprüfen, ob alle relevanten Informationen in ihrem Manuskript enthalten sind.

Entworfen wurde STARD von einer internationalen Gruppe von Wissenschaftlern, Epidemiologen, Statistikern und Herausgebern von Fachzeitschriften. Entstanden ist STARD in einem Konsensusverfahren: Aus ursprünglich 75 wichtigen Punkten, die in Erwägung gezogen wurden, wurde im Konsensus eine kürzere Liste von nur noch 25 Punkten generiert, die in die finale Fassung von STARD eingeflossen ist. Um die Anwendung der Checkliste zu erleichtern, wurde kurze Zeit später eine ergänzende Kommentierung veröffentlicht, die auch konkrete Beispiele für die Umsetzung enthält [29]. Wir haben die 25 Punkte in [Tab. 1] mit einigen Erläuterungen zusammengefasst.

Tab. 1 STARD-Checkliste für die Berichterstattung von diagnostischen Genauigkeitsstudien. Abschnitt Punkt Bemerkung Titel/Abstract/Schlüsselwörter 1 Kennzeichnen Sie den Artikel als diagnostische Genauigkeitsstudie. Durch Angabe von Schlüsselwörtern bereits im Titel oder Abstract wird die Auffindbarkeit der Studie in Datenbanken verbessert. Empfohlen werden z. B. der Thesaurus-Term (MeSH in Medline/Pubmed): „Sensitivity and Specificity” oder auch Ausdrücke wie „diagnostic accuracy”. Einleitung 2 Formulieren Sie die Fragestellung und das Ziel der Studie, wie beispielsweise die Beurteilung der diagnostischenTestgenauigkeit oder den Vergleich der Genauigkeiten zwischen Tests oder bei verschiedenen Subpopulationen. Eine klar formulierte Fragestellung hilft den Lesern schon im Abstrakt die Angemessenheit der Ein- und Ausschlusskriterien, der Wahl des Referenztests und der statistischen Auswertungsmethoden zu beurteilen. Methoden Studienpopulation 3 Beschreiben Sie die Studienpopulation: Ein- und Ausschlusskriterien, Umstände und Ort der Datenerhebung. Durch Selektion bestimmter Studienteilnehmer ist die Generalisierbarkeit der Ergebnisse eventuell eingeschränkt. 4 Beschreiben Sie die Teilnehmerrekrutierung: erfolgte die Rekrutierung aufgrund klinischer Symptome, Ergebnissen vorheriger Tests oder des Umstandes, dass die Probanden den Indextest oder Referenzstandard durchlaufen haben? 5 Beschreiben Sie die Teilnehmerauswahl: war die Studienpopulation eine konsekutive Serie von Probanden, festgelegt nach den Kriterien unter 3 und 4? Falls nicht, spezifizieren Sie wie die Teilnehmer ausgewählt wurden. 6 Beschreiben Sie die Datenerhebung: Wurde diese geplant, bevor Indextest und Referenzstandard durchgeführt wurden (prospektive Studie), oder erst nachträglich (retrospektive Studie)? Eine prospektive Studie erlaubt bessere Planung und Kontrolle der Datenerhebung, ihre Ergebnisse haben einen höheren Evidenzlevel. Testmethoden 7 Beschreiben Sie den Referenzstandard und sein Grundprinzip. Diese Angaben sollten so ausführlich sein, dass die Studie anderenorts wiederholt werden kann. 8 Beschreiben Sie die technischen Spezifikationen der verwendeten Materialien und Methoden einschließlich wie und wann die Messungen erhoben wurden, und/oder zitieren Sie erläuternde Quellen für Indextest und Referenzstandard. 9 Beschreiben Sie die Definition für Einheiten, Grenzwerte und Kategorien der Ergebnisse von Indextest und Referenzstandard. 10 Beschreiben Sie Anzahl, Ausbildung und Expertise der an Durchführung und Auswertung von Indextest und Referenzstandard beteiligten Personen. Die Variabilität in der Auswertung lässt sich durch Training der Auswerter verringern. 11 Beschreiben Sie, ob den Auswertern des Indextests und Referenzstandards die Ergebnisse des jeweils anderen Test bekannt waren (Verblindung) oder nicht. Beschreiben Sie, welche weiteren klinischen Informationen den Auswertern zur Verfügung standen. Die Auswertung des Indextests bei bekanntem Ergebnis des Referenzstandards führt zum „test review bias”. Die Auswertung des Referenzstandards mit Kenntnis des Indextestergebnisses führt zum „diagnostic review bias”. Statistische Methoden 12 Beschreiben Sie die Methoden zur Berechnung oder zum Vergleich der Schätzer der diagnostischen Genauigkeit und die Methoden zur Berechnung der Unsicherheit (z. B. 95 %-Konfidenzintervall). Die Berechnungen sollen nachvollziehbar, die statistischen Methoden der Fragestellung angemessen sein. 13 Beschreiben Sie die Methoden zur Berechnung der Testreproduzierbarkeit, wenn diese durchgeführt wurde. Berechnung beispielsweise der kappa-Statistik (Interrater-Variabilität) Ergebnisse Studienpopulation 14 Berichten Sie, wann die Studie durchgeführt wurde inklusive Beginn und Ende der Teilnehmerrekrutierung. Bestimmte Rahmenbedingungen (z. B. Goldstandard und Patientenkollektive) ändern sich mit der Zeit. 15 Berichten Sie klinische und demografische Charakteristika der Studienpopulation (z. B. Alter, Geschlecht, Spektrum der klinischen Symptome, Begleiterkrankungen, aktuelle Behandlung, Studienzentren). Um die Generalisierbarkeit der Studienergebnisse beurteilen zu können, ist eine genaue Beschreibung der Studienteilnehmer notwendig. 16 Berichten Sie die Anzahl der, die Einschlusskriterien erfüllenden, Studienteilnehmer, die am Indextest bzw. Referenzstandard teilnahmen oder nicht. Begründen Sie, warum ein Test bei Teilnehmern nicht durchgeführt wurde. Ein Flussdiagramm stellt die Informationen übersichtlich dar (Abb. 1). Testergebnisse 17 Berichten Sie das Zeitintervall zwischen Indextest und Referenzstandard sowie jede erfolgte Behandlung in diesem Zeitraum. Das Zeitintervall zwischen Indextest und Referenzstandard sollte möglichst kurz sein, um Änderungen des Krankheitsstatus auszuschließen. 18 Berichten Sie die Verteilung des Schweregrades der Erkrankung (erläutern Sie die Kriterien) bei den Studienteilnehmern, die die Erkrankung aufwiesen, sowie andere Diagnosen der Studienteilnehmer ohne die Erkrankung. Sowohl Ausprägungsgrad der Erkrankung als auch Begleiterkrankungen beeinflussen die diagnostische Genauigkeit („spectrum bias”). 19 Berichten Sie die Ergebnisse des Indextests (einschließlich uneindeutiger und fehlender Ergebnisse) und des Referenzstandards in einer Kreuztabelle; für kontinuierliche Größen die Verteilung. Die Angaben sollte so genau sein, dass Sie eine Nachberechnung oder alternative Auswertung der Daten ermöglichen. 20 Berichten Sie alle unerwünschten Wirkungen bei der Durchführung des Indextests oder des Referenzstandards. Gibt Hinweise auf Risiken des Tests und auf eventuelle Einschränkung der klinischen Anwendbarkeit Berechnungen 21 Berichten Sie die Berechnung der diagnostischen Genauigkeit und der Unsicherheit (z. B. 95 %-Konfidenzintervall). Die Angabe von Unsicherheitsmaßzahlen erlaubt eine kritische Würdigung der Ergebnisse. 22 Berichten Sie, wie mit uneindeutigen oder fehlenden Ergebnissen des Indextests umgegangen wurde. Unklare oder fehlende Ergebnisse weisen auch auf eine eingeschränkte klinische Anwendbarkeit hin. 23 Berichten Sie die Variabilität der Schätzer diagnostischer Genauigkeit zwischen Untergruppen der Studienteilnehmer, Auswertern oder Studienzentren, sofern durchgeführt. Falls nicht durchgeführt, sollte dies auch explizit angegeben werden. 24 Berichten Sie die Berechnung der Testreproduzierbarkeit, sofern durchgeführt. Diskussion 25 Diskutieren Sie die klinische Anwendbarkeit der Studienergebnisse. Neben einer Diskussion der Ergebnisse im Rahmen der Studienbedingungen sollte auch eine Abschätzung der Anwendbarkeit auf abweichende Patientengruppen und andere Rahmenbedingungen erfolgen.

Abb. 1 Beispiel für ein Flussdiagramm einer diagnostischen Studie zur nicht invasiven Koronarangiografie; Vergleich von Mehrschicht-Computertomografie (MSCT) und Magnetresonanztomografie (MRT) mit der konventionellen Koronarangiografie (Koro). Modifiziert nach [49].

Die Liste der 25 Punkte ist entsprechend der üblichen Struktur einer Veröffentlichung in Titel, Abstract, Einleitung, Methoden, Ergebnisse und Diskussion gegliedert. Bei Punkt 1 wird gefordert, die Studie im Titel und Abstract eindeutig als diagnostische Genauigkeitsstudie zu kennzeichnen, damit sie als solche erkannt wird, wenn zum Beispiel in Datenbanken danach gesucht wird. In der Einleitung wird eine ausführliche Beschreibung der Fragestellung der Studie verlangt, beispielsweise, ob es sich um eine Studie handelt, die verschiedene Bildgebungsverfahren miteinander oder gegenüber einem Goldstandard vergleicht [30] [31] [32] [33] [34] [35] [36] oder ob beispielsweise computerunterstützte Diagnosesysteme und deren Effekt auf die Genauigkeit eines radiologischen Verfahrens analysiert werden [37] [38] [39] [40] [41] [42] [43] [44]. Nur so kann der Leser beurteilen, ob die gewählten Methoden der Studiendurchführung für die Beantwortung der Fragestellung geeignet sind.

Die Punkte 3 – 13 von STARD sind dem Methodenteil gewidmet; 14 – 24 den Resultaten. Ziel dieses Abschnitts der STARD-Richtlinie ist eine exakte, umfassende und transparente Darstellung der Studie mit ihren Grundlagen und Ergebnissen. Einen Schwerpunkt bildet hierbei die Charakterisierung der Patientenpopulation. Empfohlen wird ein ergänzendes Flussdiagramm zur lückenlosen Dokumentation der Patientenzahlen in den einzelnen Studienabschnitten. Ein Beispiel für die Darstellung einer diagnostischen Studie in einem Flussdiagramm haben wir in der Abbildung erstellt. Es ist insbesondere wichtig, darzustellen, wie viele Patienten aus welchen Gründen zu welchem Zeitpunkt der Studiendurchführung ausgeschlossen wurden.

Um die Verbreitung von STARD zu fördern, wurde die Richtlinie in mehreren Journalen gleichzeitig veröffentlicht [28] und steht auf einer eigenen Internetseite (www.stard-statement.org) zur freien Verfügung. Zahlreiche Fachzeitschriften unterstützen STARD, indem sie in den Hinweisen für Autoren darauf verweisen und die Einhaltung der Richtlinie verlangen. Nichtsdestotrotz darf nicht unberücksichtigt bleiben, dass nicht alle Typen diagnostischer Studien in das relativ starre Schema der STARD-Richtlinien passen, sodass Ausnahmen von einer strikten Anwendung bei allen Publikationen sinnvoll erscheinen.

Literatur

• 1 Puig S, Felder-Puig R. Evidenz basierte Radiologie: Ein neuer Ansatz zur Bewertung von klinisch angewandter radiologischer Diagnostik und Therapie.  Fortschr Röntgenstr. 2006;  178 671-679
• 2 Ohlmann-Knafo S, Kirschbaum M, Fenzl G et al. Diagnostischer Stellenwert der Ganzkörper-MRT und der Skelettszintigrafie in der ossären Metastasendetektion bei Mammakarzinompatientinnen – eine prospektive Doppelblindstudie an zwei Klinikzentren.  Fortschr Röntgenstr. 2009;  181 255-263
• 3 Dewey M, Hoffmann H, Hamm B. CT coronary angiography using 16 and 64 simultaneous detector rows: intraindividual comparison.  Fortschr Röntgenstr. 2007;  179 581-586
• 4 Juchems M S, Ernst A S, Kornmann M et al. Value of MDCT in preoperative local staging of rectal cancer for predicting the necessity for neoadjuvant radiochemotherapy.  Fortschr Röntgenstr. 2009;  181 1168-1174
• 5 Kramer S, Palmowski M, Macher-Goppinger S et al. Hochauflösende Bildgebung der gastrointestinalen Wandschichten von Schweine- und Humanpräparaten mittels endoluminaler MR-Spule: Korrelation zur Histologie.  Fortschr Röntgenstr. 2009;  181 1073-1080
• 6 Juchems M S, Ernst A S, Sheafor D H et al. CT-Kolografie: Vergleich zweier Visualisierungsalgorithmen an einem Screeningkollektiv.  Fortschr Röntgenstr. 2009;  181 573-578
• 7 Tengg-Kobligk von H, Ley-Zaporozhan J, Henninger V et al. Intraindividual assessment of the thoracic aorta using contrast and non-contrast-enhanced MR angiography.  Fortschr Röntgenstr. 2009;  181 230-236
• 8 Luders F, Fischbach R, Seifarth H et al. Untersuchung der regionalen und globalen linksventrikulären Funktion mit der Dual-Source-Computertomografie im Vergleich zur Magnetresonanztomografie.  Fortschr Röntgenstr. 2009;  181 962-969
• 9 Regier M, Ries T, Arndt C et al. Sjogren’s syndrome of the parotid gland: value of diffusion-weighted echo-planar MRI for diagnosis at an early stage based on MR sialography grading in comparison with healthy volunteers.  Fortschr Röntgenstr. 2009;  181 242-248
• 10 Fischer U, Schwethelm L, Baum F T et al. Aufwand, Zuverlässigkeit und histologische Ergebnisse der MR-gesteuerten Vakuumbiopsie suspekter Mammabefunde – retrospektive Auswertung von 389 Interventionen.  Fortschr Röntgenstr. 2009;  181 774-781
• 11 Siegmann K C, Moron H U, Baur A et al. Diagnostische Wertigkeit des Göttinger Scores zur Malignitätsvorhersage von ausschließlich in der MRT darstellbaren Mammaläsionen.  Fortschr Röntgenstr. 2009;  181 556-563
• 12 Scherer A, Wirrwar A, Mattes-Gyorgy K et al. Knöcherne Pathologien der Metacarpophalangeal-Gelenke bei früher rheumatoider Arthritis: Vergleich zwischen MRT und hochauflösender SPECT.  Fortschr Röntgenstr. 2009;  181 875-880
• 13 Keil S, Behrendt F F, Stanzel S et al. RECIST and WHO criteria evaluation of cervical, thoracic and abdominal lymph nodes in patients with malignant lymphoma: manual versus semi-automated measurement on standard MDCT slices.  Fortschr Röntgenstr. 2009;  181 888-895
• 14 Kaim A H, Kirsch E C, Alder P et al. Präoperative Genauigkeit von kraniofazialen, in selektiver Lasersinterung-Technik gefertigten 3-D-Modellen, im Vergleich zum primären CT-Datensatz.  Fortschr Röntgenstr. 2009;  181 644-651
• 15 Kirchhof K, Welzel T, Wagner T et al. Sind mit der Mehrschicht-Computertomografie Dichtemessungen auch bei geringer Schichtdicke und niedrigem Röhrenstrom verlässlich? Ergebnisse einer Phantomstudie.  Fortschr Röntgenstr. 2008;  180 42-47
• 16 Kovacs A, Schiller W, Gerhards H M et al. Visualization of the Adamkiewicz Artery in Patients with Acute Stanford A Dissections: A Prospective 64-Row Multi-Detector CT Study.  Fortschr Röntgenstr. 2009;  181 870-874
• 17 Puesken M, Juergens K U, Edenfeld A et al. Einfluss des Vaskularisationsgrades auf die automatische Segmentierung und Messung von Lebertumoren nach RECIST in einer biphasischen Multi-Slice-CT (MSCT).  Fortschr Röntgenstr. 2009;  181 67-73
• 18 Weyerbrock A, Woznica M, Rosahl S K et al. Aneurysmal and non-aneurysmal SAH--is initial computed tomography predictive?.  Fortschr Röntgenstr. 2009;  181 881-887
• 19 Wolf T, Anjorin A, Posselt H et al. MRT-basierte Flussmessungen im Truncus pulmonalis zur Detektion einer pulmonal-arteriellen Hypertonie in Patienten mit zystischer Fibrose.  Fortschr Röntgenstr. 2009;  181 139-146
• 20 Reid M C, Lachs M S, Feinstein A R. Use of methodological standards in diagnostic test research. Getting better but still not good.  Jama. 1995;  274 645-651
• 21 Smidt N, Rutjes A W, Windt D A et al. Quality of reporting of diagnostic accuracy studies.  Radiology. 2005;  235 347-353
• 22 Whiting van der P, Rutjes A W, Reitsma J B et al. Sources of variation and bias in studies of diagnostic accuracy: a systematic review.  Ann Intern Med. 2004;  140 189-202
• 23 Rutjes A W, Reitsma J B, Di Nisio M et al. Evidence of bias and variation in diagnostic accuracy studies.  Cmaj. 2006;  174 469-476
• 24 Lijmer J G, Mol B W, Heisterkamp S et al. Empirical evidence of design-related bias in studies of diagnostic tests.  Jama. 1999;  282 1061-1066
• 25 Leeflang M M, Deeks J J, Gatsonis C et al. Systematic reviews of diagnostic test accuracy.  Ann Intern Med. 2008;  149 889-897
• 26 Begg C, Cho M, Eastwood S et al. Improving the quality of reporting of randomized controlled trials. The CONSORT statement.  Jama. 1996;  276 637-639
• 27 Schulz K F, Altman D G, Moher D. CONSORT 2010 statement: updated guidelines for reporting parallel group randomized trials.  Ann Intern Med. 2010;  152 726-732
• 28 Bossuyt P M, Reitsma J B, Bruns D E et al. Towards complete and accurate reporting of studies of diagnostic accuracy: the STARD initiative.  Am J Roentgenol. 2003;  181 51-55
• 29 Bossuyt P M, Reitsma J B, Bruns D E et al. The STARD statement for reporting studies of diagnostic accuracy: explanation and elaboration.  Ann Intern Med. 2003;  138 W1-12
• 30 Monninghoff C, Maderwald S, Theysohn J M et al. Evaluation of intracranial aneurysms with 7T versus 1.5T time-of-flight MR angiography – initial experience.  Fortschr Röntgenstr. 2009;  181 16-23
• 31 Regier M, Nolte-Ernsting C, Adam G et al. Intraindividual comparison of image quality in MR urography at 1.5 and 3 tesla in an animal model.  Fortschr Röntgenstr. 2008;  180 915-921
• 32 Koelblinger C, Schima W, Weber M et al. Gadoxate-enhanced T 1-weighted MR cholangiography: comparison of 1.5T and 3.0T.  Fortschr Röntgenstr. 2009;  181 587-592
• 33 Lemke U, Taupitz M, Kluner C et al. Donor-Evaluation vor Lebendnierenspende: Vergleich von CE-MRA und DSA an 78 Patienten.  Fortschr Röntgenstr. 2008;  180 48-54
• 34 Gussew A, Rzanny R, Scholle H C et al. Quantitative Bestimmung von Glutamat im Hirn mithilfe der MR-Protonenspektroskopie bei 1,5 T und 3T.  Fortschr Röntgenstr. 2008;  180 722-732
• 35 Ketelsen D, Rothke M, Aschoff P et al. Nachweis ossärer Metastasen des Prostatakarzinoms – Vergleich der Leistungsfähigkeit der Ganzkörper-MRT und der Skelettszintigrafie.  Fortschr Röntgenstr. 2008;  180 746-752
• 36 Saam T, Oberhoffer M, Rist C et al. Quantitative Evaluation der Aortenklappenöffnungsfläche mit der Dual-Source-CT und Korrelation mit der 2D-Echokardiografie: Initiale Ergebnisse.  Fortschr Röntgenstr. 2008;  180 553-560
• 37 Hahn S, Heusner T, Zhou X et al. Computer-aided detection (CAD) and assessment of malignant lesions in the liver and lung using a novel PET/CT software tool: initial results.  Fortschr Röntgenstr. 2010;  182 243-247
• 38 Hein P A, Rogalla P, Klessen C et al. Computer-aided pulmonary nodule detection – performance of two CAD systems at different CT dose levels.  Fortschr Röntgenstr. 2009;  181 1056-1064
• 39 Renz D M, Baltzer P A, Kullnig P E et al. Klinische Wertigkeit computergestützter Analysen in der MR-Mammografie. Ein Vergleich zwischen zwei Systemen und drei Untersuchern mit unterschiedlicher Erfahrung.  Fortschr Röntgenstr. 2008;  180 968-976
• 40 Blendl C, Loos C, Eiben B. Vergleich zweier automatischer Verfahren zur Auswertung von CDMAM-Prüfkörperaufnahmen.  Fortschr Röntgenstr. 2009;  181 637-643
• 41 Blendl C, Schreiber A C, Buhr H. Ergebnisse einer automatischen Auswertung von Prüfkörperaufnahmen nach PAS 1054 und IEC 62 220 – 1-2 an unterschiedlichen Typen digitaler Mammografie-Röntgeneinrichtungen.  Fortschr Röntgenstr. 2009;  181 979-988
• 42 Honnef D, Behrendt F F, Bakai A et al. Computerassistierte Detektion (CAD) von kleinen pulmonalen Rundherden in der Mehrdetektor-Spiral-Computertomografie (MDCT) bei Kindern.  Fortschr Röntgenstr. 2008;  180 540-546
• 43 Rohde S, Massberg M, Reinhardt J et al. Einfluss messtechnischer und morphologischer Faktoren auf die Genauigkeit der softwarebasierten MRT-Tumorvolumetrie: eine Phantomstudie.  Fortschr Röntgenstr. 2008;  180 654-661
• 44 Vogel M N, Vonthein R, Schmucker S et al. Lungenrundherdvolumetrie mit optimiertem Segmentierungsalgorithmus. Genauigkeit bei verschiedenen Schichtdicken verglichen mit ein- und zweidimensionalen Messungen.  Fortschr Röntgenstr. 2008;  180 791-797
• 45 Wilczynski N L. Quality of reporting of diagnostic accuracy studies: no change since STARD statement publication – before-and-after study.  Radiology. 2008;  248 817-823
• 46 Coppus S F, Veen van der F, Bossuyt P M et al. Quality of reporting of test accuracy studies in reproductive medicine: impact of the Standards for Reporting of Diagnostic Accuracy (STARD) initiative.  Fertil Steril. 2006;  86 1321-1329
• 47 Smidt N, Rutjes A W, Windt D A et al. The quality of diagnostic accuracy studies since the STARD statement: has it improved?.  Neurology. 2006;  67 792-797
• 48 Moher van der D, Jones A, Lepage L. Use of the CONSORT statement and quality of reports of randomized trials: a comparative before-and-after evaluation.  Jama. 2001;  285 1992-1995