Verfahrensweisen und Methoden zur Nutzenbewertung von Arzneimitteln in Deutschland

Zusammenfassung

Der Gemeinsame Bundesausschuss (G-BA) definiert im deutschen Gesundheitswesen, was von den Krankenkassen zu erstatten ist. Zur Definition einer Vorschrift kann der G-BA u. a. Nutzenbewertungen in Auftrag geben, die einen Überblick über die wissenschaftliche Evidenz hinsichtlich Wirksamkeit und Nutzen einer Intervention bieten. Diese Abhandlung beschreibt die operationale Umsetzung der gesetzlichen Anforderungen im Hinblick auf die Nutzenbewertung von Arzneimitteln. Manchmal werden diese Nutzenbewertungen als „isolierte Nutzenbewertungen” bezeichnet, um sie von Nutzenbewertungen im Rahmen einer vollen ökonomischen Bewertung (Kosten-Nutzen-Bewertung) zu unterscheiden.

Der G-BA hat freie Wahl, an welches Institut er Bewertungsaufträge vergibt. Bis heute wurde jedoch die Mehrheit der Aufträge an das Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) vergeben. Dennoch bezieht sich der Inhalt dieses Papiers und der Begriff „Institut” auf alle Institute, die mit solchen Bewertungen beauftragt werden können.

Die gesetzlichen Rahmenbedingungen für Nutzenbewertungen sind im Sozialgesetzbuch V, § 35b Abs. 1, § 139a Abs. 4 bis 6 sowie § 139b Abs. 3 festgelegt. Hierin wird ausgeführt, dass das Institut

• einen hohen Transparenzgrad gewährleisten muss,

• für eine angemessene Beteiligung der maßgeblich zu Beteiligenden bei der auftragsbezogenen Erstellung von Bewertungen sowie für eine Gelegenheit zur Stellungnahme in allen wichtigen Abschnitten des Bewertungsverfahrens zu sorgen hat,

• regelmäßig über seine Arbeitsfortschritte und -ergebnisse Bericht erstatten muss, und

• den Auftrag an externe Sachverständige vergeben muss.

Die gesetzlich geforderte hohe Verfahrenstransparenz soll das gesamte Verfahren durch eindeutige Berichterstattung zu allen Verfahren und Festlegungen während aller Phasen der Nutzenbewertung erreicht werden. Die wichtigsten Mittel zur Verbesserung der Transparenz sind wie folgt:

1. Realisierung eines unterstützenden Scoping-Prozesses bei der Entwicklung der Forschungsfrage;

2. Trennung der Arbeit der externen Sachverständigen, die die Evidenzbewertung vornehmen, von der des Instituts, welches die Empfehlungen formuliert. Daher muss der von den externen Sachverständigen erstellte Vorbericht veröffentlicht werden, und zwar separat von allen nachfolgenden Änderungen oder Berichten (bzw. Berichtsentwürfen) des Instituts, welche die Empfehlungen des Instituts enthalten, und

3. Durchführung eines offenen Peer-Review-Verfahrens durch Veröffentlichung der Stellungnahmen mit namentlicher Nennung der Reviewer.

   Auf der Grundlage der gesetzlichen Rahmenbedingungen muss das Institut eine angemessene Beteiligung der maßgeblichen Parteien ermöglichen. Hierzu gehören u. a. die maßgeblichen Organisationen, die die Interessen von Patienten vertreten, Sachverständige der medizinischen und gesundheitsökonomischen Wissenschaft und Praxis, die Berufsvertretungen von Apothekern und Arzneimittelherstellern sowie Experten für alternative Behandlungsmethoden. Patienten und Angehörige der Gesundheitsberufe ermöglichen neue Einblicke hinsichtlich der Forschungsprioritäten, Behandlungen und Outcomes.

   Die maßgeblichen Parteien sollten ermittelt und kontaktiert werden, sobald die wesentlichen Elemente des Bewertungsauftrages umrissen worden sind. Danach sollten die maßgeblichen Parteien an der Definition der Forschungsfrage, der Protokollentwicklung und der Stellungnahme(n) zum Vorbericht beteiligt werden. Zur Beteiligung der maßgeblichen Parteien an der Definition der Forschungsfrage wird ein Scoping-Verfahren vorgeschlagen. Für die anderen Phasen sollten schriftliche Stellungnahmen gefolgt von mündlichen Diskussionen erfolgen. Zum Schluss sollte den maßgeblichen Parteien das Recht eingeräumt werden, aus rechtlichen Gründen Berufung („Appeal”) gegen die endgültige Entscheidung einzulegen. All diese Schritte bedeuten keinerlei Einbußen der wissenschaftlichen Unabhängigkeit des Instituts.

   Aus den maßgeblichen Abschnitten der gesetzlichen Rahmenbedingungen im Hinblick auf die Bewertungsmethoden kann gefolgert werden, dass

   das Institut die Durchführung der Bewertung nach international anerkannten Standards der evidenzbasierten Medizin (EbM) gewährleisten muss,

4. die Bewertung im Vergleich mit anderen Arzneimitteln und Behandlungsformen unter Berücksichtigung des zusätzlichen therapeutischen Nutzens für die Patienten erfolgt,

5. der Kriterienkatalog zur Bewertung des Patientennutzens mindestens die Verbesserung des Gesundheitszustands, die Verkürzung der Krankheitsdauer, die Verlängerung der Lebensdauer, die Verminderung von Nebenwirkungen und die Verbesserung der Lebensqualität beinhaltet.

   Evidenzbasierte Medizin bezieht sich auf die Anwendung der besten verfügbaren Evidenz zur Beantwortung einer Forschungsfrage, die Informationen zu Fragen der Patientenversorgung liefern kann. Selbst bei Fragen der Wirksamkeit ist das optimale Studiendesign nicht grundsätzlich die randomisierte kontrollierte Studie (RCT), sondern hängt von der Forschungsfrage und den Outcomes ab. Um die Transparenz für alle Fragestellungen zu erhöhen, sollten die Evidenzlevel explizit angegeben werden. Es gibt keinerlei empirische Evidenz, die eine Mindestzahl der zu berücksichtigenden Studien vor Abgabe von Empfehlungen unterstützt. Um die bestverfügbare Evidenz für Forschungsfragen zu erhalten, sollte alle möglicherweise relevante Evidenz berücksichtigt werden; es sollte also für jede Fragestellung die bestverfügbare Evidenz herangezogen werden, um die Frage zu beantworten. Gegebenenfalls müssen also verschiedene Evidenzlevel für jedes Outcome berücksichtigt werden.

   Systematische Reviews können auf vielfältige Weise einem Bias unterworfen sein. Manche Arten des Bias können vermieden werden, während andere nur berichtet werden können. In einigen Fällen kann der Einfluss des Bias untersucht werden. Bei den Betrachtungen muss aufgezeigt werden, dass potenzielle Biasquellen angemessen berücksichtigt wurden.

   Die angewandten Methoden anderer Institutionen, die Nutzenbewertungen durchführen, sind nützlich für die Interpretation des Begriffs „internationale Standards”, denen das Institut folgen muss. Das NICE ist ein gutes Beispiel in diesem Zusammenhang. Das NICE zeigt, dass transparente Verfahren bei der Nutzenbewertung möglich sind, dies jedoch eine ausführliche Dokumentation erfordert. Das NICE hat ein offenes Verfahren für die Stellungnahme von Gutachtern eingerichtet, das für Verfahrenstransparenz sorgt. Obwohl das IQWiG in Deutschland um Stellungnahmen zu Protokoll und Vorbericht bittet, diese auf seiner Website veröffentlicht und seine Kommentare zu diesen Stellungnahmen veröffentlicht, werden die Stellungnahmen letztlich dennoch nicht offen ausgewertet und es bleibt daher ungewiss, ob diese Stellungnahmen zu Änderungen in den Berichten führen oder nicht. Die Beteiligung der maßgeblichen Parteien im NICE-Bewertungsprozess hingegen gewährleistet ein Verfahren, das für alle relevanten Beteiligten transparent ist.

   Transparenz während des gesamten Verfahrens wird durch klare Berichterstattung über Verfahren und Festlegungen in allen Phasen der Nutzenbewertung gewährleistet. Im Rahmen eines Scoping-Prozesses wird zu einem angedachten Projektumfang zunächst schriftlich und dann in Form eines Scoping-Workshops Stellung genommen. Auf diese Weise können alle relevanten Aspekte gehört und im endgültigen Projektumfang berücksichtigt werden. Danach wird der Berichtsplan erstellt („Protokoll”), gefolgt von der Evidenzbewertung. Über die angewandten Methoden sollte vollständig berichtet werden, um den Lesern zu zeigen, dass die Bewertung wissenschaftlich korrekt durchgeführt wurde und dass Bias, wo möglich, vermieden wurde. Die maßgeblichen Parteien sollten die Möglichkeit haben, zum Protokollentwurf und zum Vorbericht Stellung zu nehmen. Jede Stellungnahme sollte dahingehend ausgewertet werden, ob sie zu Änderungen führen wird, und sowohl die Stellungnahme als auch die Auswertung sollten veröffentlicht werden, um die Transparenz dieses Prozesses zu gewährleisten. Dasselbe Verfahren sollte für die Peer-Review-Phase angewandt werden. Auf der Basis des Endberichts der Evidenzbewertung erstellt das Institut Empfehlungen und der G-BA stuft abschließend die Relevanz der Evidenz ein („Appraisal”).

   Beim Verfassen des Endberichts sollte eine Trennung zwischen der methodischen Evidenzbewertung („evidence assessment”) und der Relevanzeinstufung der Evidenz („evidence appraisal”) realisiert werden. Idealerweise sollte diese Trennung gesetzlich verfügt werden, um jegliche Verwirrung im Hinblick auf Zuständigkeitskonflikte zu vermeiden.

   Ein solches Verfahren garantiert eine durchführbare Kombination von gesetzlichen Anforderungen hinsichtlich der Transparenz und Beteiligung von maßgeblichen Parteien mit internationalen Standards evidenzbasierter Medizin, um zu gewährleisten, dass die Nutzenbewertung von Arzneimitteln in Deutschland nach den höchsten Standards erfolgt.

Summary

The Federal Joint Committee (FJC; Gemeinsamer Bundesausschuss, G-BA) defines the health-care elements that are to be reimbursed by sickness funds. To define a directive, the FJC can commission benefit assessments, which provide an overview of the scientific evidence regarding the efficacy and benefits of an intervention. This paper describes the operational implementation of the legal requirements with regard to the benefit assessments of medicines. Such benefit assessments are sometimes referred to as „isolated benefit assessments,” to distinguish them from benefit assessments as part of a full economic evaluation. The FJC has the freedom to commission these assessments from any agency; however, to date the majority have commissioned the Institute for Quality and Efficiency in Health Care (IQWiG). Nevertheless, the content of this paper applies integrally to any institute commissioned for such assessments. In this report, „the institute”' is used when the text refers to any of these institutes. The legal framework for benefit assessments is laid out in the German Social Code Book version V (http://www. sozialgesetzbuch.de), Sects. 35b (§ 1), 139a (§ 4-6) and Sect. 139b (§ 3). It is specified that: The institute must guarantee high transparency. The institute must provide appropriate participation of relevant parties for the commission-related development of assessments, and opportunity for comment on all important segments of the assessment procedure. The institute has to report on the progress and results of the work at regular intervals. The institute is held to giving the commission to external experts. Based on the legal framework, the institute must guarantee a high procedural transparency. Transparency of the whole process should be achieved, which is evidenced by clear reporting of procedures and criteria in all phases undertaken in the benefit assessment. The most important means of enhancing transparency are: 1. To implement a scoping process to support the development of the research question. 2. To separate the work of the external experts performing the evidence assessment from that of the institute formulating recommendations. Therefore, the preliminary report as produced by external experts needs to be public, and published separately from any subsequent amendments or (draft-)reports made by the institute, which includes the institute's recommendations. 3. To implement open peer review by publishing both the comments of the reviewers and their names. Based on the legal framework, the institute must provide for adequate participation of relevant parties. These include organisations representing the interests of patients; experts of medical, pharmaceutical and health economic science and practice; the professional organisations of pharmacists and pharmaceutical companies; and experts on alternative therapies. Patients and health care professionals bring in new insights with respect to research priorities, treatment and outcomes. The relevant parties should be identified and contacted whenever the global scope of the assessment has been drafted. Subsequently, the relevant parties should be involved in defining the research question, developing the protocol and commenting on the preliminary report. To implement the involvement of relevant parties in defining the research question a scoping process is suggested. For the other phases, written comments followed by an oral discussion should be used. Finally, the relevant parties should have the right to appeal the final decision on judicial grounds. None of these steps mean that the institute would lose any part of its scientific independence. From the relevant sections of the legal framework with respect to the assessment methods, it can be concluded that: 1. The institute must ensure that the assessment is made in accordance with internationally recognised standards of evidence-based medicine (EBM). 2. The assessment is conducted in comparison with other medicines and treatment forms under consideration of the additional therapeutic benefit for the patients. 3. The minimum criteria for assessing patient benefit are improvements in the state of health, shortening the duration of illness, extension of the duration of life, reduction of side effects and improvements in quality of life. EBM refers to the application of the best available evidence to answer a research question, which can inform questions about the care of patients. The optimal design, even for effectiveness questions, is not always the randomised, controlled trial (RCT) but depends on the research question and the outcomes of interest. To increase transparency for each question, the levels of evidence examined should be made explicit. There is no empirical evidence to support the use of cutoff points with respect to the number of studies before making recommendations. To get the best available evidence for the research question(s), all relevant evidence should be considered for each question, and the best available evidence should be used to answer the question. Separate levels of evidence may have to be used for each outcome.

There are many ways in which bias can be introduced in systematic reviews. Some types of bias can be prevented, other types can only be reported and, for some, the influence of the bias can be investigated. Reviews must show that potential sources of bias have been dealt with adequately.

Methods used by other agencies that perform benefit assessments are useful to interpret the term 'international standards' to which the institute must comply. The National Institute for Health and Clinical Excellence (NICE) is a good example in this respect. NICE shows that it is possible to have transparent procedures for benefit assessments but that this requires detailed documentation. NICE has implemented an open procedure with respect to the comments of reviewers, which makes the procedure transparent. Although the Institute for Quality and Efficiency in Health Care (IQWiG) in Germany invites comments on their protocol and preliminary report by posting them on their website, and comments are made public, the individual comments are not evaluated openly, and therefore it remains uncertain whether or not they lead to changes in the reports. The participation of relevant parties in the assessment process as implemented by NICE guarantees a process that is transparent to all relevant parties.

Transparency of the whole process is assured by clear reporting of procedures and criteria in all phases undertaken in the benefit assessment. In a scoping process, a draft scope is commented on first in writing and subsequently in the form of a scoping workshop. In this way, all relevant aspects can be heard and included in the final scope. The protocol is then developed, followed by evidence assessment. The methods used should be completely reported to show readers that the assessment has been performed with scientific rigour and that bias has been prevented where possible. All relevant parties should have the opportunity to comment on the draft protocol and the draft preliminary report. Each comment should be evaluated as to whether or not it will lead to changes, and both the comments and the evaluation should be made public to ensure transparency of this process. The same procedure should be used for the peer-review phase. Based on the final report of the evidence assessment, the institute forms recommendations and the FJC appraises the evidence.

During the writing of the final report, a separation between the evidence assessment and the evidenceappraisal phase should be implemented. Ideally, this separation should be legally enforced to prevent any confusion about conflict of interests.

Such a process guarantees a feasible combination of the legal requirements for transparency and involvement of relevant parties with international standards of EBM to ensure that the benefit assessments of medicines in Germany are performed according to the highest standards.

Schlüsselwörter

Nutzenbewertung - Evidenzbasierte Medizin - IQWiG - NICE - G-BA - Scoping-Prozess

Keywords

Benefit assessment - Evidence-based medicine - IQWiG - NICE - Federal Joint Committee (G-BA) - Scoping-process

Literatur

• 1 Gemeinsamer Bundesausschuss .Verfahrensordnung Fassung vom 20.09.2005, letzte Änderung am 18.04.2006, in Kraft getreten am: 07.07.2006. http://www.g-ba.de/institution/aufgaben-und-struktur/Verfahrensordnung/ 2006
• 2 Cochrane Effective Pracice and Organization of Care Group .Effective interventions unit. Evaluation guide 5: Designing an economic evaluation.  http://www.epoc.cochrane.org/Files/Website/Reviewer%20Resources/draftps.pdf 2008
• 3 CRD .What is an economic evaluation? . http://www.york.ac.uk/inst/crd/nfaq1.htm York; CRD 2008
• 4 von der Schulenburg J, Vauth C, Mittendorf T, Greiner W. Methods for determining cost-benefit ratios for pharmaceuticals in Germany [Methoden zur Ermittlung von Kosten-Nutzen-Relationen für Arzneimittel in Deutschland].  Eur J Health Econ. 2007;  8 Suppl 1 S5-31
• 5 Göhlen B, Rüther A. HTA beim DIMDI.  Z ärztl Fortbild Qual Gesundh wes. 2007;  101 508-511
• 6 Cochrane Handbook for Systematic Reviews of Interventions 4.2.6 [aktualisiert im September 2006]. Higgins JPT, Green S, editors. Zugriff am: 8. November 2007. http://www.cochrane.org/resources/handbook/hbook.htm 2007
• 7 Moher D, Cook D J, Eastwood S, Olkin I, Rennie D, Stroup D F. Improving the quality of reports of meta-analyses of randomised controlled trials: the QUOROM statement. Quality of Reporting of Meta-analyses.  Lancet. 1999;  354 (9193) 1896-1900
• 8 Velasco M, Perleth M, Drummond M, Gurtner F, Jorgensen T, Jovell A, Malone J, Ruther A, Wild C. Best practice in undertaking and reporting health technology assessments. Working group 4 report.  Int J Technol Assess Health Care. 2002;  18 (2) 361-422
• 9 NICE .Guide to the technology appraisal process. London, National Institute for Clinical Excellence,. 2004
• 10 Van Rooyen S, Godlee F, Evans S, Black N, Smith R. Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomised trial.  BMJ. 1999;  318 (7175) 23-27
• 11 Godlee F, Gale C R, Martyn C N. Effect on the quality of peer review of blinding reviewers and asking them to sign their reports: a randomized controlled trial.  JAMA. 1998;  280 (3) 237-240
• 12 NICE .Guide to the methods of technology appraisal. London; National Institute for Clinical Excellence 2004
• 13 DUET .Database of Uncertainties about the Effects of Treatments (DUETs): A resource to help prioritise new research. http://www.duets.nhs.uk/Default.asp Zugriff am: 12. Februar 2008. 2008
• 14 Tallon D, Chard J, Dieppe P. Consumer involvement in research is essential.  BMJ. 2000;  320 (7231) 380-381
• 15 Goodare H, Lockwood S. Involving patients in clinical research. Improves the quality of research.  BMJ. 1999;  319 (7212) 724-725
• 16 INVOLVE Promoting public involvement in NHS, public health and social care research. . http://www.invo.org.uk/ Zugriff am: 10. Januar 2008. 2008
• 17 Hanley B, Truesdale A, King A, Elbourne D, Chalmers I. Involving consumers in designing, conducting, and interpreting randomised controlled trials: questionnaire survey.  BMJ. 2001;  322 (7285) 519-523
• 18 Kahan J P, Park R E, Leape L L, Bernstein S J, Hilborne L H, Parker L, Kamberg C J, Ballard D J, Brook R H. Variations by specialty in physician ratings of the appropriateness and necessity of indications for procedures.  Medical Care. 1996;  34 (6) 512-523
• 19 Coulter I, Adams A, Shekelle P. Impact of Varying Panel Membership on Ratings of Appropriateness in Consensus Panels – A Comparison of A Multidisciplinary and Single-Disciplinary Panel.  Health Services Research. 1995;  30 (4) 577-591
• 20 Grant-Pearce C, Miles I, Hills P. Mismatches in priorities for health research between professionals and consumers. A report to the standing advisory group on consumer involvement in the NHS R&D Programme. Manchester UK, PREST; University of Manchester 1998
• 21 Devereaux P J, Anderson D R, Gardner M J, Putnam W, Flowerdew G J, Brownell B F, Nagpal S, Cox J L. Differences between perspectives of physicians and patients on anticoagulation in patients with atrial fibrillation: observational study.  BMJ. 2001;  323 (7323) 1218-1222
• 22 Montgomery A A, Fahey T. How do patients’ treatment preferences compare with those of clinicians?.  Qual Health Care. 2001;  10 Suppl 1 i39-i43
• 23 Chard J, Dickson J, Tallon D, Dieppe P. A comparison of the views of rheumatologists, general practitioners and patients on the treatment of osteoarthritis.  Rheumatology (Oxford). 2002;  41 (10) 1208-1210
• 24 Kirwan J R, Minnock P, Adebajo A, Bresnihan B, Choy E, de Wit M, Hazes M, Richards P, Saag K, Suarez-Almazor M, Wells G, Hewlett S. Patient perspective: fatigue as a recommended patient centered outcome measure in rheumatoid arthritis.  J Rheumatol. 2007;  34 (5) 1174-1177
• 25 Garland A F, Lewczyk-Boxmeyer C M, Gabayan E N, Hawley K M. Multiple stakeholder agreement on desired outcomes for adolescents’ mental health services.  Psychiatric Services. 2004;  55 (6) 671-676
• 26 Lee T T, Ziegler J K, Sommi R, Sugar C, Mahmoud R, Lenert L A. Comparison of preferences for health outcomes in schizophrenia among stakeholder groups.  J Psychiatric Res. 2000;  34 (3) 201-210
• 27 Kwoh C K, Ibrahim S A. Rheumatology patient and physician concordance with respect to important health and symptom status outcomes.  Arthritis & Rheumatism-Arthritis Care Res. 2001;  45 (4) 372-377
• 28 Hubbard G, Kidd L, Donaghy E, McDonald C, Kearney N. A review of literature about involving people affected by cancer in research, policy and planning and practice.  Patient Educ Couns. 2007;  65 (1) 21-33
• 29 Oliver S, Milne R, Bradburn J, Buchanan P, Kerridge L, Wally T, Gabbay J. Involving consumers in a needs-led research programme: a pilot project.  Health Expectations. 2001;  4 18-28
• 30 Bradburn J, Maher J, Adewuyi-Dalton R, Grunfeld E, Lancaster T, Mant D. Developing clinical trial protocols: the use of patient focus groups.  Psycho-Oncology. 1995;  4 107-112
• 31 Ali K, Roffe C, Crome P. What patients want: consumer involvement in the design of a randomized controlled trial of routine oxygen supplementation after acute stroke.  Stroke. 2006;  37 (3) 865-871
• 32 Culyer A J. Involving stakeholders in healthcare decisions – the experience of the National Institute for Health and Clinical Excellence (NICE) in England and Wales.  Healthc Q. 2005;  8 (3) 56-60
• 33 The AGREE Collaboration . Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project.  Qual Saf Health Care. 2003;  12 (1) 8-23
• 34 Marsden J, Bradburn J. Patient and clinician collaboration in the design of a national randomized breast cancer trial.  Health Expectations. 2004;  7 (1) 6-17
• 35 Sackett D L, Straus S E, Richardson W S, Rosenberg W, Haynes R B. Evidence-based medicine. How to practice and teach EBM. ed 2nd. Edinburgh; Churchill Livingstone 2000
• 36 Danish Institute for Health Technology Assessment .Health Technology Assessment Handbook. 1rst ed. Copenhagen; Danish Institute for Health Technology Assessment 2001
• 37 Fletcher R H, Fletcher S W, Wagner E H. Clinical epidemiology – the essentials. Baltimore; Williams & Wilkins 1982
• 38 Villar J, Carroli G, Belizan J M. Predictive ability of meta-analyses of randomised controlled trials.  Lancet. 1995;  345 (8952) 772-776
• 39 LeLorier J, Gregoire G, Benhaddad A, Lapierre J, Derderian F. Discrepancies between meta-analyses and subsequent large randomized, controlled trials.  N Engl J Med. 1997;  337 (8) 536-542
• 40 Cappelleri J C, Ioannidis J P, Schmid C H, de Ferranti S D, Aubert M, Chalmers T C, Lau J. Large trials vs meta-analysis of smaller trials: how do their results compare?.  JAMA. 1996;  276 (16) 1332-1338
• 41 Ioannidis J P, Cappelleri J C, Lau J. Meta-analyses and large randomized, controlled trials.  N Engl J Med. 1998;  338 (1) 59-2
• 42 Ioannidis J P, Cappelleri J C, Lau J. Issues in comparisons between meta-analyses and large trials.  JAMA. 1998;  279 (14) 1089-1093
• 43 Furukawa T A, Streiner D L, Hori S. Discrepancies among megatrials.  J Clin Epidemiol. 2000;  53 (12) 1193-1199
• 44 Jadad A R, Cook D J, Browman G P. A guide to interpreting discordant systematic reviews.  CMAJ. 1997;  156 (10) 1411-1416
• 45 NICE .Guide to the methods of technology appraisal. Draft for consultation (Nov 2007). NHS, National Institute for Health and Clinical Excellence 2007
• 46 Claxton K, Sculpher M, Drummond M. A rational framework for decision making by the National Institute For Clinical Excellence (NICE).  Lancet. 2002;  360 (9334) 711-715
• 47 Guyatt G H, Sackett D L, Sinclair J C, Hayward R, Cook D J, Cook R J. Users’ guides to the medical literature. IX. A method for grading health care recommendations. Evidence-Based Medicine Working Group.  JAMA. 1995;  274 (22) 1800-1804
• 48 Harris R P, Helfand M, Woolf S H, Lohr K N, Mulrow C D, Teutsch S M, Atkins D. for the Methods Work Group Third U.S. Preventive Services Task Force .Current Methods of the U.S. Preventive Services Task Force: A Review of the Process.  http://www.ahrq.gov/clinic/ajpmsuppl/harris1.htm Zugriff am: 12. Februar 2008. 2008
• 49 Philips B, Ball C, Sackett D, Badenoch D, Straus S, Haynes B, Dawes M. Ofxord Centre for Evidence-based Medicine Levels of Evidence (may 2001).  http://www.cebm.net/index.aspx?o=1025 Zugriff am: 8. November 2007. 2001
• 50 CRD .Undertaking systematic reviews of research of effectiveness. CRD’s guidance for those carrying out or commissioning reviews. ed 2nd,. 2001
• 51 Egger M, Dickersin K, Davey Smith G. Problems and limitations in conducting systematic reviews. In: Egger M, Davey Smith G, Altman DG, Systematic reviews in health care. Meta-analysis in context. London; BMJ Publishing Group 2001: 43-68
• 52 Jüni P, Altman D G, Egger M. Assessing the quality of randomised controlled trials. In: Egger M, Davey Smith G, Altman DG, (eds) Systematic reviews in health care. Meta-analysis in context. London; BMJ Publishing Group 2001: 87-108
• 53 Bucher H C, Guyatt G H, Griffith L E, Walter S D. The results of direct and indirect treatment comparisons in meta-analysis of randomized controlled trials.  J Clin Epidemiol. 1997;  50 (6) 683-691
• 54 Song F, Altman D G, Glenny A M, Deeks J J. Validity of indirect comparison for estimating efficacy of competing interventions: empirical evidence from published meta-analyses.  BMJ. 2003;  326 (7387) 472
• 55 CCOHTA .Guidelines for authors of CCOHTA Health Technology Assessment reports. Canadian Coordinating Office for Health Technology Assessment, editor. 2003
• 56 Haute Autorité de santé .General method for assessing health technologies. http://www.has-sante.fr/portail/display.jsp?id=c_541195. Haute Autorité de santé 2007
• 57 Staal P C, Ligtenberg G. Beoordeling stand van de wetenschap en praktijk. 254. Diemen; College voor Zorgverzekeringen 2007
• 58 Martelli F, Torre G L, Ghionno E D, Staniscia T, Neroni M, Cicchetti A, Bremen K V, Ricciardi W. Health technology assessment agencies: An international overview of organizational aspects.  Int J Technol Assess Health Care. 2007;  23 (4) 414-424
• 59 Bastian H, Bender R, Ernst A S, Kaiser T, Kirchner H, Kolominsky-Rabas P, Lange S, Sawicki P T, Weber M. Institute for Quality and Efficiency in Health Care. Methods (preamble). Cologne, Germany; IQWiG 2007
• 60 NICE .Guide to the technology appraisal process. London; National Institute for Clinical Excellence 2001
• 61 House of Commons HC .National Institute for Health and Clinical Excellence. First report of session 2007–08. Volume 1. Report, together with formal minutes. HC 27-I. 10–1-2008. London; The Stationery Office Limited
• 62 Bastian H, Bender R, Ernst A S, Kaiser T, Kirchner H, Kolominsky-Rabas P, Lange S, Sawicki P T, Weber M. Institute for Quality and Efficiency in Health Care. Methods (version 2.0). Cologne, Germany; IQWiG 2007
• 63 Antes G, Jöckel K H, Kohlmann T, Raspe H, Wasem J. Kommentierende Synopse der Fachpositionen zur Kosten-Nutzenbewertung für Arzneimittel.  http://www.bmg.bund.de/cln_041/nn_1145310/DE/Themenschwerpunkte/Gesundheit/Arzneimittel/Fachtagung/kommentierte-synopse,templateId=raw,property=publicationFile.pdf/kommentierte-synopse.pdf Bundesministerium für Gesundheit, Deutschland 2007
• 64 IQWiG .Allgemeine Methoden. Entwurf für Version 3.0 vom 15.11.2007. IQWiG, editor. Köln; 2007
• 65 Collaborative centres NICE .http://www.ncchta.org/publicationspdfs/infoleaflets/nice.pdf . Zugriff am 16. Januar 2008