The Australian Report – the facts behind the headlines

In March 2015, the Australian National Health and Medical Research Council (NHMRC) published an Information Paper on homeopathy. This document, designed for the general public, provides a summary of the findings of a review of systematic reviews, carried out by NHMRC to assess the evidence base for effectiveness of homeopathy in humans.

'The Australian report', concludes that ”there are no health conditions for which there is reliable evidence that homeopathy is effective ... no good-quality, well-designed studies with enough participants for a meaningful result reported either that homeopathy caused greater health improvements than placebo, or caused health improvements equal to those of another treatment”.

Such overly-definitive negative conclusions are immediately surprising, being inconsistent with the majority of comprehensive systematic reviews on homeopathy.

In-depth analysis has revealed the report's multiple methodological flaws, which explain this inconsistency. Most crucially, NHMRC's findings hinge primarily on their definition of reliable evidence: for a trial to be deemed 'reliable' it had to have at least 150 participants and a quality score of 5/5 on the Jadad scale (or equivalent on other scales). Trials that failed to meet either of these criteria were dismissed as being of 'insufficient quality and/or size to warrant further consideration of their findings'.

Setting such a high quality threshold is highly unusual, but the n = 150 minimum sample size criterion is arbitrary, without scientific justification, and unprecedented in evidence reviews.

Out of 176 trials NHMRC included in the homeopathy review, only 5 trials met their definition of 'reliable', none of which, according to their analysis, demonstrated effectiveness of homeopathy. This explains why NHMRC concluded there is 'no reliable evidence' that homeopathy is effective.

A distillation of other detailed findings, presented at conference, reveals further significant flaws in this highly influential report, providing critical awareness of its misrepresentation of the homeopathy evidence base.

Keywords:

Homeopathy, NHMRC, overview report, review of systematic reviews, reporting bias.

Im März 2015 veröffentlichte der Australian National Health and Medical Research Council (NHMRC) ein Informationspapier zur Homöopathie. Dieses Dokument, das für die breite Öffentlichkeit entwickelt wurde, enthält eine Zusammenfassung der Ergebnisse systematischer Reviews, die vom NHMRC durchgeführt wurden, um die Evidenzbasis für die Wirksamkeit der Homöopathie beim Menschen zu bewerten.

Der „Australian Report“ kommt zu dem Schluss, dass „es keine Gesundheitsumstände gibt, für die bewiesen ist, dass Homöopathie wirksam ist ... keine qualitativ hochwertigen, gut gestalteten Studien mit ausreichend Teilnehmern für ein aussagekräftiges Ergebnis berichteten, dass die Homöopathie größere Gesundheitsverbesserungen erziele als Placebo oder Ergebnisse, die mit einer anderen Behandlung vergleichbar wären“.

Solche endgültig negativen Schlussfolgerungen sind sehr überraschend, da sie mit der Mehrheit der umfassenden systematischen Reviews zur Homöopathie nicht übereinstimmen.

Eine eingehende Analyse hat ergeben, dass der Bericht mehrere methodische Fehler aufweist, die diese Inkonsistenz erklären. Am entscheidendsten sind die Ergebnisse von NHMRC in erster Linie in Hinblick auf die Definition zuverlässiger Beweise: Eine Studie, die als „zuverlässig“ angesehen wird, müsste mindestens 150 Teilnehmer und eine Qualitätsbewertung von 5/5 auf der Jadad-Skala (oder gleichwertig auf anderen Skalen) erreichen. Prüfungen, die keines dieser Kriterien erfüllen, wurden als „unzureichende Qualität und/oder Größe zurückgewiesen, was keine weitere Prüfung ihrer Feststellungen zu rechtfertigt“.

Die Festlegung eines solchen Qualitätsschwellenwertes ist höchst ungewöhnlich, aber das Kriterium der n = 150 Mindestprobengröße ist willkürlich, ohne wissenschaftliche Berechtigung und beispiellos unter Evidenzprüfungen.

Von 176 Studien, die das NHMRC in das Homöopathie-Review einbezog, erhielten nur 5 Studien die Definition „zuverlässig“. Keine von ihnen, so die Analyse, belegte die Wirksamkeit der Homöopathie. Dies erklärt, warum NHMRC zu dem Schluss kam, dass „keine zuverlässigen Beweise dafür vorliegen, dass Homöopathie wirksam ist“.

Ein Destillat detaillierter Ergebnisse, das auf der Konferenz präsentiert wird, zeigt weitere signifikante Fehler in diesem einflussreichen Bericht, die die Falschdarstellung der Evidenzbasis der Homöopathie bewusst machen.

Schlüsselwörter:

Homöopathie, NHMRC, Übersicht Bericht, Überprüfung der systematischen Überprüfungen, abweichende Berichterstattung (Berichtsbias).

No conflict of interest has been declared by the author(s).