Qualitätssicherung – „QSR zeigt Wege für die gesetzliche Qualitätssicherung“

Christian Günster ist Leiter des Bereichs Qualitäts- und Versorgungsforschung beim Wissenschaftlichen Institut der AOK (WIdO) in Berlin. Die Gruppe des Diplom-Mathematikers betreut das Projekt Qualitätssicherung mit Routinedaten (QSR), das seit 2008 Qualitätsdaten für Kliniken aufbereitet.

Im ZfOU-Interview bewertet der Leiter der zuständigen Gruppe im WIdO Christian Günster eine aktuelle Kritik an der Methodik hinter QSR (Qualitätssicherung mit Routinedaten). Das Verfahren sei vielmehr so ausgereift, dass es Blaupausen für die Nutzung von Routinedaten in der gesetzlichen Qualitätssicherung liefert.

? Was sagen Sie zur neuen Kritik an der Methodik von QSR.

Die weisen wir als methodisch fehlerhaft zurück. Lassen Sie mich das im Einzelnen erläutern

? Könnten Sie uns zunächst erklären, wie Sie bei QSR vorgehen?

Grundlage sind die Abrechnungsdaten, die die einzelnen AOKen von den Kliniken erhalten und danach in anonymisierter Form an das WIdO übermitteln. Mit diesen Längsschnittdaten können wir damit über viele Jahre hinweg schauen, welche Versorgung unsere Versicherten wo und wie erhalten haben.

? Wie lange heben Sie Routinedaten auf? 10 Jahre?

Sogar länger. Bei den von uns veröffentlichten Daten aus QSR werden Sie aber immer nur die Auswertung der anonymisierten Daten zu einem Haus über einen Zeitraum von 3 Jahren finden. Dabei werden die Ergebnisse jährlich aktualisiert. Im Moment sind in QSR die Daten von 2011 bis 2013 mit Follow-up bis 2014 enthalten. Wir haben ja Indikatoren dabei, die den Zeitraum bis zu 1 Jahr nach einem Eingriff betrachten.

? Die Autoren besagter Publikation kritisieren Ihre Verfahren auf mehreren Ebenen. So sei die Zuordnung von Daten aus einem Follow-up noch 1 Jahr nach der Erstoperation, etwa nach Implantation eines Kunstgelenks, nicht statthaft. Ein Krankenhaus könne längst nicht immer verantworten, was mit dem Patienten passiert, sobald er das Haus verlassen hat. Was sagen Sie dazu?

Bei QSR geht es nicht um individuelle Einzelfälle sondern um die statistische Häufung von Folgeereignissen. Uns beraten in solchen Fragen medizinische Fachgruppen, hier speziell das Expertenpanel Orthopädie und Unfallchirurgie [ 1 ]. Nach Einschätzung der Gruppe stehen Revisionen binnen eines Jahres sehr wohl oft im Zusammenhang mit der Erstoperation. Eine Infektion des Hüftgelenks zum Beispiel führt oft erst nach Monaten zur Gelenkrevision und zum Austausch der Prothese. Daher nehmen wir für diesen Indikator einen Zeitraum von 1 Jahr.

? Welchen Einfluss hat das Gremium der Experten generell?

Die Definition und Auswahl der Qualitätsindikatoren, die Risikoadjustierung und die Eignung der Indikatoren für die Berichterstattung sind Dinge, die ausdrücklich von den externen Mitgliedern in diesen Panels entschieden werden. Die Anwendung der Definitionen auf die Daten und deren statistische Aufbereitung inklusive der Klassifizierung in 3 Wertungskategorien (Lebensbaum-Systematik) übernimmt das WIdO.

? Und wie gehen Sie dazu vor?

Wir rechnen für jedes Haus und jeden Parameter zunächst einmal die so genannte Standard Morbiditäts-Rate oder Standard Mortalitäts-Rate (SMR) aus. Damit wollen wir erreichen, dass man die Werte in den Kliniken überhaupt vergleichen kann – denn die Patienten sind in jedem Haus unterschiedlich. Wir machen also eine so genannte Risikoadjustierung.

? Und das geht wie?

Wir kennen aus den Routinedaten die Zahl der tatsächlichen Fälle an Komplikationen in einem Haus und setzen die ins Verhältnis zu einer Zahl an Komplikationen, die angesichts des Risikoprofils der Patienten im Mittel zu erwarten sind. Der SMR-Wert kalkuliert sich dann durch den Bezug: Im Zähler stehen die beobachteten Werte und im Nenner die erwarteten. Ein SMR von 1 wäre damit genau der Durchschnitt, so viele Komplikationsfälle wie erwartet. Ein SMR von 2,0 heißt doppelt so viele Komplikationen oder Sterbefälle wie im Durchschnitt der Häuser. Und ein SMR von 0,5 heißt halb so viel wie erwartet.

? Wie kommen Sie auf die Zahlen für die zu erwarteten Fälle?

Dafür wird der komplette Datensatz aller deutschen Kliniken ausgewertet und dann in einer Regressionsmodellierung berechnet, welche Faktoren in welcher Stärke komplikationserhöhend wirken.

? Vermutlich Dinge wie Übergewicht, Vorerkrankungen?

Ja, ein Diabetes, Adipositas und andere Faktoren. Anhand der Daten zu solchen Risikofaktoren bei den Patienten können wir dann für jedes Krankenhaus hochrechnen, mit wie vielen Komplikationen anhand der Begleiterkrankungen der Patienten zu rechnen ist. Dieses Verfahren der Regressionsmodellierung ist international etabliert und verbreitet sich zunehmend auch in der gesetzlichen externen Qualitätssicherung. Es ist ein wesentlicher Schritt hin zu überhaupt vergleichbaren Daten.

? Sie nehmen ein Verfahren zur Risikoadjustierung nach Elixhauser – was heißt das?

Anne Elixhauser hat 1998 erstmals 31 Erkrankungen definiert, die sie für die Risikoadjustierung von Routinedaten verwendet. Diese Einteilung nehmen auch wir, haben dabei aber einige Dinge in Abstimmung mit unseren Expertenpanels aktualisiert und erweitert. Sie können alle Details auf unseren Seiten nachlesen (siehe Link unter Weitere Infos).

? Die Kritiker werfen Ihnen jetzt aber vor, dass Sie für den Vergleich der Kliniken gerade nicht mit den Werten für den SMR arbeiten, sondern mit denen des so genannten 95 %-Konfidenzintervalls. Was ist das?

Bei dem SMR handelt es sich um einen Schätzwert mit einer Streubreite. Daher gibt man ein Intervall an, in dem der tatsächliche Wert mit einer entsprechenden Wahrscheinlichkeit liegt. Das 95 %-Konfidenzintervall gibt an, dass der wahre Wert für einen SMR mit 95-prozentiger Wahrscheinlichkeit in diesem Intervall liegt. Eine ausschließliche Orientierung am SMR-Wert ohne Konfidenzintervall kann zu irreführenden Ergebnissen führen.

? Und wie entwickeln Sie die Einstufung von Kliniken nach ihrer Qualität?

Wir wollen, dass der Leser die Information in einer einfachen Form erhält. Denn nur so kann der Patient sie bei der Suche nach einem guten Krankenhaus nützen. Für jeden einzelnen Qualitätsindikator sortieren wir daher ein Haus in eine von drei Gruppen Plus, Minus oder Null. Die 20 % der Häuser, mit der geringsten Wahrscheinlichkeit für unerwünschte Ereignisse kriegen das Plus, 20 % für die die Wahrscheinlichkeit einer Komplikation hoch ist, kriegen das Minus, die 60 % in der Mitte kriegen die Null.

Wir nehmen für diese Kategorisierung die Lage des 95 %-Vertrauensbereichs. Und zwar mit folgender Grundüberlegung: Ein Patient, der bei uns die Daten von 1000 Kliniken vergleichen will, möchte wissen: Welches dieser Krankenhäuser kann mir mit 95-prozentiger Wahrscheinlichkeit nachweisen, dass die Komplikationsrate bei einem Eingriff, etwa der Implantation einer künstlichen Hüfte, niedrig ist. Nehmen Sie die Zahl der Revisionsoperationen binnen eines Jahres. Dafür will ich nicht wissen, wo der Punktschätzer SMR liegt, sondern ich möchte wissen, mit welcher Sicherheit ein beliebiges Haus auch wirklich einen niedrigen SMR-Wert hat. Wir betrachten dafür den oberen Grenzwert des Konfidenzintervalls. Je niedriger der liegt, desto besser. Die 20 % Kliniken, die hier die niedrigsten oberen Grenzwerte zeigen, kommen in die Kategorie Plus.

? Ein Beispiel?

Angenommen, für ein Haus findet sich bei ungeplanten Folgeoperationen binnen 365 Tagen nach dem Eingriff ein SMR von 0,8 und ein 95 %-Konfidenzintervall von 0,6–0,9. Damit zeigt sich für dieses Haus, dass das Ergebnis mit hoher Wahrscheinlichkeit unter 0,9 liegt, damit besser ist als der Durchschnitt aller Kliniken ist.

Und angenommen bei einem weiteren Haus mit dem gleichen SMR von 0,9 ginge das Intervall von 0,6–1,3. Da würde ich als Patient doch in jedem Fall in das Haus mit dem niedrigeren oberen Wert für das Konfidenzintervall von 0,9 gehen. Und eher nicht in das Haus mit dem Wert 1,3, das mir also mit 95-prozentiger Wahrscheinlichkeit nur sagen kann, das Risiko liegt unter 1,3. Der SMR könnte hier also auch bis zu 30 % über dem Durchschnitt aller Häuser liegen. Das sagt der Grenzwert von 1,3 ja aus.

? Und was gilt für jene 20 %, die in der Kategorie Minus landen?

Dafür schauen wir von der anderen Seite auf das Intervall. Wir nehmen die Häuser mit den höchsten unteren Grenzwerten für das 95 %-Konfidenzintervall. Sie haben die höchsten Risiken auf Komplikationen.

? Harald Englisch und Burkhard Fischer werfen Ihnen vor, dass mit dieser Arithmetik durchaus gute Häuser durch den Rost fallen könnten und anders herum. Dahinter stecke ein methodischer Fehler Ihres Verfahrens, das eben von den Fallzahlen abhänge. Das rechnen Sie anhand der Zahlen für die Sterblichkeit binnen 90 Tagen nach Implantation einer Hüftendoprothese nach hüftgelenksnahem Bruch vor.

Ja, und eine Seite später rechnen uns die Autoren dann vor, dass die Fallzahl bei den von ihnen ausgewerteten QSR-Daten zur Implantation eines künstlichen Hüftgelenks nach hüftgelenksnahem Bruch gar nicht mit dem Abschneiden beim Parameter Sterblichkeit binnen 90 Tagen in den Kliniken korreliert. Der Grund für diese Verwirrung, ich muss es so hart sagen: Die Arbeit der Autoren ist methodisch so nicht haltbar. Wir haben das nachgerechnet.

So möchten die Autoren Aussagen zu den AOK-Lebensbäumen machen, schauen sich dann aber nur Sterblichkeiten an. Das kann man aber gar nicht vergleichen – denn in die Bewertung nach Lebensbäumen gehen ja bei der gewählten Indikation 3 Einzelindikatoren ein. Das sind Chirurgische Komplikationen innerhalb von 90 Tagen, die Sterblichkeit innerhalb von 90 Tagen nach dem Eingriff, und ungeplante Folge-Operation bis zu 365 Tage nach dem Eingriff.

? Also hat Ihre Berechnungsweise bei QSR gar keine Makel?

Wir kämpfen mit einem grundlegenden statistischem Problem, das jeden trifft, der derart Daten für eine Qualitätsbewertung aufarbeiten möchte. Eine verlässliche Bewertung wird bei höherer Fallzahl einfacher möglich. Das drückt sich darin aus, dass das Konfidenzintervall um den SMR kleiner wird. Und deswegen haben Häuser mit einer höheren Fallzahl auch bei den Lebensbäumen eine höhere Wahrscheinlichkeit entweder in die 1er oder 3er-Kategorie einsortiert zu werden, eben weil die Qualitätseinstufung leichter möglich wird.

? Und Häuser mit niedrigeren Fallzahlen?

Da haben Sie immer das Problem, dass in diesen Häusern die Konfidenzintervalle tendenziell breiter sind. Das macht bei Häusern mit geringer Fallzahl aufgrund des Einflusses zufälliger Effekte die Auswahl schwieriger.

? Mit der Folge, dass sie die am Ende eher in die mittlere Kategorie sortieren müssen – da Sie es nicht genauer wissen?

Richtig. Und das ist gar nicht erstaunlich – dieser Punkt ist ein statistisches Problem, vor dem alle stehen, die vergleichende Qualitätsbetrachtungen machen möchten. Was man zugestehen muss, das ist aber eine statistische Trivialität, ist, dass die Konfidenzintervalle schmaler sind bei hoher Fallzahl.

? Also tun Sie Häusern mit hohen Fallzahlen eventuell doch Unrecht?

Nein. Gerade bei Kliniken mit hoher Fallzahl ist aufgrund der schmalen Konfidenzintervalle eine Qualitätseinstufung gut möglich. Bei Kliniken mit geringer Fallzahl ist es hingegen aus statistischen Gründen viel schwieriger gute oder schlechte Behandlungsqualität zu erkennen. Wenn Kliniken weniger als 30 Patienten in einer Indikation in 3 Jahren behandeln, veröffentlichen wir diese Daten im Übrigen nicht. Unter 30 sind die Werte zu volatil.

? Fällt damit nicht gerade die Gruppe der Häuser durchs Raster, die AOK wie auch viele Orthopäden aufgrund kleiner Fallzahlen besonders kritisch beim Thema Qualität sehen?

Nein. Die Kliniken mit sehr kleinen Fallzahlen muss man methodisch anders auswerten. In Volume-Outcome-Analysen fasst man sie üblicherweise zu einer Gruppe zusammen. So konnten wir auch für Deutschland einen inversen Zusammenhang von Fallzahl und Komplikationsrate beim Gelenkersatz feststellen, also weniger Komplikationen bei höherer OP-Zahl [ 2 ].

? Warum nehmen Sie nicht einfach die SMR-Werte für Ihre Einstufung? Das ist eine Forderung Ihrer Kritiker.

Nein, das reicht eben nicht. Wie dargelegt ist das SMR als Punktschätzer alleine nicht ausreichend. Die statistische Sicherheit muss in Form der Konfidenzintervalle mit berücksichtigt werden.

? Wie ist die Zukunft? QSR nimmt für sich in Anspruch, Langzeitdaten zu erheben – und das über die Grenzen von stationär und ambulant hinweg. Kommt so etwas jetzt auch in der gesetzlichen Qualitätssicherung?

Das wünschen wir uns. Schon das AQUA-Institut hat ja im Bereich Herzkatheter, PCI, ein Verfahren vorgeschlagen, dass erstmals sektorübergreifend Daten erheben soll, einschließlich von Routinedaten. Das geht nach Beschluss des G-BA in diesem Jahr los [ 3 ]. Bei Hüftgelenk- und Knieersatz könnte der G-BA ebenfalls längst damit loslegen, leider geht das aber nach unserem Eindruck nicht voran.

? Was meinen Sie?

Der G-BA hatte AQUA zuletzt am 22.01.2015 beauftragt, zu prüfen, wie man in der Endoprothetik ein längerfristiges Follow-Up nach einem stationären Aufenthalt gestalten kann. In seinem seit 29.01.2016 vorliegenden Abschlussbericht hat das AQUA-Institut auch Verfahren dabei, die auf unsere QSR-Indikatoren und Konzepte aufsatteln. Als da sind „Sterblichkeit innerhalb von 90 Tagen“, Revisionsraten, Folge-OP (innerhalb von 1,2 und 5 Jahren) [ 4 ]. Und mehr noch: AQUA hatte derartige Indikatoren bereits 2012 und 2013 vorgelegt – die eine hohe Übereinstimmung mit den damaligen QSR-Definitionen hatten. Der neue Bericht ist da nur eine Konkretisierung.

? Und jetzt?

Es geht nicht voran. Der G-BA muss beim Institut für Qualitätssicherung und Transparenz im Gesundheitswesen, beim IQTiG, die Umsetzung beauftragen. Da kämen dann übrigens die Routinedaten aller Kassen zum Tragen, was wir ebenfalls begrüßen würden.

? Man hört schon mal Befürchtungen, Sie wollten mit QSR einen Endlosprozess anstoßen. Man nehme die 20 % schlechtesten Häuser raus aus der Versorgung, werte danach die verbleibenden 80 % neu aus, und lege dann wieder die 20 % schlechtesten still?

Mit Verlaub: Das ist ein theoretisches Gedankenspiel. Die QSR-Daten informieren Ärzte und Patienten über potentielle Komplikationen im Behandlungsverlauf bis zu einem Jahr. Sie geben Orientierung im Endlosprozess, Qualität zu sichern und zu verbessern. Die Unterschiede sind heute noch erheblich. Man muss sich vergegenwärtigen, dass die Revisionsraten zwischen dem Viertel der Kliniken mit den niedrigsten Raten und dem Viertel mit den höchsten um den Faktor 2 differieren. Wenn Komplikationen reduziert werden und sich überall auf ähnlichem Niveau bewegen, dann ist das Ziel erreicht und die QSR-Einstufung hat sich überflüssig gemacht. Das ist meine Wunschvorstellung.

Das Interview führte Bernhard Epping

Weitere Informationen

http://www.qualitaetssicherung-mit-routinedaten.de/

• Literatur

• 1 http://www.qualitaetssicherung-mit-routinedaten.de/entwicklung/experten/index_12615.html
• 2 Jeschke E, Günster C. Zum Zusammenhang zwischen Behandlungshäufigkeit und -ergebnis in der Hüftendoprothetik. In: Klauber J, Geraedts M, Friedrich J, Wasem J, Hrsg. Krankenhaus-Report 2014. Schwerpunkt: Patientensicherheit. Stuttgart: Schattauer; 2014: 227-240
• 3 https://www.g-ba.de/institution/presse/pressemitteilungen/570/
• 4 https://sqg.aqua-institut.de/aktuelles/pressemitteilungen/komplikation_follow-up_knie-huefte.html