Comparison of Approaches to Select a Propensity Score Matched Control Group in the Absence of an Obvious Start of Follow Up for this Group: An Example Study on the Economic Impact of the DMP Bronchial Asthma

Abstract

Background Claims data are a valuable data source to investigate the economic impact of new health care services. While the date of enrollment into the new service is an obvious start of follow-up for participants, the strategy to select potential controls is not straightforward due to a missing start of follow-up to ascertain possible confounders. The aim of this study was to compare different approaches to select controls via Propensity Score Matching (PSM) using the disease management program (DMP) bronchial asthma (BA) as an example.

Methods We conducted a retrospective cohort study of BA patients between 2013 and 2016 to examine total one-year health care costs and all-cause mortality. We implemented different scenarios regarding the selection of potential controls: I) allotment of a random index date with subsequent PSM, II) calendar year-based PSM (landmark analysis) and III) calendar quarter-based PSM. In scenario I, we applied 2 approaches to assign a random index date: a) assign random index date among all quarters with a BA diagnosis and b) assign random index date and thereafter examine if a BA diagnosis was documented in that quarter.

Results No significant differences in total one-year health care costs between DMP BA participants and non-participants were observed in any of the scenarios. This could to some extent be explained by the higher mortality in the control groups in all scenarios.

Conclusion If the loss of potential controls can be compensated, scenario Ib is a pragmatic option to select a control group. If that is not the case, scenario III is the more sophisticated approach, with the limitation that baseline characteristics prior PSM cannot be depicted and computational time or memory size needed to conduct the analysis need to be sufficient.

Zusammenfassung

Hintergrund Routinedaten gesetzlicher Krankenkassen werden häufig zur Evaluation ökonomischer Effekte neuer Versorgungsformen genutzt. Während als Beginn des Follow Ups für Teilnehmer häufig der Tag der Einschreibung in das Programm genutzt werden kann, ist die Selektion von Kontrollen schwieriger aufgrund des Fehlens eines solchen Ereignisses. Ziel dieser Studie war es, Vorteile und Limitationen von 3 Methoden zur Selektion von Kontrollen mittels Propensity Score Matching (PSM) am Fallbeispiel des Disease Management Programms (DMP) Asthma bronchiale zu zeigen.

Methoden Eine retrospektive Kohorte bestehend aus Asthma Patienten zwischen 2013 und 2016 wurde identifiziert um Unterschiede in den Gesamtleistungskosten und Gesamtmortalität zu betrachten. Wir haben 3 Szenarien zur Auswahl geeigneter Kontrollen verglichen: I) Zuteilung eines zufälligen Indexdatums mit anschließendem PSM, II) Kalenderjahr basiertes PSM (Landmark Analyse) und III) Kalenderquartal basiertes PSM. Im ersten Szenario wurden 2 Methoden zur Zuteilung eines zufälligen Indexdatums umgesetzt: a) Zuteilung eines zufälligen Indexdatums zu einem Quartal mit Asthma Diagnose und b) Zuteilung eines zufälligen Indexdatums und anschließende Überprüfung ob in dem selektierten Quartal eine Asthmadiagnose vorlag.

Ergebnisse In keinem der Szenarien wurden signifikante Unterschiede in den Gesamtleistungskosten zwischen DMP Teilnehmern und Nicht-Teilnehmern beobachtet, was möglicherweise durch Mortalitätsunterschiede zwischen den Gruppen erklärt werden kann.

Fazit Im Falle einer ausreichend großen Anzahl potentieller Kontrollen ist Szenario Ib eine pragmatische Option zur Selektion einer Kontrollgruppe. Andernfalls stellt Szenario III die ausgereiftere Methode dar, obwohl keine Baseline-Charakteristika vor PSM dargestellt werden können und ausreichend Rechenkapazität bereitgestellt werden muss.

Key words

Propensity Score Matching - claims data - disease management program - health care costs - mortality - start of follow-up

Schlüsselwörter

Beginn Follow-up - Propensity Score Matching - Sekundärdaten - Disease Management Programm - Leistungskosten - Mortalität

• References

• 1 Schubert I, Köster I, Küpper-Nybelen J. et al. Versorgungsforschung mit GKV-Routinedaten: Nutzungsmöglichkeiten versichertenbezogener Krankenkassendaten für Fragestellungen der Versorgungsforschung. Bundesgesundheitsblatt – Gesundheitsforschung – Gesundheitsschutz 2008; 51: 1095-1105
• 2 Schreyögg J, Stargardt T. Gesundheitsökonomische Evaluation auf Grundlage von GKV-Routinedaten. Bundesgesundheitsblatt-Gesundheitsforschung-Gesundheitsschutz 2012; 55: 668-676
• 3 Siegel A, Köster I, Maun AR. et al. Evaluation einer regionalen integrierten Vollversorgung mit GKV-Routinedaten–Probleme und Herausforderungen. Public Health Forum 2016; 24: 17-21
• 4 Kähm K, Laxy M, Schneider U et al. Exploring Different Strategies of Assessing the Economic Impact of Multiple Diabetes–Associated Complications and Their Interactions: A Large Claims-Based Study in Germany. PharmacoEconomics 2018
• 5 Andersohn F, Walker J. Characteristics and external validity of the German Health Risk Institute (HRI) Database. Pharmacoepidemiol Drug Saf 2016; 25: 106-109
• 6 Schmedt N, Andersohn F, Walker J. et al. Sodium-glucose co-transporter-2 inhibitors and the risk of fractures of the upper or lower limbs in patients with type 2 diabetes: A nested case-control study. Diabetes Obes Metab 2018; 1-9
• 7 Rosenbaum PR, Rubin DB. The central role of the propensity score in observational studies for causal effects. Biometrika 1983; 70: 41-55
• 8 Rosenbaum PR, Rubin DB. Constructing a Control Group. Using Multivariate Matched Sampling Methods That Incorporate the Propensity Score. Am Stat 1985; 39: 33–38
• 9 Rubin DB. Matching to Remove Bias in Observational Studies. Biometrics 1973; 29: 159-183
• 10 Austin PC. An Introduction to Propensity Score Methods for Reducing the Effects of Confounding in Observational Studies. Multivar Behav Res 2011; 46: 399-424
• 11 Austin PC. Comparing paired vs non-paired statistical methods of analyses when making inferences about absolute risk reductions in propensity-score matched samples. Stat Med 2011; 1292-1301
• 12 Nolting HD, Gottberg A, Schiffhorst G. et al. Einfluss der Teilnahme am DMP Diabetes mellitus Typ 2 auf die Entwicklung der Leistungsausgaben–Ergebnisse einer retrospektiven kontrollierten Studie auf der Basis von GKV-Routinedaten. Gesundh Ökon Qual Manag 2011; 209-215
• 13 Drabik A, Graf C, Büscher G. et al. Evaluation der Effektivität eines Disease Management Programms Diabetes Mellitus in der GKV-Erste Ergebnisse und methodische Überlegungen. Z Für Evidenz Fortbild Qual Im Gesundheitswesen 2012; 106: 649-655
• 14 Münscher Dr.Christof, Potthoff Frank, Weber Wolfgang et al. Disease-Management-Programm Asthma bronchiale der Techniker Krankenkasse in der Region Nordrhein-Evaluationsbericht zum 31. März 2014. 2014
• 15 Münscher Dr.Christof, Potthoff Frank, Weber Wolfgang et al. Disease-Management-Programm Asthma bronchiale der DAK Gesundheit in der Bundesrepublik Deutschland-Evaluationsbericht zum 31. März 2014. 2014
• 16 Buntin MB, Jain AK, Mattke S. et al. Who Gets Disease Management?. J Gen Intern Med 2009; 24: 649-655
• 17 Schäfer I, Küver C, Gedrose B. et al. Selection effects may account for better outcomes of the German Disease Management Program for type 2 diabetes. BMC Health Serv Res 2010; 10: 351