Estimation of Influenza Vaccine Effectiveness using Secondary Data: A Cohort Study and Propensity Score-Matched Analysis of Claims Data from Baden-Wuerttemberg

Abstract

Our objective was to estimate and replicate influenza vaccine effectiveness (VE) for the 2014/2015 influenza season (IS) based on routine data from a German health insurance claims dataset. In addition, we investigated associated methodological aspects. From the AOK Baden-Württemberg, claims data of 2.64 million insured persons residing in Baden-Wuerttemberg and aged 15 years and older were available for analysis. Based on influenza vaccine-specific reimbursement codes claimed in the vaccination period of 2014, participants were classified as either vaccinated or unvaccinated. Baseline covariates that could confound the association between vaccination and influenza infection were considered for all participants. Covariates included age, sex, place of residence, and covariates indicative of health status and health-service utilization. The primary outcome was defined as influenza hospitalization during the IS in winter and spring of 2015. Secondary outcomes included pneumonia hospitalizations, and all-cause mortality among others. Propensity score matching (PSM) was used to build a comparable set of vaccinated and unvaccinated participants. A bias analysis was conducted by estimating VE pre- and post-IS, periods in which vaccination is not thought to be effective, because influenza is not circulating in the population. A subset of 839,706 participants could successfully be matched with a 1:1 ratio. The estimated influenza VE (based on influenza hospitalization) was 27% [95% confidence interval (CI): 17%; 36%], which compares well with the estimate of the RKI for the same season (27% [95% CI: -1%; 47%]). Bias analysis revealed that result could be partially accounted for by residual confounding yielding a potential overestimation of the true underlying effect. Secondary outcomes for pneumonia hospitalizations and mortality showed similar results though likely prone to a greater extent of residual confounding. It can be concluded that (1) secondary data from German health insurances can be used to derive plausible influenza VE estimates, and (2) PSM is a useful and transparent method to derive those estimates. In addition, (3) residual confounding is a relevant problem in observational studies on VE and (4) bias analysis in pre- and post-season periods are an essential complement for interpretation of results.

Zusammenfassung

Ziel war es die Wirksamkeit der Influenza-Impfung (VE) für die Grippesaison 2014/2015 auf Grundlage von Routinedaten aus Krankenkassendatensatz zu schätzen und zu replizieren. Zusätzlich sollten methodische Aspekte untersucht werden. Es wurden Abrechnungsdaten von 2,64 Millionen Versicherten der AOK Baden-Württemberg mit dortigem Wohnsitz ab 15 Jahren analysiert. Basierend auf Abrechnungsdaten für die Influenza-Impfung 2014, wurden die Teilnehmer als ungeimpft oder geimpft klassifiziert. Kovariablen, die den Zusammenhang zwischen Impfung und Influenzainfektion beeinträchtigen könnten, wurden berücksichtigt. Hierzu gehörten Alter, Geschlecht, Wohnort sowie Kovariablen, die auf den Gesundheitszustand und die Inanspruchnahme von Gesundheitsdienstleistungen hinweisen. Der primäre Endpunkt war ein Krankenhausaufenthalt wegen Influenza während der Grippesaison 2015. Zu den sekundären Endpunkten gehörten unter anderem Krankenhausaufenthalte wegen Lungenentzündung und die Gesamtmortalität. Um eine vergleichbare Gruppe von geimpften und ungeimpften Teilnehmern zu ermitteln, wurde ein Propensity-Score-Matching (PSM) durchgeführt. Es wurde eine Bias-Analyse durchgeführt, bei der die VE vor und nach der Grippesaison geschätzt wurde, also zu Zeitpunkten, in denen angenommen wurde, dass die Influenza nicht in der Bevölkerung zirkulierte und die Impfung nicht wirken konnte. Insgesamt konnten 839.706 Teilnehmer 1:1 gematcht werden. Die geschätzte VE (basierend auf Influenza bedingten Krankenhausaufenthalten) betrug 27% [95%Konfidenzintervall (KI): 17%; 36%], was der Schätzung des RKI für dieselbe Saison (27% [95%KI: -1%; 47%]) entspricht. Die Bias-Analyse zeigte, dass das Ergebnis teilweise durch residuale Konfundierung erklärt werden kann, was zu einer potenziellen Überschätzung des zugrunde liegenden Effekts führt. Die Ergebnisse der sekundären Endpunkte zeigten ähnliche Ergebnisse, obwohl sie wahrscheinlich in höherem Maße durch residuale Konfundierung bedingt sind. Zusammenfassend zeigt sich, dass (1) sekundäre Daten der deutschen Krankenkassen verwendet werden können, um plausible VE-Schätzungen abzuleiten, und dass (2) das PSM eine nützliche und transparente Methode zur Ableitung dieser Schätzungen ist. Darüber hinaus ist (3) residuale Konfundierung ein relevantes Problem in Beobachtungsstudien zu VE und (4) Bias-Analysen vor- und nach der Grippesaison sind eine wesentliche Ergänzung für die Interpretation der Ergebnisse.

Key words

vaccine effectiveness - propensity score matching - claims data - influenza - Germany

Schlüsselwörter

Wirksamkeit von Impfstoffen - Propensity-Score-Matching - Leistungsdaten - Influenza - Deutschland

Publication History

Article published online:
22 December 2023

• References

• 1 Jackson LA, Jackson ML, Nelson JC. et al. Evidence of bias in estimates of influenza vaccine effectiveness in seniors. Int J Epidemiol 2006; 35: 337-344 DOI: 10.1093/ije/dyi274.
• 2 Valenciano M, Ciancio B, Moren A. First steps in the design of a system to monitor vaccine effectiveness during seasonal and pandemic influenza in EU/EEA Member States. Euro Surveill 2008; 13 DOI: 10.2807/ese.13.43.19015-en.
• 3 Swart E, Gothe H, Geyer S. et al Good Practice of Secondary Data Analysis (GPS): Guidelines and Recommendations. Gesundheitswesen 2015; 77 S 120-126 DOI: 10.1055/s-0034-1396815.
• 4 Buda S, Köpke K, Prahm K et al. Bericht zur Epidemiologie der Influenza in Deutschland: Saison 2014/15. Berlin; 2015 (August 2018). Im Internet: https://influenza.rki.de/Saisonberichte/2014.pdf Stand: 21.12.2022
• 5 Centers for Disease Control and Prevention. Key Facts About Seasonal Flu Vaccine (Dezember 2018). Im Internet: https://www.cdc.gov/flu/protect/keyfacts.htm Stand: 21.12.2022
• 6 Gross PA, Russo C, Teplitzky M. et al. Time to peak serum antibody response to influenza vaccine in the elderly. Clin Diagn Lab Immunol 1996; 3: 361-362 DOI: 10.1128/cdli.3.3.361-362.1996.
• 7 Factsheet about seasonal influenza (Dezember 2018). Im Internet: https://ecdc.europa.eu/en/seasonal-influenza/facts/factsheet Stand: 21.12.2022
• 8 Austin PC. Type I error rates, coverage of confidence intervals, and variance estimation in propensity-score matched analyses. Int J Biostat 2009; 5 Article 13 DOI: 10.2202/1557-4679.1146.
• 9 Orenstein WA, Bernier RH, Hinman AR. Assessing vaccine efficacy in the field. Further observations. Epidemiol Rev 1988; 10: 212-241 DOI: 10.1093/oxfordjournals.epirev.a036023.
• 10 Weinberg GA, Szilagyi PG. Vaccine epidemiology: efficacy, effectiveness, and the translational research roadmap. J Infect Dis 2010; 201: 1607-1610 DOI: 10.1086/652404.
• 11 R: A Language and Environment for Statistical Computing. Vienna, Austria; 2017. (Dezember 2018) Im Internet: https://www.r-project.org/ Stand: 21.12.2022
• 12 Goodwin K, Viboud C, Simonsen L. Antibody response to influenza vaccination in the elderly: a quantitative review. Vaccine 2006; 24: 1159-1169 DOI: 10.1016/j.vaccine.2005.08.105.
• 13 Weinberger B, Herndler-Brandstetter D, Schwanninger A. et al. Biology of immune responses to vaccines in elderly persons. Clin Infect Dis 2008; 46: 1078-1084 DOI: 10.1086/529197.
• 14 Demicheli V, Jefferson T, Di Pietrantonj C. et al. Vaccines for preventing influenza in the elderly. Cochrane Database Syst Rev 2018; 2: CD004876 DOI: 10.1002/14651858.CD004876.pub4.
• 15 Demicheli V, Jefferson T, Ferroni E. et al. Vaccines for preventing influenza in healthy adults. Cochrane Database Syst Rev 2018; 2: CD001269 DOI: 10.1002/14651858.CD001269.pub6.
• 16 Nichol KL, Nordin JD, Nelson DB. et al. Effectiveness of influenza vaccine in the community-dwelling elderly. N Engl J Med 2007; 357: 1373-1381 DOI: 10.1056/NEJMoa070844.
• 17 Hoffmann F, Koller D. Verschiedene Regionen, verschiedene Versichertenpopulationen? Soziodemografische und gesundheitsbezogene Unterschiede zwischen Krankenkassen. Das Gesundheitswes 2015; EFirst DOI: 10.1055/s-0035–1564074.
• 18 Austin PC. An Introduction to Propensity Score Methods for Reducing the Effects of Confounding in Observational Studies. Multivariate Behav Res 2011; 46: 399-424 DOI: 10.1080/00273171.2011.568786.