Optimizing Resource Allocation during Epidemic Outbreaks: An Approximate Dynamic Programming Approach for Cholera

Abstract

Epidemiutbrudd påvirker mennesker over hele kloden. COVID-19 pandemien viser at til tross for store mediniske framskritt de siste tiårene, er det stadig behov for en effektiv respons ved epidemiutbrudd. Selv for sykdommer som det finnes fungerende vaksiner og medikamenter mot, som kolera, forekommer epidemiutbrudd som koster liv hvert eneste år. Effektiv respons med en velfungerende strategi er essensielt når man skal respondere på en epidemi. Målet ved denne oppgaven er å utvikle modeller for beslutningsstøtte til valg av strategier som gir en mest mulig effektiv respons. Støtten kan gis både i forkant av og under et epidemiutbrudd.

Oppgaven foreslår en ressursallokerings-modell kombinert med en kolera-modell. Modellene allokerer medisinske intervensjonsressurser for å redde så mange liv som mulig under kolerautbrudd. Ressursene allokeres innenfor begrensningene gitt av tilgjengelig medisinsk personnel og midlertidige medisinske fasiliteter. Den foreslåtte ressursallokeringsmodellen er løst med en approksimert dynamisk programmerings-tilnærming, med et nevralt nettverk som approksimeringsteknikk for verdifunksjonen. Ressursallokeringsproblemet i begynnelsen av hver tidsperiode løses heuristisk med en lokal søk-prosedyre. Kolera-modellen kombinerer og videreutvikler modeller fra eksisterende forskning til en multi-region og multi-intervensjons Susceptible-Asymptomatic-Infected-Recovered-Bacteria (SAIR-B) modell. Variasjoner i lokalt klima og miljø er en sentral faktor ved spredning av kolera. Derfor er bakteriespredningsraten mellom regioner i SAIR-B-modellen inkludert som en stokastisk variabel i ADP-modellen.

Den epidemiologiske modellen er kalibrert etter kolerautbruddet på Haiti i 2010, og et numerisk studie er gjennomført på både den kalibrerte modellen og en alternativ epidemi-modell med høyere, men fortsatt realistisk, ekskresjonsrate av bakterier. Resultatet indikerer at den approksimerte verdifunksjonen konvergerer mot en konsekvent ADP beslutningsregel, og at beslutningsregelen er robust for variasjoner i ekskresjonsrate-distribusjonen. Undersøkelsen av tilgjengelighet av medisinske ressurser indikerer at selv om rehydreringsløsninger er essensielt når man behandler kolera-pasienter med symptomer, så reduserte en økning av vaksiner dødeligheten mer. Det viste seg også at en økning i tilgjengelighet av vaksiner betydde mer for reduksjon av antall døde enn raskere tilgang på vaksiner gjorde. Dette indikerer at beslutningstakere burde fokusere på å samle inn pålitelige data om epidemispredningen for å få tilstrekkelig oversikt over utbruddet, framfor å forespørre vaksiner så raskt som mulig fra International Coordinating Group on Vaccine Provision.

Epidemic outbreaks affect the lives of people all around the world. The COVID-19 pandemic painfully demonstrates that despite the major medical achievements in the past centuries, there is still a need for efficient responses to epidemics. Even for diseases where there exists both effective vaccines and medications, such as cholera, epidemic outbreaks occur and costs many lives every year. Efficient responses with a functioning strategy are vital when dealing with epidemics, and this thesis aims to provide decision-support both in advance of and during epidemic outbreaks on what response policy might be most effective.

This thesis proposes a resource allocation model combined with a cholera epidemic model. Together, the models aim to allocate medical intervention resources to save as many lives as possible during cholera outbreaks, within the constraints of available medical personnel and temporary medical facilities. The proposed resource allocation model is solved using an approximate dynamic programming (ADP) approach with a neural network as an approximation technique for the value function. The resource allocation problem at the start of each time period is in turn solved heuristically using a local search procedure. The cholera model combines and extends previous works to a multi-region, multi-intervention Susceptible-Asymptomatic-Infected-Recovered-Bacteria (SAIR-B) model. Environmental fluctuations are an important factor in spreading cholera, and it has been linked to climatic conditions. Therefore, the bacteria dispersal rate between regions in the SAIR-B model is included as a stochastic variable in the ADP model.

The epidemic model is calibrated to the 2010 cholera outbreak in Haiti, and a computational study is conducted on the calibrated epidemic model and on an alternative epidemic model with higher, but still realistic, bacteria excretion rate. The results indicate that the value function approximation converges towards a consistent ADP policy, and that this policy is robust to various bacteria dispersal rate distributions. The investigation regarding the availability of medical resources indicates that although rehydration solution is essential to treat symptomatic cholera-infections, additional vaccines made a larger impact on the total disease-induced fatalities. Increased availability of vaccines also appeared to reduce the fatalities more than earlier arrival of vaccines. Decision-makers should thus be aware that focusing on collecting reliable surveillance data to get a sufficient overview of the entire outbreak situation, may prove more important than requesting vaccines as rapidly as possible from the International Coordinating Group on Vaccine Provision.