Reinforcement learning for bolus insulin dosing for people with type 1 diabetes

Abstract

Type 1 Diabetes (T1D) is a chronic metabolic disorder caused by destruction of the insulin producing beta cells in the islets of Langerhans within the pancreas due to an autoimmune reaction. T1D is distinguished by elevated levels of blood glucose (BG) owing to the deficiency of insulin, a hormone responsible for the regulation of BG within the normal range of 70-180 mg/dL. T1D is associated with various micro-vascular and macro-vascular complications such as nephropathy, neuropathy, retinopathy, coronary heart disease, cerebrovascular disease, peripheral artery disease etc. People with T1D rely on the administration of exogenous insulin to restrict the BG in a healthy range.

The insulin treatment strategies for T1D can be broadly divided into two categories i.e., multiple daily injections (MDI) and continuous subcutaneous insulin infusion (CSII) to avoid the T1D complications. In the past decade, a significant effort has been made by researchers to reproduce the behavior of beta cells and automate the insulin delivery for the management of T1D paving a way for the rapid development of the artificial pancreas (AP) technology. Integration of a continuous glucose monitor (CGM) with closed-loop control (CLC) algorithms to compute the continuous insulin dosing rate constitute an AP system. The preclinical validation and evaluation of the insulin dosing strategies developed by researchers are performed in the simulation environments that represent virtual patients (VPs) with T1D.

The work presented in this thesis provides three contributions. Firstly, a methodology is introduced to generate a cohort of VPs with T1D to replicate the BG metrics of a real cohort of people with T1D from the Hospital Clinic de Barcelona. The clinical data of meals, meal times and insulin (basal and bolus) was utilized to derive realistic scenarios for the generation of VPs. The exercise sessions were introduced as disturbances and were derived from the BG profile of the real patients. The proposed methodology is capable of adopting the daily variations of BG profile from real patients and thus provide a realistic and challenging simulation environment for the validation and evaluation of therapeutic strategies developed for the management of T1D.

Secondly, a Q-Learning based Reinforcement Learning (RL) algorithm is proposed for the bolus insulin calculation in patients with T1D and validated on the generated cohort of VPs with T1D. Usually the bolus insulin calculation is based on carbohydrates (CHO) in meal, CHO to insulin ratio (CR) and the insulin sensitivity based correction factor (CF). On the contrary, the proposed algorithm is independent of the CHO content in meals, CR and CF with an aim to avoid the CHO estimation and counting errors and the management burden on patients with T1D

La diabetis tipus 1 (DT1) és un trastorn metabòlic crònic causat per la destrucció de les cèl·lules beta productores d'insulina als illots de Langerhans dins del pàncrees a causa de una reacció autoimmune. La T1D es caracteritza per nivells elevats de glucosa en sang (BG) a causa de la deficiència d'insulina, una de les hormones responsables de la regulació de la glucosa dins del rang normal de 70-180 mg/dL. La T1D s'associa a diverses complicacions microvasculars i macrovasculars, com ara nefropatia, neuropatia, retinopatia, cardiopatia coronària, malaltia cerebrovascular, malaltia arterial perifèrica, etc. Les persones amb T1D depenen de l’administració d’insulina exògena per mantenir la glucèmia en un rang saludable.

Les estratègies de tractament amb insulina per evitar les complicacions de la T1D es poden dividir en dues categories, és a dir, múltiples injeccions diàries (MDI) o infusió contínua subcutània d'insulina (CSII). Durant l'última dècada, els investigadors han fet un esforç significatiu per reproduir el comportament de les cèl·lules beta i automatitzar el lliurament d'insulina per a la gestió de la T1D, obrint un camí per al desenvolupament ràpid de la tecnologia del pàncrees artificial (AP). L’integració d'un monitor continu de glucosa (CGM) amb algorismes de control de llaç tancat (CLC) per calcular la taxa de dosificació contínua d'insulina constitueix un sistema AP. La validació i avaluació preclínica de les estratègies de dosificació d'insulina desenvolupades pels investigadors es realitzen en els entorns de simulació que representen pacients virtuals (VP) amb T1D.

El treball presentat en aquesta tesi aporta tres contribucions. En primer lloc, una metodologia és introduïda per a la generació d’una cohort de VP amb T1D per replicar les mètriques de BG d'una cohort real de persones amb T1D de l'Hospital Clínic de Barcelona. Les dades clíniques dels àpats, els horaris dels àpats i la insulina (basal i bolus) es van utilitzar per obtenir escenaris realistes per a la generació de VP. Les sessions d'exercici es van introduir com pertorbacions i es van derivar del perfil de glucosa dels pacients reals. La metodologia proposada és capaç d'adoptar les variacions diàries del perfil de glucosa en pacients reals i, per tant, proporcionar un entorn de simulació realista i desafiant per a la validació i avaluació de les estratègies terapèutiques desenvolupades per al maneig de la T1D.

En segon lloc, es proposa un algorisme d'aprenentatge per reforç (RL) basat en Q-Learning per al càlcul de bolus d'insulina en pacients amb T1D i es valida en la cohort generada de VP amb T1D. Normalment, el càlcul de la insulina en bolus es basa en els hidrats de carboni (CHO) dels àpats, la proporció CHO a insulina (CR) i el factor de correcció basat en la sensibilitat a la insulina (CF). A diferència d’això, l'algoritme proposat és independent del contingut de CHO en els àpats, del CR i del CF amb l'objectiu d'evitar els errors d'estimació i recompte de CHO i la càrrega de gestió dels pacients amb T1D