Solving classical astrodynamics problems by means of Machine Learning approaches

Abstract

El propòsit d’aquesta tesis de màster és analitzar l’utilitat de mètodes i mo dels de Machine Learning i Intel·ligència Artificial per resoldre dos problemes clàssics de l’àmbit de l’astrodinàmica i la mecànica celeste: el problema del control d’actitud (i.e. orientació) de vehícles espacials i el càlcul de mapes de poincaré d’un sistema dinàmic. El problema del control de l’actitud consisteix en determinar la seqüència de moviments (normalment en forma de torques generats per motors d’impuls feble, magnetorques i/o altres tipus d’actuadors similars) que permeten a un vehicle espacial corregir la seva orientació i velocitat angular per tal d’assolir una actitud desitjada. Un controlador es un algorisme que permet assolir aquest objectiu. En el context d’aquesta tesi de màster, aquest problema s’ha plante jat com a un problema d’aprenentatge per reforç a on un agent (el satèl·lit) ha d’aprendre a través de l’experiència una política (estratègia) òptima per tal de controlar l’actitud. Hem construit un simulador virtual que emula el compor tament del satèl·lit quan se li aplica un torque, i un controlador basat en una xarxa neuronal profunda. Mitjançant l’algorisme Proximal-Policy Optimitzati on, i interactuant amb l’entorn de simulació, la xarxa neuronal acaba aprenent quina és l’estratègia òptima per controlar l’actitud. S’han realitzat varis experi ments amb satèl·lits de diverses formes i amb/sense pertorbacions, i els resultats mostren que el nostre controlador és capaç d’estabilitzar l’actitud amb un error mitjà proper als ±2 graus, sense arribar mai a superar els ±4 graus, començant des d’una orientació arbitrària i una velocitat angular màxima de ±4 rad/s en cada un dels tres eixos del cos. En el segon problema, l’objectiu és aproximar per mitjà d’una xarxa neu ronal el mapa de poincaré d’un sistema dinàmic. En el camp de la Mecànica Celeste, els mapes de Poincaré són una eina matemàtica clau que permet als científics estudiar la dinàmica global de regions específiques de l’espai de fa se a on es defineix un determinat problema. Per tal d’aproximar el mapa de Poincaré, hem generat un gran dataset que conté les condicions inicials i les seves respectives imatges per l’aplicació de Poincaré d’un determinat problema. Aquest dataset ha estat després utilitzat per entrenar dos regressors, cada un 2 compost de tres xarxes neuronals profundes. El primer regressor ha estat en trenat per tal d’aprendre el mapa de Poincaré integrant el temps cap endavant, mentre que el segon intenta reproduïr-lo integrant el temps cap enrere. Per desgràcia, els resultats obtinguts en aquesta segona part del treball han estat bastant dolents, i els dos regressors tenen dificultats importants per aprendre correctament el mapa de Poincaré del problema considerat, malgrat que sí són capaços de reproduïr algunes de les dinàmiques locals del sistema. No obstant, en aquest document es mostren i es discuteixen els resultats, i es proposa una línia d’investigació futura en la qual es podria treballar per intentar millorar la precisió obtinguda

The main goal of this master’s thesis is to analize and explore the usefulness of Machine Learning and AI tools applied to two classical problems in the field of Dy namical Systems, more concretely in Celestial Mechanics and Astrodynamics, and classic atomic physics: the spacecraft attitude (i.e. orientation) control problem, and the approximation of the Poincaré map in a dynamical system of a Hydrogen molecule under a microwave field. The attitude control problem has the goal of finding the optimal sequence of move ments (usually in the form of torques generated with weak impulse thrusters and/or magnetorquers) that allows for the correction of the angular velocity and orientation of a space artifact in order to reach a desired final attitude. In this thesis, this prob lem has been formulated as a reinforcement learning problem where an agent (the satellite) tries to learn an optimal policy (strategy) that allows it to decide which torque should be applied at each moment in order to maximize a reward func tion inversely proportional to the attitude error. Several experiments have been performed, using different satellite shapes and with/without environmental pertur bations. The results show that our controller is able to stabilize the full attiude with a final average error around ±2 degrees, and a maximum error less than ±4 degrees, starting from an arbitrary orientation and a maximum angular velocity of ±4 rad/s in all three body axis. The second problem of interest of this thesis is the approximation of the Poincaré map of a dynamical system using a neural network. In the field of dynamical sys tems, Poincaré maps are a key mathematical tool that helps scientists to study the global dynamics in specific regions of the phase space where the problem is defined. In order to approximate the map using neural networks, we generate a large dataset that contains the initial conditions, and their respective images under the Poincaré map. This dataset has been used to train two regressors, each one consisting of three deep neural-networks. The first regressor has been trained to reproduce the Poincaré map forwards in time, while the second one reproduces it backwards. Un fortunately, results in this second section of the thesis have been poor, and both neural networks have difficulties for correctly learning the map. Nevertheless, the results have been discussed and two future research lines have been proposed that could improve the regressor’s performance