Event-based Optical Flow Prediction with Spiking Neural Networks

Abstract

Event-based Cameras (EBCs), also known as dynamic vision sensors or neuromorphic cameras, are imaging sensors that operate differently from traditional frame-based cameras. Inspired by the exceptional motion perception abilities of winged insects, these cameras respond asynchronously to brightness or intensity changes with microsecond resolution. For each brightness change, the EBC outputs a discrete packet of information called ”event”. EBCs offer significant advantages over traditional frame-based cameras: no motion blur, high dynamic range, high temporal resolution, and low latency. These unique properties make the EBC an ideal sensor to analyze dynamic scenes characterized by fast motion and rapid changes in lighting conditions. As such, these bio-inspired sensors are subject to thorough research in the field of machine learning and robotics, offering fast, efficient, and robust processing for various applications: optical flow, visual odometry, feature tracking, object recognition, and even 3D reconstruction. The ultimate goal of this thesis is the foundation of a well integrated pipeline to operate EBCs with SNNs. We prove that EBC can perform well with NNs, more specifically Convolutional Neural Networks (CNNs), and CNNs-SNNs hybrids that predict optical flow. Ultimately, we want to use neuromorphic hardware to implement these SNN models, taking advantage of the asynchronous nature of EBCs and reducing power consumption to a minimum. Moreover, this thesis provides insight on how NN models can operate with event-based data, laying the groundwork for future expenditures in the field of deep learning with EBCs.

Les càmeres basades en esdeveniments (EBC), també conegudes com a sensors de visió dinàmica o càmeres neuromòrfiques, són sensors d'imatge que funcionen de manera diferent de les càmeres tradicionals basades en fotogrames. Inspirades en les excepcionals capacitats de percepció del moviment dels insectes alats, aquestes càmeres responen de manera asíncrona als canvis de brillantor o intensitat amb una resolució de microsegons. Per a cada canvi de brillantor, l'EBC emet un paquet discret d'informació anomenat "esdeveniment". Les EBC ofereixen avantatges significatius sobre les càmeres tradicionals basades en fotogrames: sense desenfocament de moviment, alt rang dinàmic i alta resolució temporal i baixa latència. Aquestes propietats úniques fan de l'EBC un sensor ideal per analitzar escenes dinàmiques caracteritzades per un moviment ràpid i canvis ràpids en les condicions d'il•luminació. Com a tals, aquests sensors bioinspirats són objecte d'una investigació exhaustiva en el camp de l'aprenentatge automàtic i la robòtica, oferint un processament ràpid, eficient i robust per a diverses aplicacions: flux òptic, odometria visual, seguiment de característiques, reconeixement d'objectes i fins i tot reconstrucció 3D. L'objectiu final d'aquesta tesi és la base d'una cadena de treball ben integrada per a operar EBC amb SNN. Demostrem que les EBC poden funcionar bé amb les NN, més específicament amb les Xarxes Neuronals Convolucionals (CNN) i els híbrids CNN-SNN que prediuen el flux òptic. En última instància, volem utilitzar maquinari neuromòrfic per implementar aquests models de SNN, aprofitant la naturalesa asíncrona de les EBC i reduint el consum d'energia al mínim. A més, aquesta tesi proporciona informació sobre com els models de NN poden operar amb dades basades en esdeveniments, establint les bases per a futures despeses en el camp de l'aprenentatge profund amb EBC.