Methods for remote stock monitoring using depth sensors

Abstract

RGB-D cameras return images like an ordinary camera but in addition to color, depthmaps where each pixel value represents the distance to a point of the scene are also obtained. Although originally conceived for gaming and consumer applications, their affordably and extensive documentation make them a suitable option for other 3D measurement applications. In this thesis, our interest has been focused on their use for the control of agricultural silo content which is fundamental for its proper management. Despite their potential benefits, obtaining accurate stock data from RGB-D sensors still requires further research and development. In this thesis, three main focuses of research will be considered.

• Measurement devices are usually affected by temperature. Centered on RGBD cameras, the first objective is to understand the temperature drift on structured light sensors, characterize it, and propose a compensation model that is fast and reliable to mitigate their effects on the measurements. To reach this objective the sensor performance has been analyzed under different temperature conditions and the distortion model has been characterized as a hyperbolic paraboloid function. We have also proposed a compensation method that reduces the measurement error to the levels of other non-structured light sensors and proprietary solutions. The good results of the method have been demonstrated in real scenarios.

• The RGB-D camera position and orientation from devices installed on agricultural silos is crucial for accurate volume estimations. This information is not always available and it is very time-consuming to obtain it by manual inspection. To tackle this problem, a method that uses the shape tensor properties to automatically compute the silo’s axis and provide a new reference system from which the sensor raw data can be easily processed has been proposed. The method has been implemented and tested on both synthetic and real silos, achieving a maximum average distance error of less than 6cm.

• Active stereo cameras are commonly designed for close-range applications with medium to low accuracy requirements. However, the standard performance of these cameras, as provided by the manufacturer, may not meet the stringent demands of remote silo monitoring tasks. Especially in cases where content measurements are required for very large silos with high accuracy expectations. To overcome this limitation, a custom calibration pipeline to optimize the calibration parameters of stereo cameras and improve the depth accuracy over long-range measurements has been proposed. The method has been evaluated on a real scenario providing an average relative volumetric error reduction of 8.6% compared to the factory calibration.

All the methods presented have been integrated into different production stages of the INSYLO SL services. With more than 500 devices using the thermal compensation algorithms, more than 1000 sensors adjusted using automatic methods, and over 200 sensors calibrated by using the new pipeline. As a result, a substantial increase in the reliability and accuracy of the INSYLO SL sensor network has been achieved

Les càmeres RGB-D retornen imatges com una càmera convencional, però a més de la informació de color, també s’obtenen mapes de profunditat on cada valor de píxel representa la distància a un punt de l’escena. Tot i que inicialment van ser concebudes per a aplicacions de videojocs i consum, la seva assequibilitat i extensa documentació les converteixen en una opció adequada per a altres aplicacions de measura 3D. En aquesta tesi, el nostre interès s’ha centrat en la seva utilització per al control del contingut dels silos agrícoles, que és fonamental per a la seva bona gestió. Malgrat els seus potencials avantatges, obtenir mesures precises d’ocupació mitjançant l’ús de sensors RGB-D és una tasca complexa i es requereix investigació i desenvolupament addicionals. En aquesta tesi, es consideraran tres àrees principals d’investigació.

• Generament, els dispositius de mesura poden veure’s afectats per la temperatura. Particularitzant en les càmeres RGB-D, el primer objectiu és comprendre aquesta deriva de la temperatura en els sensors de llum estructurada, caracteritzar-la i proposar un model de compensació ràpid i fiable per mitigar els seus efectes en les mesures. Per assolir aquest objectiu, s’ha analitzat el rendiment del sensor en diferents condicions de temperatura i s’ha caracteritzat el model de distorsió com una funció hiperbòlica paraboloide. També s’ha proposat un mètode de compensació que redueix l’error de mesurament als nivells d’altres sensors sense llum estructurada i solucions proprietàries. Els bons resultats del mètode s’han demostrat en escenaris reals.

• La posició i l’orientació de la càmera RGB-D dels dispositius instal·lats en silos agrícoles són crucials per a les estimacions precises del volum. Aquesta informació no sempre està disponible i requereix molt temps per obtenir-la mitjançant inspecció manual. Per abordar aquest problema, s’ha proposat un mètode que utilitza les propietats del tensor de forma per calcular automàticament l’eix del silo i proporcionar un nou sistema de referència des del qual es poden processar fàcilment les dades provinents del sensor. El mètode s’ha implementat i provat tant en silos sintètics com reals, aconseguint un error mitjà de distància màxim de menys de 6 cm.

• Les càmeres estereoscòpiques actives estan dissenyades habitualment per a aplicacions de curta distància amb requisits de precisió no gaire elevats. No obstant, el rendiment estàndard d’aquestes càmeres tal com ho proporciona el fabricant, pot no satisfer les exigències estrictes de tasques de monitorització de silos remots. Especialment en casos on es requereixen mesures de contingut per a silos molt grans amb expectatives d’alta precisió. Per superar aquesta limitació, s’ha proposat un procés de calibració personalitzat per optimitzar els paràmetres de calibració de les càmeres estereoscòpiques i millorar la precisió

de la profunditat en mesures de llarga distància. El mètode s’ha avaluat en un escenari real, aconseguint una reducció mitjana de l’error volumètric relatiu del 8,6% en comparació amb la calibració de fàbrica.

Tots els mètodes presentats s’han integrat en diferents etapes de producció dels serveis de INSYLO SL Amb més de 500 dispositius que utilitzen els algorismes de compensació tèrmica, més de 1000 sensors ajustats mitjançant mètodes automàtics i més de 200 sensors calibrats mitjançant el nou procés. Com a resultat, s’ha aconseguit un increment substancial de la fiabilitat i la precisió de la xarxa de sensors de INSYLO SL