Texture recognition under varying imaging geometries

Abstract

La visió és probablement el nostre sentit més dominant a partir del qual derivem la majoria d'informació del món que ens envolta. A través de la visió podem percebre com són les coses, on són i com es mouen. En les imatges que percebem amb el nostre sistema de visió podem extreure'n característiques com el color, la textura i la forma, i gràcies a aquesta informació som capaços de reconèixer objectes fins i tot quan s'observen sota unes condicions totalment diferents. Per exemple, som capaços de distingir un mateix objecte si l'observem des de diferents punts de vista, distància, condicions d'il·luminació, etc. La Visió per Computador intenta emular el sistema de visió humà mitjançant un sistema de captura d'imatges, un ordinador, i un conjunt de programes. L'objectiu desitjat no és altre que desenvolupar un sistema que pugui entendre una imatge d'una manera similar com ho realitzaria una persona. Aquesta tesi es centra en l'anàlisi de la textura per tal de realitzar el reconeixement de superfícies. La motivació principal és resoldre el problema de la classificació de superfícies texturades quan han estat capturades sota diferents condicions, com ara distància de la càmera o direcció de la il·luminació. D'aquesta forma s'aconsegueix reduir els errors de classificació provocats per aquests canvis en les condicions de captura. En aquest treball es presenta detalladament un sistema de reconeixement de textures que ens permet classificar imatges de diferents superfícies capturades en diferents condicions. El sistema proposat es basa en un model 3D de la superfície (que inclou informació de color i forma) obtingut mitjançant la tècnica coneguda com a 4-Source Colour Photometric Stereo (CPS). Aquesta informació és utilitzada posteriorment per un mètode de predicció de textures amb l'objectiu de generar noves imatges 2D de les textures sota unes noves condicions. Aquestes imatges virtuals que es generen seran la base del nostre sistema de reconeixement, ja que seran utilitzades com a models de referència per al nostre classificador de textures. El sistema de reconeixement proposat combina les Matrius de Co-ocurrència per a l'extracció de característiques de textura, amb la utilització del Classificador del veí més proper. Aquest classificador ens permet al mateix temps aproximar la direcció d'il·luminació present en les imatges que s'utilitzen per testejar el sistema de reconeixement. És a dir, serem capaços de predir l'angle d'il·luminació sota el qual han estat capturades les imatges de test. Els resultats obtinguts en els diferents experiments que s'han realitzat demostren la viabilitat del sistema de predicció de textures, així com del sistema de reconeixement.

This thesis is concerned with the application of texture analysis to discriminate between textured surfaces. The main motivation is the problem of classifying textured surfaces imaged under varying geometries, i.e. distance from the sensor and illumination direction, as well as the necessity of finding reliable methods of reducing classification errors caused by changes in the geometry's properties. In texture analysis one must distinguish between image texture and surface texture. Image texture is what appears in the 2D image of a physical object, while surface texture refers to the variation of the physical and geometric properties of the imaged surface which give rise to the image texture. Changes in the imaging geometry can significantly alter the appearance of the surface, implying significant variations in the image texture. And one still has to perform the task of recognition from the image texture. In this thesis, after analysing different strategies, we integrate the surface texture information derived by colour photometric stereo (CPS) into a complete model-based texture classification system. Photometric stereo is the technique which allows us to obtain surface texture information from a few images of the same surface imaged under various illumination directions. Basically, the main idea of our strategy consists of creating, by means of the surface texture information, a virtual' database of image textures against which we compare unknown test images in order to classify them. Note that we do not use the surface texture information directly to perform classification, but we use it to create new images which are the references for our training and classification process. Furthermore, the classification system allows us to guess the approximate direction of the illumination used to capture the test images. The proposed prediction methods, as well as the model-based texture classification system, are tested and evaluated. A set of real surface textures containing a wide variety of relatively smooth and very rough surfaces are used in this thesis as our image database.