Perceptual information-theoretic measures for viewpoint selection and object recognition

Abstract

Viewpoint selection has been an emerging area in computer graphics for some years, and it is now getting maturity with applications in fields such as scene navigation, volume visualization, object recognition, mesh simplification, and camera placement. But why is viewpoint selection important? For instance, automated viewpoint selection could play an important role when selecting a representative model by exploring a large 3D model database in as little time as possible. Such an application could show the model view that allows for ready recognition or understanding of the underlying 3D model. An ideal view should strive to capture the maximum information of the 3D model, such as its main characteristics, parts, functionalities, etc. The quality of this view could affect the number of models that the artist can explore in a certain period of time.

In this thesis, we present an information-theoretic framework for viewpoint selection and object recognition. From a visibility channel between a set of viewpoints and the polygons of a 3D model we obtain several viewpoint quality measures from the respective decompositions of mutual information. We also review and compare in a common framework the most relevant viewpoint quality measures for polygonal models presented in the literature.

From the information associated to the polygons of a model, we obtain several shading approaches to improve the object recognition and the shape perception. We also use this polygonal information to select the best views of a 3D model and to explore it. We use these polygonal information measures to enhance the visualization of a 3D terrain model generated from textured geometry coming from real data.

Finally, we analyze the application of the viewpoint quality measures presented in this thesis to compute the shape similarity between 3D polygonal models. The information of the set of viewpoints is seen as a shape descriptor of the model. Then, given two models, their similarity is obtained by performing a registration process between the corresponding set of viewpoints

La selecció de punts de vista ha estat una àrea emergent en la computació gràfica des de fa alguns anys i ara està aconseguint la maduresa amb aplicacions en camps com la navegació d’una escena, la visualització de volums, el reconeixement d’objectes, la simplificació d’una malla i la col·locació de la càmera. Però per què és important la selecció del punt de vista? Per exemple, la automatització de la selecció de punts de vista podria tenir un paper important a l’hora de seleccionar un model representatiu mitjançant l’exploració d’una gran base de dades de models 3D en el menor temps possible. Aquesta aplicació podria mostrar la vista del model que permet el millor reconeixement o comprensió del model 3D. Un punt de vista ideal ha de captar la màxima informació del model 3D, com per exemple les seves principals característiques, parts, funcionalitats, etc. La qualitat d’aquest punt de vista pot afectar el nombre de models que l’artista pot explorar en un determinat període de temps.

En aquesta tesi, es presenta un marc de teoria de la informació per a la selecció de punts de vista i el reconeixement d’objectes. Obtenim diverses mesures de qualitat de punt de vista a través de la descomposició de la informació mútua d’un canal de visibilitat entre un conjunt de punts de vista i els polígons d’un model 3D. També revisem i comparem en un marc comú les mesures més rellevants que s’han presentat a la literatura sobre la qualitat d’un punt de vista d’un model poligonal.

A partir de la informació associada als polígons d’un model, obtenim diversos tipus de renderitzat per millorar el reconeixement d’objectes i la percepció de la forma. Utilitzem aquesta informació poligonal per seleccionar les millors vistes d’un model 3D i per la seva exploració. També usem aquestes mesures d’informació poligonal per millorar la visualització d’un model de terreny 3D amb textures generat a partir de dades reals.

Finalment, s’analitza l’aplicació de les mesures de qualitat de punt de vista presentades en aquesta tesi per calcular la similitud entre dos models poligonals. La informació del conjunt de punts de vista és vista com un descriptor del model. Llavors, donats dos models poligonals, la seva similitud s’obté mitjançant la realització d’un procés de registre entre els conjunts de punts de vista corresponents