Indexation et recherche d’image par le contenu et par la localisation géographique 18.00 / 20

REMERCIEMENTS Je tiens à remercier tout particulièrement M. Jean-Marc OGIER, mon superviseur de stage au laboratoire L3I de l’université de La Rochelle, et M. Alain BOUCHER, mon co-superviseur de stage à l’IFI. Ils ont su orienter mon travail dans les bonnes directions tout en me laissant une large autonomie. Je les remercie également pour leur gros travail pour corriger ce rapport de stage. Mes remerciements s’adressent également à M. NGUYEN Nhu Van qui m’a aidé dans la configuration l’environnement de programmation. Mon travail bénéficie aussi son travail de thèse de la recherche d’image par le contenu. Je remercie aussi M. CHU Thanh Quang, un thésard du laboratoire MSI. Ce travail est en grande partie dû à ses conseils sur les Systèmes d’Information Géographique (SIG). Je tiens à remercier également tous les membres du laboratoire L3I qui m’ont accueilli et ont créé un environnement idéal dans lequel j’ai travaillé pendant six mois de stage. Je voudrais aussi adresser mes remerciements à tous les professeurs de l’IFI qui m’ont donné des connaissances et des expériences efficaces pendant ma scolarité à l’IFI. Merci également à tous ceux que j’oublie mais qui d’une manière ou d’autre manière m’ont permis de bien terminer mon stage. 4 RESUME Ce mémoire présente l’intérêt de combiner les informations du contenu visuel des images/vidéos et de localisation géographique dans la construction d’un système d’aide à la décision dans une situation de post-catastrophe naturelle. Grâce à la performance pour des requêtes de plus proches voisins dans l’espace des données multidimensionnelles et pour la structuration des données géographiques, la structure SR-tree [2] est choisie pour structurer des images en même temps dans l’espace de localisation géographique et dans l’espace du contenu visuel. L’approche proposée utilise aussi la structure SR-tree pour structurer des monuments différents dans la ville qui sont enregistrés dans les données des Système d’Information Géographique (SIG) sous forme des polygones. Le système construit a bien répondu l’objectif de retrouver des situations d’urgence dans la ville et de leur attribuer un niveau d’urgence en fonction non seulement la proximité géographique d’événements similaires mais aussi en fonction des monuments différents qui sont au tour du sinistre. Il fournit au l’utilisateur une vue globale sur la concentration des situations d’urgence dans la ville ainsi que leur niveau d’urgence. En répondant des scénarios de test différentes pour le projet de recherche IDEA (Images of natural Disasters from robot Exploration in urban Area) [1], ce système apporte une grande perspective de devenir un outil efficace pour aider l’opérateur humain à donner rapidement des bonnes décisions de secours dans des situations de post-catastrophe naturelle. 5 ABSTRACT This memoir presents the advantage of combining visual content information of images/videos and geographical location information in the construction of a decision support system in a situation of post-natural disaster. With the performance for nearest neighbor queries in the area of multidimensional data and for spatial data structuring, the SR-tree structure [2] is chosen for structuring the images simultaneously in location space and visual content space. The proposed approach also uses the SR-tree structure to organize various monuments in the city that are registered in the data of Geographic Information System (GIS) in the form of polygons. The proposed system responds well to the objective of finding emergencies in the city and of giving them an urgency level depending not only on the geographical proximity of similar events but also on the monuments which are around the position of emergency situation. It provides an overview on the concentration of emergencies in the city and their urgency level. In responding to different test scenarios for the IDEA (Images of natural Disasters from robot Exploration in Urban Area) research project [1], this system has a great perspective to become an effective tool that helps the human operator providing rapidly the rescue decisions in emergency situations of post-natural disaster. 6 LISTE DES FIGURES Figure 1 - B-tree ............................................................................................................................ 13 Figure 2 - R-tree ............................................................................................................................ 14 Figure 3 - SS-tree........................................................................................................................... 16 Figure 4 - SR-tree .......................................................................................................................... 17 Figure 5 - Kd-tree .......................................................................................................................... 18 Figure 6 - LSD-tree........................................................................................................................ 19 Figure 7 - Architecture client/serveur du système SnapToTell ..................................................... 20 Figure 8 - Localisation hiérarchique des scènes de Singapour...................................................... 21 Figure 9 - Screen shots de la composition de blog sur un téléphone portable .............................. 22 Figure 10 - Exemple de blog du système TraveLog...................................................................... 23 Figure 11 - Structure SR-tree......................................................................................................... 25 Figure 12 - Détermination des régions par l'intersection des rectangles et des sphères................ 25 Figure 13 - Structuration des données par des SR-tree ................................................................. 35 Figure 14 - Interface du système ................................................................................................... 41 Figure 15 - Symboles des sinistres ................................................................................................ 42 Figure 16 - Symboles des monuments........................................................................................... 42 Figure 17 - Groupes des situations d’urgence dans la ville........................................................... 44 Figure 18 - Groupes des feux dans la ville .................................................................................... 44 Figure 19 - Résultat des sinistres d'un groupe ............................................................................... 45 Figure 20 - Résultat des monuments proches d'un feu .................................................................. 46 Figure 21 - Résultat des sinistres proches d'un bâtiment............................................................... 47 Figure 22 - Résultat des sinistres proches d'un sinistre ................................................................. 47 Figure 23 - Résultat des sinistres les plus similaires avec un sinistre quelconque........................ 48 7 LISTE DES TABLEAUX Table 1 - Niveaux d'urgence correspondant à chaque type de monument .................................... 38 Table 2 - Base d'images des sinistres ............................................................................................ 40 8 Chapitre 1 – Introduction 1.1. Problématique Aujourd’hui, les catastrophes naturelles apparaissent avec une fréquence de plus en plus élevée à cause du changement du climat global. Plusieurs projets de recherche sont réalisés afin de développer les outils d’aide à la décision dans des situations de postcatastrophe naturelle en zone urbaine et de fournir des informations précises en temps réel au centre de gestion et aux équipes de secours. Les images collectées partout dans une ville décrivant les sinistres différents sont une source d’information sur laquelle on peut se baser pour donner des décisions de secours efficaces. A partir de quelques images, l’opérateur humain peut facilement donner des décisions efficaces et exactes. Mais avec un très grand nombre d’images (c’est le cas des situations urgences), il nous faut avoir un système qui traite automatiquement ces images pour aider l’opérateur humain à donner rapidement des décisions de secours. Alors, le contexte de ce sujet de stage est le projet IDEA (Images of natural Disasters from robot Exploration in urban Area) [1] financé par le programme STC-Asie (MAE/CNRS/INRIA) et avec comme partenaire le LORIA-QGAR (Nancy, France), l’université de La Rochelle (France), l’IFI (Hanoi, Vietnam), le VAST-IOIT (Hanoi, Vietnam) et l’université de Kuala Lumpur (Malaisie). Afin de résoudre le problème abordé ci-dessus, dans ce projet, on utilise les techniques de vision par ordinateur, de reconnaissance des formes et de recherche d’informations multimédias sur les images collectées pour aider à donner des décisions de secours. Ce stage bénéficie aussi le travail de thèse de NGUYEN Nhu Van, en co-direction entre l’université de La Rochelle, l’IFI et le LORIA-QGAR. L’entrée d’un système de traitement automatique des images d’aide à la décision dans une situation de post-catastrophe naturelle doit être les images décrivant les sinistres contenant en même temps les informations de localisation géographique qui nous permet de déterminer la localisation de chaque sinistre. Supposons qu’il y a un réseau de caméras implantées partout dans une ville (caméras de surveillance routière, caméras installées sur des édifices, caméras mobiles des robots, des avions, etc) ; ces caméras sont toujours actives après une catastrophe naturelle, elles prennent automatiquement des photos et les envoient vers une centrale collectant des informations nécessaires aux secours. On peut aussi collecter les images, les vidéos provenant des téléphones portables des gens sur place. L’information géographique de ces images peut être de type GPS ou autre (adresses civiques par exemple). Il y a aussi les images qui n’auront pas cette localisation ou qui 9 pourront avoir une marge d’erreur sur la localisation précise. Mais en effet, il n’y a pas encore une base d’images pour le projet IDEA, donc, une des tâches