Partenaires


Rechercher

Sur ce site

Sur le Web du CNRS


Accueil du site > Structuration Scientifique > Projets Transversaux > Reconstruction et analyse du mouvement humain 3D par stéréovision active (RAHA)

Reconstruction et analyse du mouvement humain 3D par stéréovision active (RAHA)

La reconstruction tridimensionnelle à partir de séquences vidéo multi-caméra pour l’analyse ou le suivi du mouvement de personnages ou plus généralement d’objets déformables en temps réel et sans marqueur est un sujet d’une grande actualité au sein de la communauté internationale du domaine de par de nombreuses applications présentes et surtout à venir. L’objectif de ce projet est la mise en place d’une plateforme d’acquisition d’images permettant la reconstruction 3D et l’analyse du mouvement temps réel d’un sujet déformable. Le système d’acquisition sera composé de caméras et de projecteurs de lumière structurée, et les acquisitions se font sans poser des marqueurs sur le sujet à analyser.

Ce projet se compose de trois parties principales : la reconstruction 3D, l’analyse du mouvement 3D et la compression de maillages.
- La reconstruction 3D : notre objectif est de construire la représentation volumique de l’objet à partir des images acquises par les différentes caméras du système. Plusieurs méthodes de reconstruction 3D peuvent être utilisées. Des méthodes permettant une construction dense. L’élément « élémentaire » à construire est soit un point ou un voxel. Dans cette classe de méthode on peut citer les méthodes de stéréovision passives, mais aussi les méthodes dites « shape from silhouette ». Dans notre application, nous allons utiliser la stéréovision active. Les caméras sont couplées avec des projecteurs de lumière qui projettent une forme structurée sur l’objet. L’information 3D est obtenue par une modélisation des déformations de la forme projetée. En fonction de la structure géométrique qui est projetée, seuls certains points seront reconstruits. Dans le cas d’une grille de points, seuls les points composant la grille seront reconstruits. Par contre, en cas de projection d’une grille de lignes, les points reconstruits sont les points d’intersection des différentes lignes ou l’ensemble de points composant les lignes. En stéréovision active, le nuage de points 3D reconstruits n’est pas dense. Il est alors modélisé par un maillage. Toutes les « manipulations » du nuage de points (calcul de volume, étude des déformations, …) sont faites au travers du maillage. Deux problèmes sont alors à résoudre, la construction (ou l’obtention) du nuage de points d’une part, et la construction du maillage d’autre part. L’une des difficultés majeure du premier problème sus-cité consiste à l’identification des points issus des différents projecteurs de lumière structurée. En effet pour permettre de « couvrir » tout l’espace de travail, les projecteurs seront au nombre de 3 au minimum.
- L’analyse du mouvement : Elle consiste dans notre système à faire le suivi des maillages construits à des instants successifs et à faire l’étude des déformations de ces maillages. Des hypothèses de continuité dans le cas du mouvement seront posées mais aussi l’utilisation des forces dans la modélisation du processus de déformation par des lois de la mécanique. Plusieurs méthodes de suivi du mouvement peuvent être envisagées. Nous proposons de travailler avec les méthodes utilisant la représentation des objets sous forme de squelettes ou de graphes de Reeb. Par la suite, le problème à résoudre se ramène à un problème de recalage de graphes. L’utilisation de la multi-résolution est également envisagée.
- La compression de maillage : cette dernière partie du projet concerne le stockage, la transmission et la manipulation des informations reconstruites. En effet, dans le cadre de l’application qui utilise les résultats de la reconstruction 3D, il peut être envisagé de transmettre ces données d’une machine vers une autre - éventuellement un téléphone portable ou autre appareil mobile - ou tout simplement transmettre les informations d’un site vers un autre. Plusieurs problèmes doivent être résolus qui sont liés à la quantité très importante des données. La solution sera alors de compresser ces données pour pouvoir les utiliser de manière efficace.

Chercheurs et enseignants-chercheurs permanents :


LE2I - Laboratoire Electronique, Informatique et Image | webmestre : Antoine Trapet | info légales | logo SPIP 2