Partenaires

CNRS
Logo FRIIAM Logo AMU
Logo LSIS Logo LIF


Rechercher

Sur ce site

Sur le Web du CNRS


Accueil du site > Groupes de travail > GT Analyse de Données Multimodales Massives (AD2M) > Projet ADNVIDEO

Projet ADNVIDEO

Le projet ADNVIDEO a pour but de prolonger l’études sur les modèles d’analyse multimodaux en permettant d’analyser de manière jointe à la fois le flux audio à travers les étapes de segmentation de signal et de transcription de la parole, le flux d’images par rapport au découpage en plans, à la caractérisation de scènes et le texte à travers la transcription des incrustations de texte à l’image, le traitement du texte à travers l’analyse de la transcription du texte (oral et écrit) et des commentaires des utilisateurs. En utilisant comme point de départ les corpus et les annotations développés lors du DéfiRepère, ce projet vise à dépasser le cadre de l’indexation sur une seule modalité en intégrant des méthodes de recherche d’information, non seulement sur des corpus provenant d’émissions télévisées, mais plus généralement sur tout document vidéo nécessitant une analyse de scène multimodale. L’originalité ici étant de coupler et de corréler des informations de sources diverses pour renforcer la qualification des contenus. Le cadre applicatif de ce projet concerne la problématique de la recommandation appliquée aux vidéos : étant donnée une vidéo, trouver des documents (texte, image, vidéos) ayant un lien avec cette vidéo, soit sur la forme, soit sur le fond. En particulier, le cas d’utilisation envisagé pouvant avoir, du point de vue du transfert technologique, des retombées économiques importantes, concerne le ciblage publicitaire automatique : trouver automatiquement les publicités les plus pertinentes vis à vis du contenu d’une vidéo.

Dans la même rubrique :