Archives


[La recherche en 2009]

Enactive Ciné. Interaction multimodale avec les flux audiovisuels annotés, projet ANR

Un projet de recherche, Enactive Ciné, vient d’être déposé en février auprès de l’ANR pour répondre au programme “Contenu et interactions”, appel à projet 2009.

À l’heure où la part de l’audiovisuel numérique dans les contenus diffusés sur les réseaux augmente, il s’agit de s’intéresser à des usages qui dépassent la simple « consommation » de flux audiovisuels (regarder une vidéo du début à la fin) pour explorer de nouvelles formes pratiques de lecture comme d’écriture dans un contexte collaboratif (1).
Certains usages de ce type existent déjà, tels que naviguer d’un point à un autre du flux avec un curseur associé à un lecteur/bloc-note, utiliser et modifier en temps réel une table des matières filmique ou un index, naviguer d’un flux vidéo à l’autre, tagger des vidéos sur un site de partage en ligne, etc.

L’interaction avec un flux peut se faire avec les informations du flux seul (son et images), auquel cas elle se limitera à de la navigation, mais elle sera d’autant plus riche que des informations additionnelles appelées annotations ou métadonnées sont disponibles.
Un document audiovisuel annoté est un document audiovisuel auquel une structure d’information est associée. Une annotation associe donc de l’information numérique (texte, données, son, image...) à un fragment spatio-temporel du document. Un exemple de base d’une structure d’annotation est l’ensemble des sous-titres qu’on peut associer à un film. Il existe des annotations plus complexes décrivant des plans, des personnages, des ambiances, des zones d’intérêts dans l’image, etc.
On peut également mettre en relation entre elles des annotations, par exemple pour signifier qu’une scène d’un film se réfère à une autre. Un corpus de vidéos annotées est alors une organisation structurée d'un ensemble de documents audiovisuels offrant notamment des liens entre fragments filmiques.

Si des outils permettant de percevoir et d’interagir avec des flux annotés existent déjà (utilisation déjà ancienne de sous-titres, navigation hypervidéo qui apparaît sur les sites de vidéos communautaires), il nous semble qu'il convient de revisiter dans le domaine de l'audiovisuel, les principes énactifs et les théories sensori-motrices afin d'élaborer de nouveaux instruments de perception active et de lecture active (Aubert and Prié, 2005 [2]; Prié and Puig, 2009 [3]), prolongeant ainsi les réflexions sur l'origine du cinéma et notamment le rôle bidirectionnel de la caméra/projecteur.
De plus, la particularité des flux audiovisuels (le fait qu’ils aient un déroulement, auquel se synchronisera le flux de conscience d’un lecteur), la numérisation massive des contenus et les enjeux sociétaux afférents, la disponibilité à coûts bas de nouvelles modalités d’interaction (haptique, multipoint, gestuel, détection du regard notamment) nécessitent que soit menée une réflexion globale sur les interactions multimodales avec les flux temporels.

Notes:
1 - Bernard Stiegler, Annotation, navigation, édition: électronique vers une géographie de la connaissance, Ec/arts, 1(2), 2000.

2 - Olivier Aubert et Yannick Prié, « Advene: active reading through hypervideo », in ACM Hypertext’05, Salzburg, Austria, Sep 2005, pages 235–244.

3 - Yannick Prié et Vincent Puig, « Nouveaux modes de perception active de films annotés », in Colloque “Cinéma, interactivité et société”, Poitiers, nov. 2008. À paraître en 2009.


Partenaires:
- IRI, Centre Pompidou (coordination);
- Liris, Cnrs;
- Costech/CRED (Cognitive Research and Enaction Design) , Université de Technologie de Compiègne;
- ÉESI (École européenne supérieure de l'image);
- INTUILAB;
- MOVEA ;
- Sony CSL;