Dans de nombreux domaines applicatifs, les phénomènes faisant l’objet d’une analyse ou d’un traitement se manifestent par le biais de différents supports d’information. Ces différents supports sont parfois porteurs d’informations complémentaires et indépendantes. Dans ce cas, la prise en compte simultanée des différentes observations peut être nécessaire à la compréhension totale du processus générateur. Dans d’autres cas les différents supports portent des informations redondantes à des degrés divers et leur étude globale permet, outre une compréhension complète, d’assurer une plus grande robustesse de l’analyse. L’extraction d’une information pertinente à partir de flux dissociés d’informations brutes complémentaires et/ou redondantes de natures hétérogènes peut-être vue comme l’utilisation de plusieurs modalités dans un processus d’analyse, ce qui justifie l’appellation d’analyse multimodale ou de traitement multimodal de l’information.

Grâce à l’évolution de la puissance de calcul, de la capacité de stockage et des bandes passantes des réseaux informatiques on peut aujourd’hui appréhender le traitement de l’information sous l’angle de la multimodalité et de l’analyse de données. L’aspect multimodal est alors à prendre au sens large, faisant intervenir des informations provenant de sources différentes mais aussi de natures hétérogènes. Le traitement multimodal de l’information peut dès lors nécessiter l’accès à des masses conséquentes de données de natures différentes - numériques et/ou symboliques - disponibles sous formes de bases statiques (bases de données) ou de flux (i.e. de type perceptuel) et qu’il faut considérer comme porteuses d’informations sur les signaux et systèmes qui en sont à l’origine. Le but de la recherche présentée ici consiste alors à extraire les informations pertinentes de ces données hétérogènes pour créer des modèles capables d’analyser (modélisation, identification),  reproduire (simulation), classifier (détection, reconnaissance de formes) ou contrôler (automatique, robotique, interfaces homme-machine) le comportement des systèmes qui ont généré les données ou même d’en améliorer la qualité (filtrage, restauration) ou de les compresser. L’information quantitative (valeurs numériques, paramètres de modèles, etc.) et l’information symbolique (existences, représentation sémantique, structures de modèles, etc.) doivent pouvoir être couplées pour aboutir à de meilleures performances. Ce couplage numérique/symbolique fera partie des axes forts de recherche. Les groupes de compétences décrits ci-après contribuent à la recherche sur ce thème.