Multimodalité... Conférence «multimodale» à Aveiro dans le cadre du Projet Protextos

Réflexion à haute voix accompagnée  de gestes fonctionnels et autres (balancements  des pieds sous la table, mimes de méfiance  vis-à-vis de ce qui est écrit ) et de production écrite sur clavier. 

J’essaie de construire un schéma que je ne vais pas présenter sur power point (qui est en soi un objet multimodal)  ( texte-schéma  encapsulé sur une diapo même avec des animations) mais que je vais co-construire sur tableau noir, pendant la conférence.

Alors voyons … pour simplifier ce qui est complexe,  courant le risque de  manque de rigueur. La notion de multimodalité est apparue dans le domaine des transports (on peut passer d’un transport à l’autre avec le même billet), dans le domaine de la pragmatique de la communication à la suite de l’axiome de la communication «on ne peut pas communiquer puisqu’on ne peut ne pas avoir de comportement», de Paul Watzlawick, développé par d’autres chercheurs de Palo Alto et ensuite par des chercheurs qui se sont intéressés  à la communication non verbal issus de l’ethnologie, de la linguistique, de l’analyse du discours et des conversations … (Cosnier, Calbris, Mondada…, moi-même) . Le terme s’est imposé aussi dans la relation homme machine.  

Le développement des technologies, le WEB2.0 et des environnements communicationnels médiatiques (G. Jaquinot – Delaunay)ont provoqué également  l’intérêt des sciences de l’éducation et des didactiques des langues-cultures  par  les technologies multimodales

On trouve multimodalité et multimodal dans les collocations suivantes : les technologies multimodales,  les  environnements multimodaux, les dispositifs multimodaux, les situations multimodales, les produits multimodaux, les textes multimodaux, les dispositifs à distance multimodaux, les discours multimodaux,  les échanges multimodaux, la communication multimodale…

Quelques définitions :

Thierry Chanier et Anna Vetter définissent mode de la façon suivante :

«Les modes sont des ressources sémiotiques qui concourent à la réalisation simultanée du discours et des interactions. Le mode textuel, le mode parole (speech), le mode geste, le mode image, etc. renvoient chacun à des systèmes de signes dotés d'une grammaire (terme à considérer dans un sens très large) qui en décrit l'organisation et l'usage.

Multimodalité et expression en langue étrangère dans une plate-forme audio-synchrone

Multimodalityand foreign language ouput

Exemples de modes :  texte, partole, graphique,iconique, non verbal, paraverbal, kinésique, proxémique, temporel…

Quand il y a interaction entre les modes on peut parler de multimodalité. On peut par ailleurs parler de plusieurs niveaux de multimodalité  en interaction.

Dans ma tentative d’explication du terme multimodalité je place l’Homme –CORPS au milieu du schéma.

Puisque l’on ne peut  ne pas communiquer et on ne peut pas avoir de comportement et comme les comportements sont toujours simultanés et un continuum toute interaction est multimodale.

Il ne s’agit pas d’un amalgame de modes (multicanalité). Il y a l’interaction entre les différents modes. Donc l’interaction entre les différents modes   est un trait de la multimodalité. A mon avis il n’y a pas d’unimodalité. Probablement les termes plurimodalité et intermodalité, par analogie avec interdisciplinarité seraient plus précis, mais je garde le mot le plus utilisé dans les domaines  dans lesquels j’essaie de développer des recherches.

La multimodalité devient ainsi inévitable dans toute communication même si les moyens technologiques ont géré d’autres niveaux de multimodalité mais qui passent toujours par l’Homme- CORPS.  

Par conséquent le CORPS multimodal (niveau verbal, non verbal, kinésique, proxémique, paraverbal , temporel …) qui traduit la pensée, les émotions, les représentations, des dimensions informationnelles, relationnelles, empathiques, conscientes, subliminales… peut AGIR (dans la multimodalité il y a action) AVEC LA MACHINE.

Le degré d’interaction  et de multicanalité peut ainsi augmenter avec la convergence technologique ( diférentes technologies qui sont en interaction), la multicanalité, dans un temps contracté.

La multimodalité gère ainsi de nouvelles formes de multimodalité (Skype par exemple) et implique le multitasking, la polyfocalisation de l’attention , et oblige à des choix.

Le choix est ainsi une autre dimension de la multimodalité. L’Homme- CORPS fait des sélections, peut ne prendre pas en compte l’appel pour entrer dans un chat sur Facebook, par exemple,  quand il est en train d’écrire ce post, mais il le voit quand même (On ne peut ne pas communiquer, mais on peut communiquer l’envie de ne pas communiquer).  

Cette conception est peut-être responsable par un changement de concepts parmi les producteurs de media.  Le terme usabilité (lié au produit) remplacé par les usages dans les tests d’usabilité, centrés sur l’interaction homme-machine).

Tout  ceci, bien évidemment, ne peut ne pas être pris en considération par l’éducation aux langues-cultures et par les langues-cultures. L’approche actionnelle telle qu’elle est proposée dans les documents européens implique un autre niveau de complixité dés lors que l’on juxtapose multimodal à actionnelle dans «approche actionnelle et multimodale».

Plusieurs auteurs distinguent différents  types de multimodalité. Y. BELLIK, D. TEIL . La multimodalité dans cette conférence est peut-être simultanée, alternée, synergique, parallèle... séquencielle... Au lecteur de continuer cette réflexion.