La machine conduit l'homme à se spécialiser dans l'humain... Jean Fourastié
Avant l'apparition des interfaces graphiques, l'interaction entre l'homme et la machine était proche du niveau zéro: claviers rudimentaires, cartes perforées et attentes interminables étaient le lot de tout informaticien. Les interfaces graphiques sont nées dans les années 60 à l'université de Stanford (au SRI, alors rattaché à l'université) avec des recherches sur les partitions d'écran, ancêtres des fenêtres, et sur l'utilisation de la souris. Ces recherches se sont poursuivies dans les années 70 au fameux PARC (Palo Alto Research Center) de Xerox et ont été popularisées en 1983 puis 1984 par les sorties respectives de Lisa et du Macintosh d'Apple. Depuis, les interfaces de type WIMP (Windows, Icons, Menus and Pointer) se sont multipliées : Windows, X-Window, NextStep... Elles s'appuient sur des concepts tels que la manipulation directe, les métaphores et les interacteurs qui prennent en compte les fonctions sensori-motrices de l'homme.
Nous nous intéressons ici aux perspectives d'évolutions des interfaces graphiques utilisant de nouveaux styles d'interaction comme des modalités originales, des métaphores nouvelles voire des immersions dans des mondes virtuels.
Après un survol des matériels disponibles aujourd'hui, nous ferons un tour d'horizon des média et des modalités utilisables afin de construire des interfaces multimodales orientées vers la conception graphique. Nous définirons un cadre aussi bien ergonomique que syntaxique pour le dialogue qu'il faudra mettre en oeuvre pour de telles applications. Enfin, avant de conclure, nous évoquerons les différentes façons de présenter les données aux utilisateurs et les solutions que nous avons adoptées.
L'informatique visant un public de plus en plus large, son évolution se fait en accordant une importance croissante à l'utilisateur et donc en augmentant les efforts de conception en interfaces Homme-Machine. Le désir de faciliter le travail avec la machine passe par la définition d'interfaces qui proposent des métaphores de situations plus familières à l'utilisateur : "feuilleter" à l'écran les "pages" fenêtres, remplir, vider, détruire des dossiers. Le rapprochement avec l'univers familier extra-informatique s'accentue lorsqu'il s'agit de permettre des interactions Homme-Machine utilisant les modes de communication les plus naturels à l'homme. Aujourd'hui, des stylos, des caméras et autres microphones sont proposés pour "bavarder" plus librement avec les machines. Il n'est pas difficile d'imaginer une machine multimédia (avec caméra, scanner, papier électronique, gants numériques, microphone, écran, imprimante, haut-parleur, etc...), capable de récupérer et de simuler certains faits et gestes de l'utilisateur, qui serait plus à même de comprendre les données lues en entrée et de fournir à l'utilisateur, via une partie de ses média une réponse adaptée. Une telle machine devient ainsi multimodale [COUT91].
Dans sa définition idéale, un système informatique multimodal est capable de communiquer avec ses utilisateurs en respectant les codes établis de la communication humaine. Nous donnons une liste sommaire des divers modes de communication qui sont le plus couramment envisagés dans les interfaces Homme-Machine en réception ou en émission pour l'homme et leurs pendants informatiques, même si certains n'en sont encore qu'à leurs balbuciements (quelques-uns sont détaillés en Annexes: X.2. Les matériels pour la multimodalité).
Cette partie pourrait se résumer à l'énumération de nos cinq sens. Mais chacun d'eux peut être sensible à des stimuli divers.
Les sens Les stimuli Les équivalents informatiques
La vue Images Caméra
Ecritures Scanner
Geste Papier électronique
Gant numérique
L'ouïe Parole Microphone
Bruit
Le toucher Température Sonde thermique
Texture
L'odorat Odeur Détecteur d'odeur [SUND92]
Le goût Saveur Détecteur de goût [TEIL92]
Les "sens" des ordinateurs étant souvent déficients, il leur est indispensable d'utiliser toutes les informations disponibles pour comprendre un message en associant plusieurs dispositifs physiques. Par exemple, la lecture sur les lèvres dans le projet AMIBE du GDR-PRC "CHM" [MONT94] ou à Carnegie Mellon [VO93], vise à améliorer la reconnaissance de la parole. L'ordinateur tire ici le plus grand profit de la multimodalité.
Nous énumérons les principaux moyens dont l'homme dispose pour interagir avec son environnement. Nous tentons aussi de faire un rapprochement avec le monde informatique.
Les parties du Les signaux émis Les équivalents informatiques
corps
Les mains Ecriture Ecran
Image Imprimante
Geste Générateur braille
Bruit Robot
Les cordes vocales Parole Haut-parleur
Bruit Casque audio
Autres Geste Combinaison avec retour
Bruit, Saveur, Odeur, d'effort
Texture, Température, Chauffage
etc...
Nous sommes bien obligés de constater que les moyens d'expressions des ordinateurs sont encore très limités. Pour nos applications, nous devrons certainement nous contenter des voies classiques pour véhiculer les images et les sons (écran et haut-parleur).
Il n'y a pas d'union sacrée de la communauté scientifique autour des définitions des termes Média, Modes et Modalités. Nous donnons dans le glossaire (X.4. Glossaire) nos propres définitions auxquelles le lecteur pourra se référer pour comprendre le sens que nous donnons à chacun de ces mots et nous l'invitons à lire NIGA94 ou BELL92.
Du paragraphe précédent nous déduisons que l'ouïe et la vue qui priment dans la communication avec notre environnement. Le mode de communication le plus naturel, le plus spontané, est certainement la parole. Celle-ci est souvent accompagnée de gestes pour l'appuyer ou la compléter. Toutefois ces gestes peuvent se suffire à eux-mêmes dans un dialogue, par la position d'une main (agiter une main pour dire "Au revoir") ou l'expression d'un visage. L'écriture est aussi un mode important de communication, tout comme les dessins ou les images. Enfin, l'environnement sonore de l'homme nous incite à considérer les sons comme des éléments significatifs (l'interjection "plouf!" par exemple nous donne une très bonne indication de ce qu'il vient de se passer).
Dans les lignes qui suivent, nous allons détailler les modalités relatives aux deux sens principaux, l'ouïe et la vue. Pour chacune de ces modalités, nous essaierons de décrire leurs pouvoirs et leurs limites.
Dispositif physique associé: Microphone.
Comme nous l'avons vu, la parole est le mode de communication le plus naturel pour l'homme. Il suffit de relier le microphone à un système de reconnaissance vocale pour que la machine reconnaisse des éléments du lexique. Une analyse linguistique permettra à l'ordinateur de réellement comprendre l'utilisateur.
L'utilisation de la parole dans une interface Homme-Machine peut avoir de gros avantages:
Mais elle présente aussi des inconvénients:
Dispositifs physiques associés: Haut-Parleur, Casque audio.
L'émission de la voix se fait par synthèse vocale. Les données textuelles sont transformées en données vocales. Cette technique est particulièrement utile pour les non-voyants, les communications téléphoniques (renseignements automatiques) ou encore pour ne pas surcharger un écran par des informations qui peuvent n'être que contextuelles.
A part le bruit qu'occasionne un tel système, nous donnerons comme inconvénient la mauvaise qualité des voix restituées, souvent trop synthétiques, d'où la difficulté à les comprendre ou à les supporter.
Dispositif physique associé: Microphone.
L'émission de bruits par l'utilisateur à l'attention de sa machine peut ne pas sembler primordiale. Toutefois il y existe des cas, tout à fait spécifiques, où l'étude de ces sons est vraiment très utile (certains handicapés ne peuvent communiquer avec leur entourage que par des sons inarticulés).
Dispositif physique associé: Haut-Parleur, Casque audio.
L'utilisation de sons dans une interface Homme-Machine s'avère souvent très utile. En effet, les sons peuvent prévenir d'un événement spécifique (arrivée d'un courrier électronique) ou peuvent fournir des informations meilleures que les informations graphiques (l'icône heurte la poubelle avec un « gling », signifiant que l'on est dessus, on lâche l'icône, il y a un « crash », signifiant que l'objet représenté par l'icône est détruit). Une interface de ce type a été développée et testée dans les bureaux d'Apple. Au bout de quelque temps d'exploitation, les utilisateurs se sont majoritairement prononcés en faveur du produit [MOUN90].
L'utilisation d'un casque permet de tirer profit de la stéréo, en particulier pour la localisation d'un son. Ce type de technique est déjà très utilisée dans les mondes virtuels immergés.
Comme pour la parole, on pourra reprocher le bruit que peut produire une interface conventionnelle, mais le piège essentiel à éviter sera de surprendre ou de distraire l'utilisateur par des sons un peu trop originaux, au lieu de mettre en valeur des événements réellement significatifs.
Dispositifs physiques associés: Scanner, Papier Electronique, Clavier.
C'est la reconnaissance de l'écrit qui est ici mise en lumière. Cette partie ne comprend pas seulement la reconnaissance des caractères alphabétiques, cursifs ou non, liés ou non, mais aussi la reconnaissance et l'interprétation de dessins, schémas, de symboles (mathématiques, chimiques, etc...) ou de signes typographiques.
La première idée qui vient à l'esprit lorsque l'on parle de reconnaissance de l'écrit est idéale : reconnaissance de l'écriture cursive liée. Il est possible de procéder par étape pour atteindre cet idéal et s'intéresser à la reconnaissance d'un document imprimé (scanner et O.C.R. (Optic Character Recognition)) ou à la reconnaissance de l'écriture manuscrite non liée, caractère par caractère, minuscule ou majuscule, ou encore à la saisie sur clavier virtuel, complétées éventuellement par une analyse linguistique. En ce qui concerne l'écriture cursive liée, il faudra certainement attendre encore avant de trouver un système fiable de reconnaissance automatique (Annexes: X.2.3.).
Ainsi, cette modalité est, comme la parole, très adaptée pour donner des ordres à la machine, ou un complément d'information (des paramètres par exemple). L'entrée de données utiles au dialogue (couleurs, positions relatives) est aussi envisageable par cette modalité car il est possible de ne pas imposer une reconnaissance systématique des signaux reçus, et donc un vocabulaire, comme dans la parole, le système gardant en mémoire le graphisme sans le reconnaître.
Les problèmes diffèrent en fonction des média:
Nous classons aussi dans les langages écrits les symboles, les schémas, les plans, les dessins, etc... En plus d'une reconnaissance par analogie, on peut être confronté à un langage visuel avec son vocabulaire et ses conventions qui ne sont pas autant formalisés que ceux des langues écrites. Ce genre de symbolique peut cependant se révéler très utile dans certaines circonstances:
Plutôt que des problèmes géométriques, ce sont surtout des problèmes associés à la signification des tracés qui apparaissent ici.
Dispositifs physiques associés: Ecran, Imprimante, Générateur Braille.
En plus de messages à l'écran ou des sorties d'un texte sur imprimante, il est possible d'avoir des réponses visuelles d'une nature différente, sachant que parfois un dessin vaut mieux qu'un long discours. Les « réflexes » qui seront présentés dans nos applications sont issus de cette réflexion, une analogie pouvant déjà être faite avec les effets sonores décrits au chapitre II.3.1.2.2. Ce même argument motive l'important développement des langages visuels (aide à la programmation, consultation de bases de données, etc...) [LARS86].
Il faut, dans cette partie, distinguer deux styles de gestes: ceux en deux et ceux en trois dimensions. Dans les deux cas, le geste fait partie de la communication humaine. Un simple geste peut être l'équivalent de la frappe de nombreuses de touches (comme une macro); il permet la concision. De plus, les gestes sont souvent communs à un groupe de personnes ayant un même pôle d'intérêt. Ils sont donc très spécifiques et relativement non ambigus [CADO92], [RUBI90].
Le geste 2D: dispositifs physiques associés: Papier Electronique.
Le papier électronique va enregistrer la trace du geste et éventuellement sa vitesse. On pourra distinguer deux types de commandes gestuelles [MORR90]:
Le geste est souvent associé à une autre source d'information (en général la langue naturelle, écrite ou parlée). Mais il n'en est pas toujours ainsi comme le montre ce traitement de textes développé par Microsoft sous Windows for pen, qui permet à l'utilisateur de barrer des mots, d'en insérer, etc...
Les partisans des interfaces gestuelles ont mis en avant un avantage, leur silence [RHYN87]. Le côté négatif vient certainement d'une non codification universelle du geste, ce qui génère des ambiguïtés (mais y a-t-il un codage universel pour quelque chose?).
Le geste 3D: dispositifs physiques associés: Gant Numérique, Caméra.
En ce qui concerne les avantages, on peut reprendre en bloc tous les arguments développés dans les gestes 2D, avec en plus la possibilité de récupérer des mimiques de l'utilisateur et sa position dans l'espace [FELS93].
On peut imaginer d'agiter la main pour dire "au revoir" à son ordinateur, afin qu'il s'éteigne en fin de journée [KURT90].
Pour donner ici un exemple de geste ambigu, il nous suffit de penser au geste que fait un américain pour montrer 2: il tend le pouce, l'index et le majeur, ce qui pour un français signifie 3...
Dispositifs physiques associés: ?.
L'émission de gestes par un poste de travail semble bien compromise. En fait cette partie implique une notion de mobilité qui n'est propre qu'aux êtres vivants ou aux robots. Si notre station de travail était un assistant robotisé auquel nous avons rêvé plus haut, nous pourrions nous attendre à ce qu'il nous fasse un geste pour nous saluer ou nous renseigner.
Dispositif physique associé: Caméra.
Toute une partie de l'analyse des images est très liée, elle aussi, à la robotique. Nous allons inclure dans cette partie tout ce qui concerne l'interprétation du monde 3D, appréciation de distances, etc... Il existe aussi les applications médicales, militaires ou géographiques. L'utilisation de ces techniques sur un poste de travail semble encore un peu utopique bien que l'on ait vu des caméras pour l'aide à la reconnaissance de la parole et que certaines soient spécifiquement conçues pour reconnaître des gestes du corps [ISHI93].
Dispositif physique associé: Ecran.
L'image que nous envoie l'ordinateur n'est souvent qu'une représentation métaphorique de son univers à travers des symboles du nôtre: les fichiers sont représentés par des icônes, la destruction d'un fichier se fait grâce à une poubelle, etc... Le sablier qui se met à tourner quand l'ordinateur « réfléchit » est pour nous une référence évidente à ce qu'il est en train de se passer. On rejoint par certaines métaphores le signifiant d'un langage, c'est ici que l'on risque d'avoir une collision avec les langages visuels évoqués dans la partie II.3.2.1 Les langages écrits: on peut considérer les icônes comme des signes d'une écriture machine.
Notre objectif est de construire une interface multimodale pour l'aide à la conception de documents graphiques. Parmi tous les matériels et toutes les façons de communiquer avec une machine que nous avons rencontrés, il nous a fallu faire un ou plusieurs choix. C'est ce que nous présenterons maintenant.
Nous avons décidé de nous intéresser tout particulièrement aux données écrites, dessinées ou plus généralement à celles issues d'un stylo (Figure 1). En effet, ce médium peut supporter plusieurs modalités: écriture, dessin et gestes. Dans le futur, les ordinateurs à stylo offriront des possibilités dans un environnement complexe qui ne seront pas disponibles sur les ordinateurs conventionnels. Déjà ils sont proposés comme front ends pour les langages visuels [CITR93] et sont intégrés dans des systèmes existants comme la synthèse d'image 3D, les bases de données multimedia [LARS86], ouvrant ainsi de grandes perspectives à l'interaction basée sur le stylo. Nous avons dit à plusieurs reprises que la parole était un élément essentiel de la communication humaine. Un microphone couplé à un reconnaisseur vocal est donc indispensable à notre système multimodal. Le clavier sera optionnel pour saisir des données textuelles. En sortie, nous utiliserons les très classiques écran et haut-parleur, à ceci près que l'écran correspond à la surface sensible du stylo et simule donc presque parfaitement le papier.
Nous avons donc basé nos applications sur des ordinateurs à stylo, nouveau type de matériels apparus à la fin de l'année 1990 sur le marché de la micro-informatique. Le Dynabook d'Alan Kay, conçu en 1968 dans les laboratoires de Rank Xerox [KAY90], est l'ancêtre de ces machines. L'avantage est que la surface sensible, sur laquelle l'utilisateur dessine, est aussi l'écran, d'où les noms de "papier électronique" ou "d'ardoise magique" que l'on rencontre pour désigner ces machines. Sans entrer dans les détails techniques (ce que nous faisons en Annexes: X.1. Les ordinateurs à stylo [CARR91], [ICHB92]) nous donnons ici la liste des machines sur lesquelles nous avons le plus travaillé, toutes compatibles IBM PC. Il faut dire que le fameux Newton d'Apple, très attendu à l'époque de notre choix, n'était toujours pas disponible.
Nous utilisons ces ordinateurs à stylo sous MS-DOS ou sous Microsoft Windows, avec des extensions PEN fournies pour ces machines. Dans tous les cas nous avons utilisé la reconnaissance de l'écriture qui était à notre disposition (PenOS, Microsoft Windows for pen et CIC Windows for pen). Les systèmes de reconnaissance de dessins et de gestes ont été développés spécifiquement pour nos applications et sont décrits plus loin dans ce document.
Si on associe au médium microphone la modalité parole, on doit reconnaître cette dernière. Là aussi, nous avons eu l'occasion de tester et d'utiliser plusieurs produits dont nous parlons en annexe (X.2. Les matériels pour la multimodalité). Finalement, nous utilisons des solutions qui font intervenir des machines distantes afin de garder le maximum de ressources pour les processus de l'application locale, les coûts de traitement de la parole étant très élevés.
Les maquettes sous MS-DOS on été développées en BORLAND C++. Sous Microsoft Windows nous avons utilisé BORLAND C++, Microsoft Visual BASIC et tout récemment DELPHI de BORLAND; ces deux derniers langages étant très pratiques pour le développement et le prototypage rapide d'applications.
Le dialogue repose sur des dispositifs d'entrées et de sortie qui, de par leurs spécificités techniques, vont influer sur le dialogue. Ainsi, on n'obtiendra pas les mêmes résultats en entrée avec des périphériques discrets ou continus, et en sortie avec une machine classique ou multimedia. De même, on utilisera des méthodes différentes pour mettre en oeuvre un dialogue Homme-Machine ou quand la machine sera au centre d'un dialogue multi-personnel (collecticiel, travail coopératif). Mais dans tous les cas, un des enjeux du dialogue est la réponse des systèmes en temps réel: on n'accepte guère de trop longs silences de la part de nos interlocuteurs, on l'accepte encore moins d'une machine.
La structure du dialogue parlé de tous les jours n'est pas aisée à cerner [PIER88], mais si on y ajoute une communication non-verbale [HOWE91], des disputes naissent quant à l'essence même du dialogue [FEYE87], [McNE85], [McNE87]. Sans entrer dans cette bataille de psychologues, il est évident que, dans le type de communication que nous avons choisi, les gestes ont une grande importance [EKMA69], [EKMA72], [WOLF87]. Prendre en compte cette partie du dialogue dans la communication Homme-Machine en plus du traitement de la langue naturelle [BINO90] améliore la qualité de l'interaction. Avec les moyens dont nous disposons, nous mettons donc en oeuvre des interfaces supportant un dialogue multimodal [HANN92], [WEIM92].
Bien qu'idéalement génériques, les interfaces que nous proposons s'appliquent à un domaine, la conception graphique, qui implique l'utilisation d'un stylo. Les modalités qui en découlent ne sont certainement pas adaptées à tous les types de communication, nous pensons en particulier aux applications devant fonctionner en situations d'urgence. Nous basons donc nos interfaces sur l'oral, l'écrit et les gestes.
L'ergonomie étudie les caractéristiques anthropométriques et physiologiques des utilisateurs, leurs relation avec l'espace de travail et les paramètres de l'environnement. Il est des points intéressants que nous ne ferons qu'évoquer ici puisque se situant à un niveau assez général [BROW89]:
Nous nous focalisons pour notre part sur l'ergonomie des dialogues dans des applications multimodales. On développe pour ce type d'applications des interfaces anthropomorphiques [FALZ91], [SUTC88] qui permettent de choisir parmi les signaux de la communication humaine ceux qu'il sera possible d'exploiter au mieux dans la communication Homme-Machine.
Pour les utilisateurs déjà déformés par l'informatique, il n'y a pas de problème pour comprendre la signification d'un bouton ou d'un menu, pas de problème non plus pour rentrer dans un monde métaphorique. Mais si l'on veut que la machine soit utilisée par tous, plus comme un assistant que comme un outils, où l'utilisateur n'envoie pas seulement des commandes que la machine exécute (relation maître/esclave) mais où un vrai dialogue peut s'instaurer et des réflexions, de part et d'autre, être menées, alors il faut introduire dans le dialogue Homme/Machine des éléments de dialogue familier [BOY88]. La barrière Homme/Machine existera toujours, on ne parlera jamais à une machine comme à un être humain, mais on peut croire que pour des tâches bien précises il est possible de communiquer, de rapidement se faire comprendre et de collaborer avec une machine en utilisant les mots et les gestes de tous les jours, peut-être un peu simplifiés, comme on le fait avec de jeunes enfants. Cette dernière remarque permet de flatter notre ego et d'être bien certain que l'on reste supérieur à la machine.
Nous donnons maintenant quelques principes de base que nous avons utilisés ou sur lesquels nous avons réfléchi lors de l'élaboration de nos maquettes:
Il existe toutefois des écueils à éviter. Un trop grand nombre de possibilités pour les modes pourrait nuire à la convivialité d'une interface. Si l'utilisateur passe plus de temps à choisir son mode pour rentrer sa commande, qu'à rentrer la commande elle-même, la multimodalité devient un échec puisqu'elle pose un nouveau problème. De même en sortie, si la machine multiplie les modes et ne respecte pas certaines conventions, l'utilisateur sera vite perdu. Il faut donc travailler sur ces aspects de présentation.
L'observation de l'utilisation d'une application par un sujet novice montre qu'il passe par trois étapes: la période initiale de prise en main, la période d'amélioration des performances et une période de stagnation. Le développement d'interfaces anthropomorphiques vise à réduire les deux premières périodes afin d'arriver à la stagnation où l'utilisateur sait comment arriver à son but, même si ce n'est pas de façon efficace du point de vue de la machine. La création d'interfaces multifacettes, assez malléables pour s'adapter à l'utilisateur, est un concept à approfondir: en plus de l'adaptation facile de l'utilisateur à des moyens de communication familiers, l'interface a le moyen de s'adapter à l'utilisateur. Pour cela, la machine se construit un modèle de celui-ci qui évolue au cours de l'interaction, au fur et à mesure de ses progrès. Nous avons créé un prototype, Kohounix (Figure 4), construisant un modèle simple et évolutif de l'utilisateur d'un système Unix multimodal, Munix, développé par Pierre Lefèbvre [LEFE94]. Ce prototype met en jeux un réseau de neurones fournissant en temps réel et en permanence, à chaque interaction, le niveau d'expertise Unix probable de l'utilisateur [JULI93a].
Avec le problème de la syntaxe multimodale, vient le problème de la fusion des modalités: à quel niveau d'abstraction faire coopérer au mieux les informations issues des différents canaux de communication? Si des approches préconisent la fusion tardive pour gérer les ambiguïtés ou dater les événements, nous avons pour notre part choisi d'effectuer la fusion extrêmement tôt dans le processus d'interprétation.
Un critère d'interaction définit les conditions pour fusionner les informations provenant de plusieurs modalités. Nous présentons ici ceux qui ont été identifiés lors des travaux de la communauté des Interfaces Homme-Machine [IHM92]:
La stratégie d'intégration peut être précoce ou différée. Elle peut aussi être progressive et s'effectuer tout au long des différents niveaux d'abstraction fournis par l'architecture choisie. Dans la liste qui suit, nous donnons diverses stratégies et leurs argumentations:
Nous avons déterminé une stratégie d'intégration qui n'est pas guidée par les modalités à fusionner, mais par les éléments à combiner pour créer une commande. Nous présentons donc le modèle VOV : Verbe Objet Variable, où la Variable peut être un Attribut ou un Lieu. Verbe et Variable sont singuliers dans ce triplet; Objet peut être pluriel. C'est en fait le modèle VO*V. Nous détaillons le processus dans la partie architecture (chapitre III.3. Architecture de TAPAGE). Toutefois, nous dirons ici qu'il s'agit bien d'un processus de fusion précoce où, dès réceptions des signaux, il y a tentative de combinaison sur des entités dépourvues de type au niveau de l'agent d'interprétation. Les critères d'intégration, même s'ils ne sont pas explicitement recherchés dans l'algorithme afin de gagner du temps, sont la proximité temporelle et la complétude structurelle.
Il n'y a pas dans cette approche de modalité dominante puisque très tôt dans le processus les entités servant à l'interprétation perdent leurs origines et leurs types. En revanche, s'il y a un élément dominant dans le modèle VO*V, c'est le verbe. D'où le problème d'extraction du verbe. S'il est inexistant au niveau du mode gestuel puisque la désignation d'un bouton ou la reconnaissance d'un geste de commande n'amène pas d'importants problèmes de reconnaissance, il est très présent au niveau du langage naturel. Nous avons adopté, en fonction des capacités du reconnaisseur de la parole, différentes méthodes pratiques:
Détaillons les astuces qui nous permettent de transformer un système de reconnaissance de mots connectés en système de mots ciblés (word spotting) pour du langage naturel. Le vocabulaire de notre application est constitué d'une soixantaine de mots codés. Les synonymes Déplace et Bouge sont respectivement codés par m1 et m2. La machine en charge de la reconnaissance vocale communique avec l'ordinateur maître via le port série.
On a vu que le modèle adopté dans nos applications est très simple. Il permet toutefois une grande souplesse dans le type de phrases de commandes acceptées. Il est en effet possible de donner les éléments pour former une commande valide dans un ordre indifférent. Ainsi, pour la fameuse commande « mets ça là », il est aussi possible de dire « ça, mets le ici » ou encore « ici, tu mets ça ». Dans les toutes premières versions de notre prototype, la structure était rigide, et n'acceptait que les commandes du type « VOV » dans cet ordre. Nous avons ensuite donné la possibilité de remplir chacune des cases du modèle dans un ordre indifférent, en attendant d'avoir une commande complète. Une fois placés, les éléments était immuables, seuls les objets étaient encore déselectionnables. Nous avons ensuite élaboré une version où le verbe pouvait être changé en cours de commande en écrasant le précédent. L'apport de la souplesse a aussi amené des problèmes de gestion de commandes incomplètes et de dialogue multifil: il est courant qu'un utilisateur abandonne une tâche pour en commencer une autre sans logique apparente.
Imaginons l'énoncé suivant: « mets ça... ça efface le » avec chaque « ça » accompagné de la désignation d'un objet où l'utilisateur change d'intention en cours de commande, abandonnant le déplacement d'un objet pour en effacer un autre qui doit le gêner. Quelle que soit la version implémentée de notre modèle, il est mis en défaut sur cet exemple. En effet dans le cas où l'on attend une commande complète, les deux objets seront déplacés après que la machine ait demandé à l'utilisateur l'endroit du déplacement, et dans le cas où c'est le dernier verbe qui écrase le précédent, il y aura effacement des deux objets sélectionnés. Si la version implémentée comporte la possibilité d'annuler la dernière action, en situation de création incrémentale ce genre de désagrément n'a que des effets limités, mais on doit avouer que notre modèle n'est pas capable de gérer ce genre de problème à la source.
C'est à partir de ces problèmes que nous avons réfléchi à la capacité informante des modalités en fonction des éléments à fournir et que nous avons décidé d'inciter, au cours de l'interaction, l'utilisateur à se servir d'une modalité plutôt que d'une autre (par l'utilisation de menus contextuels par exemple) et finalement de rigidifier un peu le dialogue. La capacité informante d'une modalité est le mélange de la rapidité et facilité d'utilisation de cette modalité, sa précision, sa concision (en terme d'économie dans le dialogue) et sa possibilité d'offrir des synonymes (Figure 5). Ainsi un lieu pointé est bien mieux perçu que sa description orale, mais pour les verbes la parole apporte la possibilité d'utiliser des synonymes.
Nous utilisons dans nos applications la mutlimodalité synergique, qui est considérée comme la plus performante parmis les différents types de multimodalités [COUT91], [BELL92]:
Il est un autre type de dialogue, dont nous n'avons pas encore parlé puisque nous ne l'utilisons pas dans nos applications, c'est le mode parallèle. Il permet à l'utilisateur d'établir avec la machine un vrai dialogue multifil. c'est à dire qu'il a la possibilité de lancer plusieurs commandes à la fois. On comprend que cette possibilité entraîne des problèmes énormes de gestion de dialogue et d'ambiguïtés. Même si nous pensons que l'utilisateur peut se perdre face à de telles interfaces, elles existent, ainsi le système VoiceFinder sur Macintosh permet par exemple de vider la corbeille et de sélectionner en même temps un fichier avec la souris. Dans ce genre de dialogue, nous trouvons différents types de multimodalité:
Comme le faisait remarquer le philosophe José Ortega y Gasset dès 1925 dans un de ses essais, « La metáfora es sin duda una de la potencialidades más fructuosas del hombre. Su eficacia tiende hacia lo mágico y parece una herramienta de creación que Dios olvidó en Su criatura cuando la creó ». La puissance des métaphores se retrouve à bien des niveaux d'une application informatique. Nous allons les découvrir au niveau de l'interface, mais, comme nous le verrons plus loin, elles sont aussi présentes au niveau de l'architecture et des agents qui réalisent la structure même du noyau fonctionnel.
Les pionniers de la métaphore du bureau sont, sans aucun doute, Xerox et Apple qui ont déversé sur nos écrans de d'ordinateurs des icônes en forme de poubelles ou d'imprimantes pour éveiller en nous quelques associations d'idées. L'évolution vers les interfaces virtuelles paraît toute naturelle surtout grâce aux moyens techniques dont nous disposons aujourd'hui, le degré de rendu de réalisme est en principe illimité (Figure 6a, b, c, d).
Nous présentons un exemple d'évolution d'une interface utilisant la métaphore du bureau (Figure 7a), à un environnement d'immersion dans la réalité virtuelle. Le Monde y paraît de plus en plus réel, mais le fait qu'il soit dessiné laisse comprendre à l'utilisateur qu'il faut y chercher des clefs. Le choix des objets pour les rendre métaphoriques est important. Nous avons constaté lors de démonstrations en France et aux Etats-Unis que l'horloge choisie dans nos applications (Figure 7 b, c et d) n'évoquait pratiquement jamais le calendrier chez les utilisateurs. Pourtant ce choix était expressément formulé par les clients coréens pour qui a été développée cette interface. La différence culturelle est un élément supplémentaire à prendre en compte lors du design d'une interface. Pour choisir un objet, il faut chercher l'idée qui émerge dès que l'utilisateur potentiel le voit, tout en pensant que le décor général peut changer la symbolique de cet objet en fournissant un contexte d'interprétation. Ainsi dans le musée (Figure 7 b), que vient faire le dossier? C'est un élément perturbateur, on ne voit pas ce qu'il fait là. D'où le choix des décors de bureaux. Lors de la création d'un décor, on a vu qu'un résumé de la réalité est souvent suffisant. Nous devons de plus garder à l'esprit que l'ajout de détails inopportuns rend plus difficile l'accès à l'information essentielle [BEST94].
On peut toutefois se demander pourquoi on essai de dupliquer la complexité du monde réel car malgré tout, nos copies ont toujours l'air fades à côté des vraies choses, il doit y manquer la vie. Les mondes virtuels devraient faire mieux, ils devraient stimuler notre imagination, plutôt que de répéter le Monde [HEIM93]. Un monde virtuel n'a pas besoin d'être trop réel, il doit même être un peu moins que réel, quelque chose comme un résumé qui stimule nos pouvoirs d'imagination et de visualisation. En poussant à l'extrême ce raisonnement, certains proposent des mondes virtuels très différents de la réalité mais qui doivent stimuler notre imagination. C'est le cas de la nouvelle interface 3D du système de fichier proposé par Xerox, qui, disons le, ne nous a guère convaincu.
On ne peut parler de réalité virtuelle sans penser à se projeter dans ce monde. L'évolution des matériels proposés va dans ce sens. Ainsi, l'étude du geste 3D a pris ces derniers temps une importance considérable avec le développement des mondes virtuels. Il y a en particulier des périphériques tout à fait intéressants qui ont été développés (X.2.5. Les périphériques exotiques) comme des gants numériques (l'ancêtre est le DataGlove), qui permettent de récupérer les gestes et la position de la main d'un utilisateur dans l'espace. Une extension de ce type de périphérique existe, elle se présente sous la forme d'une combinaison sensitive qui comporte des capteurs sur l'ensemble du corps. Le problème évident qui se pose avec de tels équipements est qu'il n'est pas trop agréable de les porter. Nous avons vu précédemment qu'il existe une autre façon de reconnaître des gestes 3D, évitant ces inconvénients, en utilisant une caméra braquée sur l'opérateur. Dans tous les cas la reconnaissance de gestes n'en est encore qu'à ses balbutiements. Si certains algorithmes permettent la reconnaissance des gestes "statiques" (exemple : reconnaître un chiffre à partir des positions des doigts de la main), l'apport de la dimension temps pose un très gros problème pour reconnaître les gestes dynamiques.
Les contraintes d'harnachement de la réalité virtuelle immergée (casque, gants ou combinaisons) n'empêchent pas de voir naître des projets d'espaces de travail virtuels assez convaincants. Ainsi celui, opérationnel, proposé par la NASA (Figure 8). Mais bien vite ces projets évoluent vers une immersion sans harnachement et propose un environnement de réalité augmentée.
Il en est ainsi de la proposition faite au Rank Xerox EuroParc [MACK93], qui n'est encore qu'une simulation mais toutes les compétences techniques requises à la réalisation de ce projet semblent réunies, et bureau de l'an 2010 rêvé par Bruce Tognazzini de chez Sun [TOGN94].
La définition officielle de la réalité augmentée, ou améliorée est la suivante: discipline qui consiste à superposer des objets virtuels aux objets réels afin d'ajouter une information supplémentaire utile pour la tâche considérée.
Nous irons plus loin en disant que la réalité augmentée est plus forte que la réalité virtuelle et que les métaphores à cause de ses capacités computationnelles transparentes. La réalité virtuelle est une métaphore augmentée, une métaphore de meilleure qualité, dans laquelle on peut se plonger. La réalité augmentée est une réalité virtuelle de meilleure qualité, aidée par la réalité.
On n'a pas besoin de rêver à la réalité augmentée comme Bruce Tognazzini, elle est déjà présente, ne serait ce que dans ses concepts dans des applications 2D (Figure 9), nous donnons ici un exemple pour chacune des deux idées que nous venons de dégager:
Lors de la conception de nos interfaces, après le choix des modalités et du matériel que nous allions utiliser, nous nous sommes intéressés à l'ergonomie des interfaces. Nous avons retiré de ses études divers éléments originaux que nous avons intégré à nos interfaces:
Tout au long de cette étude, nous avons aussi acquis la certitude que la communauté des interfaces doit s'intéresser de près aux jeux vidéos car il y fourmillent des tonnes d'idées qui peuvent être très utiles tant à la façon de présenter les données qu'aux modes d'interactions proposés.
|
|
|
