L'avenir des écrans tactiles publics sans contact et des interfaces graphiques intégrées
trait de séparation
Temps de lecture : 6 minutes
Il est clair que la COVID-19 incite les gens à repenser leurs habitudes culturelles établies de longue date, telles que se serrer la main et se tenir près des autres. Ce virus remodèle également nos habitudes technologiques, car les personnes deviennent de plus en plus frileuses à toucher les surfaces des bornes d'information publiques ou encore les guichets automatiques. Ultraleap, une société leader dans le domaine du suivi gestuel et de la technologie haptique, a récemment publié son livre blanc « La fin des écrans tactiles publics » qui le confirme, les gens changent rapidement d'attitude à l'égard des écrans tactiles publics en raison du virus.
Pour ceux d'entre nous qui développent des systèmes embarqués, cela soulève une question importante : comment concevoir au mieux une interface graphique sans contact pour une équipement destiné au public dans une société sensible à l'hygiène ? Quel est l'avenir des écrans tactiles dans un monde où un toucher peut se révéler être une arme biologique ? Alors que les appareils réservés à un usage privé – systèmes individuels ou domestiques - peuvent être utilisés sans tenir compte du risque de contamination, les interfaces utilisateurs des appareils destinés à un usage le public devront dorénavant être reconsidérées.
Créer une IHM basée sur les gestes
Une façon de créer une interface graphique sans contact (ou une interface utilisateur) consiste à utiliser la technologie de reconnaissance gestuelle. Une IHM basée sur les gestes crée un dialogue entre l'homme et la machine dans lequel la machine affiche les informations à travers divers écrans, et l’utilisateur fournit une entrée par des mouvements naturels de la main devant (ou au-dessus) l'écran.
Bien que la technologie gestuelle soit largement disponible depuis la sortie de Microsoft Kinect en 2010, l'utilisation publique la plus répandue au-delà du jeu a été dans les applications automobiles utilisées par BMW et d'autres. Les avantages d'une IHM contrôlée par gestes sont nombreux : il n'y a pas de problèmes d'hygiène avec les surfaces en contact, il n'y a pas d'usure mécanique des boutons ou des interrupteurs et elle peut être utilisée dans des zones avec un fort bruit de fond comparativement aux IHM vocales.
Si les IHM contrôlées par les gestes ont un gros inconvénient, c'est du côté humain. Le « langage » acceptable des gestes reconnaissables doit être suffisamment simple et facilement compréhensible par les utilisateurs. L’utilisation d’un petit nombre de gestes intuitifs garantit que les appareils, en particulier les appareils publics, peuvent être utilisés par des utilisateurs occasionnels qui n’ont pas été formés aux actions reconnaissables par le système. Contraindre les gestes reconnaissables permet aussi d’améliorer la précision de reconnaissance du système de vision.
Bien que la technologie gestuelle soit largement disponible depuis la sortie de Microsoft Kinect en 2010, l'utilisation publique la plus répandue au-delà du jeu a été dans les applications automobiles utilisées par BMW et d'autres. Les avantages d'une IHM contrôlée par gestes sont nombreux : il n'y a pas de problèmes d'hygiène avec les surfaces en contact, il n'y a pas d'usure mécanique des boutons ou des interrupteurs et elle peut être utilisée dans des zones avec un fort bruit de fond comparativement aux IHM vocales.
Si les IHM contrôlées par les gestes ont un gros inconvénient, c'est du côté humain. Le « langage » acceptable des gestes reconnaissables doit être suffisamment simple et facilement compréhensible par les utilisateurs. L’utilisation d’un petit nombre de gestes intuitifs garantit que les appareils, en particulier les appareils publics, peuvent être utilisés par des utilisateurs occasionnels qui n’ont pas été formés aux actions reconnaissables par le système. Contraindre les gestes reconnaissables permet aussi d’améliorer la précision de reconnaissance du système de vision.
La pleine capacité de la technologie gestuelle est encore en cours d'exploration, mais les considérations à prendre en compte dans la conception d’un tel système sont :
- Comprendre le public : âge, familiarité avec la technologie et sexe.
- Tirer parti des gestes faciles à comprendre et culturellement aussi neutres que possible.
- Sélectionner des gestes qui peuvent être reconnus de manière robuste.
- Fournir une formation sur le système aux utilisateurs inconnus.
- Fournir des alternatives d'accessibilité aux utilisateurs qui ne veulent pas ou ne peuvent pas gesticuler en public.
- Protéger les informations confidentielles générées par la vidéo permanente et la collecte de données d'apprentissage automatique.
Reconnaissance vocale : les gros frappeurs
Les interfaces à reconnaissance vocale sont un élément important des technologies IHM sans contact, notamment car elles ont finalement atteint des taux de reconnaissance acceptables par l'utilisateur moyen et la capacité de comprendre le langage naturel. Contrairement à ce qu’on pourrait attendre, elles n'ont pas non plus besoin d'une connexion Internet permanente. Snips (maintenant Sonos), partenaire CRANK, a intégré avec succès sa technologie de reconnaissance vocale avec des performances cloud dans des systèmes embarqués non connectés, et Panasonic a démontré la faisabilité d’utiliser Amazon Alexa dans une configuration hybride cloud / embarquée.
L'inconvénient des systèmes vocaux est – ce qui est quelque peu ironique – qu’il faut leur parler. Il existe de nombreuses situations dans lesquelles les systèmes à commande vocale n'ont pas de sens, parce qu'ils sont soit socialement inappropriés (par exemple dans des zones calmes comme les bibliothèques ou les musées), soit que la confidentialité est nécessaire (lors de transactions financières ou de fourniture d'informations personnelles), ou parce que l'environnement est bruyant (endroits tels que les usines, les aéroports ou les métros). C’est pourquoi CRANK recommande une stratégie IHM multimodale associant la voix avec d’autres mécanismes d’entrée.
L'inconvénient des systèmes vocaux est – ce qui est quelque peu ironique – qu’il faut leur parler. Il existe de nombreuses situations dans lesquelles les systèmes à commande vocale n'ont pas de sens, parce qu'ils sont soit socialement inappropriés (par exemple dans des zones calmes comme les bibliothèques ou les musées), soit que la confidentialité est nécessaire (lors de transactions financières ou de fourniture d'informations personnelles), ou parce que l'environnement est bruyant (endroits tels que les usines, les aéroports ou les métros). C’est pourquoi CRANK recommande une stratégie IHM multimodale associant la voix avec d’autres mécanismes d’entrée.
S'attendre à ce que tout le monde utilise des applications pour smartphone n'est pas la solution
Utiliser son téléphone personnel pour contrôler un système public, permet effectivement d’éviter de toucher les surfaces partagées. Cependant, ce n'est qu'une partie de la solution, car une solution de téléphonie mobile nécessite presque toujours l'installation d'une nouvelle application et la création d'un compte. Pour les expériences répétées - achats de restauration rapide, paiements de parcomètres, trajets en transports en commun, etc. - l'installation d'une application mobile peut être accepté par un certain nombre d’utilisateurs afin d'éviter l'exposition indésirable aux germes. Cependant, la notion « d’expérience utilisateur » fait que beaucoup de personnes n'opteront pas pour une solution basée sur une application mobile. Les recherches menées par Ultraleap dans ce domaine indiquent même qu’une majorité de personnes préféreront toujours un employé au comptoir plutôt qu'une application sur leur téléphone.
Capteurs de proximité - assez proches pour toucher
Les capteurs de proximité sont un proche cousin de la commande gestuelle pour une expérience utilisateur sans contact. Cette technologie est d’ores et déjà largement employée par un très grand nombre de gens - même s'ils ne le savent pas – avec leurs téléphones portables actuels pour permettre, par exemple, au téléphone de détecter le visage de l’utilisateur. Cependant, l’utilisation de cette technologie de détection des téléphones sur un appareil public fixe ne permet que de détecter si « un utilisateur potentiel est là ».
Afin d’avoir une solution beaucoup plus performante, il est nécessaire d’utiliser des capteurs de proximité haute résolution utilisant un réseau de capteurs ultrasoniques, infrarouges ou capacitifs autour d'un écran afin de permettre à un utilisateur d'indiquer quelle zone d'écran spécifique il regarde. Cela permet aux concepteurs de remplacer un écran tactile par une interface utilisateur sans contact ainsi que de pouvoir migrer facilement un système existant basé sur une IHM classique vers une IHM sans contact avec seulement des modifications logicielles minimes.
Bien que n’étant pas directement basé sur la proximité, La technologie PAI (Projection And Interaction) montrée par Bosch lors du dernier « Smart Kitchen Summit » pour ses produits électroménager, permet aux utilisateurs de projeter l’écran, afin d’interagir avec le système, sur la surface de son choix. Un tel système fonctionnerait d’autant plus dans des environnements mieux contrôlés tels que les lieux de travail mais ont surtout l’énorme avantage d'éviter de toucher une surface publique.
Afin d’avoir une solution beaucoup plus performante, il est nécessaire d’utiliser des capteurs de proximité haute résolution utilisant un réseau de capteurs ultrasoniques, infrarouges ou capacitifs autour d'un écran afin de permettre à un utilisateur d'indiquer quelle zone d'écran spécifique il regarde. Cela permet aux concepteurs de remplacer un écran tactile par une interface utilisateur sans contact ainsi que de pouvoir migrer facilement un système existant basé sur une IHM classique vers une IHM sans contact avec seulement des modifications logicielles minimes.
Bien que n’étant pas directement basé sur la proximité, La technologie PAI (Projection And Interaction) montrée par Bosch lors du dernier « Smart Kitchen Summit » pour ses produits électroménager, permet aux utilisateurs de projeter l’écran, afin d’interagir avec le système, sur la surface de son choix. Un tel système fonctionnerait d’autant plus dans des environnements mieux contrôlés tels que les lieux de travail mais ont surtout l’énorme avantage d'éviter de toucher une surface publique.
Le NFC / RFID : ces technologies joueront un rôle croissant dans l’avenir
NFC (Near Field communication) et RFID (Radio Frequency Identification) ne sont pas des technologies visant à remplacer une interface graphique tactile, mais il est certain que ces technologies sans contact joueront un rôle croissant dans la conception des futures IHM. La COVID a prouvé l'intérêt d'utiliser le NFC pour des interactions sans contact. Les systèmes de paiement ont été largement adoptés pendant l'ère COVID, et ce même aux États-Unis alors que ce mode de paiement avait rencontré une résistance par le passé.
Qu'est-ce que cela signifie pour la conception des IHM de systèmes dédiés au public tels que les bornes de restauration rapide, les équipements d’une salle de sport, les bornes d'enregistrement d’un hôtel ou les laveries automatiques ? La simplicité de passer simplement sa carte devant le système - qu'il s'agisse d'une carte de crédit, d'identité, de santé ou de membre – pour s’identifier, sélectionner son profil voire payer peut devenir un moyen beaucoup plus accepté par le grand public.
Qu'est-ce que cela signifie pour la conception des IHM de systèmes dédiés au public tels que les bornes de restauration rapide, les équipements d’une salle de sport, les bornes d'enregistrement d’un hôtel ou les laveries automatiques ? La simplicité de passer simplement sa carte devant le système - qu'il s'agisse d'une carte de crédit, d'identité, de santé ou de membre – pour s’identifier, sélectionner son profil voire payer peut devenir un moyen beaucoup plus accepté par le grand public.
Eye Tracking (suivi oculaire) : moins courant mais efficace
Une autre possibilité pour remplacer l'écran tactile omniprésent est le suivi oculaire. Bien qu'elle ne soit pas aussi courante que certaines des autres solutions mentionnées ici, elle partage bien des avantages avec la reconnaissance gestuelle, tels que l'indépendance à la langue, l’immunité au bruit et une disponibilité constante. En raison d’une utilisation encore limitée notamment vis-à-vis du grand public, les systèmes utilisant cette technologie doivent permettre la formation d’un utilisateur non initié.
Alors quel avenir pour les écrans tactiles publics ?
Pouvons-nous continuer à utiliser des écrans tactiles éprouvés tout en éliminant le problème d’hygiène inhérente à leur technologie ? Certaines personnes semblent le penser, par exemple Corum Digital vise à mettre ses utilisateurs plus en sécurité en intégrant un distributeur de désinfectant dans sur leurs bornes tactiles. Mais ce type de solution ne dépend que de la conviction des gens que le système est réellement propre, ce qui ne pourra être confirmé que par une étude sur le terrain.
Et votre pied dans tout ça ? Kiosk Innovations a développé un système de contrôle de navigation par le pied ? Bien que la plupart des utilisateurs ne le trouve pas des plus pratique (sauf si vous êtes guitariste ou adepte de Dance-Dance-Revolution) une chose est sure, dans de bonnes circonstances, le public peut s’adapter aux nouvelles technologies beaucoup plus rapidement que prévu.
Et votre pied dans tout ça ? Kiosk Innovations a développé un système de contrôle de navigation par le pied ? Bien que la plupart des utilisateurs ne le trouve pas des plus pratique (sauf si vous êtes guitariste ou adepte de Dance-Dance-Revolution) une chose est sure, dans de bonnes circonstances, le public peut s’adapter aux nouvelles technologies beaucoup plus rapidement que prévu.
Auteur : Jason Clarke
