Site personnel de Florent MICHEL
Réalité Virtuelle
L’avenir des IHM : surface tactile ou analyse vidéo ?
19/10/11
Chez Microsoft Research, on travail sur différentes thématiques liés au interfaces humains machines. Je vous avais parlé il y a quelques mois dans ce billet de l’usage de la peau comme surface d’interaction, en ce début d’automne, ce sont deux nouveaux projets dévoilés par le centre de recherche de la firme de Redmond : OmniTouch et PocketTouch Les deux projet prennent en compte la notion de mobilité.
Le premier projet est basé sur la vision par ordinateur (computer vision) consiste à utiliser un vidéoprojecteur affichant une image qui est analysée par un capteur qui détecte les mouvements de l’utilisateur. C’est une interprétation du projet 6th Sens en utilisant le savoir faire de la Kinect pour obtenir une information de profondeur et savoir si le doigt touche ou non la surface d’affichage.
Le second projet Utilise un capteur tactile capacitif pour détecter des gestuelles à travers un textile. Le principe étant de piloter des fonctionnalités d’un mobile alors que celui ci est dans sa poche.
La calibration est différente selon le type de tissus utilisés, mais l’application pourrait donner des pistes intéressantes.
Plus d’infos sur le site de Chris Harrison (également à l’origine du projet SkinPut)
• OmniTouch
• PocketTouch
Utiliser la peau comme interface d’interaction
10/03/11
Le projet “Skinput” dévoilé par Microsoft Research vise à faire de notre bras une véritable télécommande numérique. Le principe est simple : quand on le tapote son avant-bras avec un doigt, il subit une mini onde de choc qui se propage le long du bras.
L’équipe du Human Computer Interaction Institute a développé un bracelet qui s’enfile comme un tensiomètre et capte ces ondes de choc. En analysant les réactions aux tapotements sur la peau, il est possible d’utiliser le bras comme interface d’entrée pour le contrôle de machines. Coupler cette interface naturelle avec un (pico)projecteur permet de transformer sa peau en écran tactile.
La miniaturisation de l’électronique pourra trouver un fort intérêt à limiter la taille des interfaces d’entrée et utiliser des surfaces existante comme “input”, une table, un mur… c’est d’ailleur l’objet de cet autre projet de la recherche Microsoft : Light Space
Keep in touch (ou l’avenir du tactile)
10/02/11
Tactapad
Il y a quelques années que je vous parlais ici même de l’émergence de projets de recherche utilisant le doigt sur une surface plane comme interface homme machine. Des travaux tactiles de Jeff Han (Multi-Touch Interaction dont je vous parlais ici) à ceux sans contact de Andy Wilson (Touch Light, présenté à Laval Virtual en 2006) en passant par le prototype Tactapad (dont je vous parlais ici).
Toutes ces réflexions ont porté leurs fruits, des produits grand public, Apple et Microsoft on choisit des échèles différentes, la version de poche pour l’iPhone, la version mobilier pour table tactile (et tangible) Surface. Deux bons exemples des usages actuels : Le tactile localisé. C’est-à-dire que l’on touche l’écran pour interagir (comme les travaux de Jeff Han cités ci-dessus). C’est un concept ergonomique très simple pour nos petits cerveaux, mais qui pose un problème pour le généraliser à un ordinateur personnel : nos doigts masquent la partie de l’écran que l’on touche.
Brevet Apple de détection de présence avant contact
Pour des travaux de précisions, cela devient vite un frein (j’imagine difficilement travailler sur le d’illustration vectorielle sur un détourage photo ou sur un tableur chargé de mini-cellules sans un pointeur ultra-précis. La plus grosse évolution à attendre pour le tactile localisé est la détection de la présence du doigt avant le contact avec la surface (comme les travaux d’Andy Wilson cités ci-dessus). Cette évolution arrivera dans les 2 ans à venir d’après moi, Apple est déjà sur le coup avec le dépôt de son brevet # 20110007021.
Pour conclure sur ce point, en terme d’ergonomie, ce type d’interface est adapté aux périphériques mobiles (que l’on a en main ou sur ses genoux) , pas à un écran vertical (trop de fatigue musculaire en cas d’utilisation longue).
Magic Trackpad d'Apple
L’avenir de ce type d’IHM pour nos bons vieux postes de travail est donc ailleurs, à mon avis sur le tactile déporté : c’est-à-dire que la surface que l’on touche, caresse et tapote n’est pas l’écran. Actuellement c’est nos bons vieux trackpads qui se chargent de ça. Intégrés aux ordinateurs portables, ils colonisent maintenant nos postes de travail avec des versions de bureau. On voit même émerger des produits hybrides regroupant des fonctions de tablette graphique et trackpad (comme la gamme Bamboo Touch chez Wacom).
Tablette Wacom Bamboo : mixte stylet + doigt
Alors, me direz-vous, si cela existe, en quoi est-ce le futur ? Et bien, vous répondrai-je, parce que la limite actuelle est que ces dispositifs permettent de contrôler un unique pointeur, on est loin du multitouch. Donc, soyons précis, l’avenir est le tactile déporté multitouch (comme le Tactapad cité ci-dessus). Et là c’est la course à l’innovation, de nouveau Apple est en course avec du dépôt de brevet dans ce domaine. L’élargissement du trackpad sur les portables est une piste sérieuse, ça laisse la place pour 2 mains. (Voir le brevet )
Qui dit nouvelle interface d’entrée (sous les doigts) dit nouvelle interface graphique (sur l’écran) pour cela les travaux du designer Robert Clayton Miller de l’agence de conception Web Tonic Blue [publication en 2009] apportent de bonnes idées. Je vous laisse découvrir cette vidéo très bien faite :
Détection de squelette sans marqueurs
17/12/10
Un court article pour vous présenter cette petit vidéo qui parle d’elle même :
Toutes les informations complémentaire et l’API correspondante disponible sur le site de Openni
Les étudiants en médecine aiment les jeux vidéo
1/12/10
La majorité des étudiants en médecine de l’Université du Michigan et de l’Université du Wisconsin disent, après avoir été interrogés, qu’ils seraient heureux d’utiliser des jeux informatiques et vidéo en tant qu’outils d’apprentissage pour leur formation.
En effet ces étudiants en médecine ont signalé leur optimisme quant à l’utilisation de nouvelles technologies telles que les médias et les jeux vidéo dans l’éducation médicale. Des chercheurs ont confirmé cette tendance avec une enquête regroupant une large fourchette de 30 à 217 étudiants en médecine, à l’Université du Michigan et à l’Université du Wisconsin. Le résultat
est criant : 98 % des étudiants interrogés aiment l’idée d’utiliser la technologie pour améliorer leurs résultats. 80 % d’entre eux jugent le PC comme étant un outil important et éducatif en médecine. Pour finir 77 % de ces étudiants ont également indiqué qu’ils utiliseraient avec plaisir une simulation multijoueur de santé sur leur temps libre, si cela pouvait les aider à atteindre leur objectifs. L’une des principales raison de cette majorité serait le changement de génération, implicant une meilleure acceptation du jeu vidéo et de la technologie. Différence significative tout de même, les garçons participant à
l’enquête seraient 4,4 fois plus susceptibles d’utiliser ces technologies interactives que les filles,
présentant ici une vraie problématique sexe/acceptation à travailler. Rappelons tout de même que les filles sont pourtant de grandes joueuses aujourd’hui, à titre indicatif elles représenteraient plus de 50% des utilisateurs de jeux vidéo en France, selon une étude du CNC de 2010.
Art & Computer Vision
30/11/10
Des dispositifs artistiques utilisant des flux vidéos temps réel naissent chaque jours à travers le monde. Voici un petit exemple en direct de l’Indiana (US), à la Purdue University de Lafayette.
APPRENTISSAGES & TRANSPORTS : Jeux sérieux, réalité virtuelle et réalité augmentée
20/02/10
Petit info sous forme de rendez-vous. l’AFRV organise un séminaire APPRENTISSAGES & TRANSPORTS : Jeux sérieux, réalité virtuelle et réalité augmentée dans le cadre du Forum « Systèmes et Logiciels pour les NTIC dans le Transport ».
Plus d’info sur ce lien ou sur http://forumntic.inrets.fr
Présentation de l’AFRV :
Le réel augmenté d’un sixième sens numérique
25/03/09
Pranav Mistry, assistant de recherche du Groupe des interfaces fluides du Massachusetts Institute of Technology (MIT) a encore fait sensation avec son nouveau projet présenté par sa directrice de labo Pattie Maes, lors de la conférence TED de PalmSprings en février.
Pour mémoire, Pranav Mistry était l’auteur des post-it nouvelle génération nommés « Quickies » qui ont trouvé un large écho sur le web l’an passé.
Le projet au nom de code « WUW » a été rebaptisé « Sixthsense » pour sa sortie du labo. Cette fois, l’utilisateur n’est pas dans son bureau, il est invité à bénéficier des données disponibles sur internet dans leur quotidien, et ce, sans périphérique spécifique.
Le concept est presque simple, il allie une caméra visualisant à peu près la même chose que son porteur, un (nano) vidéoprojecteur et quatre marqueurs de quatre couleurs pour pouce et index.
La vraie innovation est de proposer une nouvelle alternative aux deux grandes façons de faire de la réalité augmentée :
• Porter des lunettes spécifiques qui sont en fait des écrans semi-transparents où sont affichées des formes ou informations. Cette (vielle) méthode ayant fâcheusement tendance à créer des maux de tête à force de demander aux yeux de faire la netteté à deux distance à la fois (le verre des lunettes très près des yeux et l’environnement plus éloigné).
• voir l’environnement réel à travers un écran qui diffuse la vidéo prise par la caméra, à laquelle s’ajoute les éléments virtuels. (Rappelez-vous du projet MARA de Nokia ou plus récemment du portage de l’API AR toolkit sur iPhone).
Cette fois, on ajoute des infos sur les objets de l’environnement eux-même ; bien sûr il faut des surfaces de projections adaptées (il vaut mieux avoir un ami avec un T-shirt blanc).
Les fonctions développées sont relativement classiques (celles que les adeptes de la réalité augmentée imaginent depuis longtemps) avec en plus des idées empruntées au monde des périphériques mobiles (avoir tous types d’informations partout tous le temps.)
Une petite vidéo vaut mieux qu’une grande description :
Plus d’informations : http://www.pranavmistry.com/projects/sixthsense/index.htm
SOS 21 – L’avatar de la prise de conscience
8/03/08
Alors que le thermomètre physique se réchauffe, les mondes virtuels gardent la tête froide. L’initiative SOS-21 est un Outil gratuit de mondes virtuels pour la pédagogie au développement durable. Il s’agit d’un applicatif multimédia avec avatar personnalisé (pour citoyens & salariés d’entreprises) qui permet de créer des simulations de la vie réelle afin de se projeter dans un futur proche et passer du mode déclaratif à la mise en pratique des bonnes intentions.
Ce jeux sérieux massivement multi-joueurs en ligne permet également la remontée des initiatives et le partage des idées.
Encore un exemple ou l’avatar est un vecteur important de la prise de conscience personnel. Pouvoir s’identifier à un personnage et agir à la première personne, avoir conscience de prendre les bonnes décisions ou être pénalisé en cas d’actions négatives (systèmes de points) est un sans doute le principal atout de ce type de système.
Pour plus d’info et vous inscrire, rendez-vous sur www.sos-21.com
La version BETA de SOS-21 arrive en ligne le 17 mars 2008, et une discussion avec le responsable d’SOS 21 est prévue le Mercredi 16 mars 2008 dans le cadre de la semaine de la recherche et de l’innovation à Cergy. Programme complet sur le site de la SRI : www.sri-valdoise.fr
La fin de l’écran rouge… ça va faire mal !
8/11/07
Les joyeux concepteurs de jeux vidéos avaient jadis trouvés un moyen intéressant de faire ressentir la douleur à un joueur de jeux d’action : l’écran se teinte de rouge quant on est touché. Les spécialistes appellent ce principe de la substitution sensorielle ( on stimule la vue au lieu du touché ).
Et bien tremblez gamers, ce bon temps à changé, la société TNgame à repris l’idée de Mark Ombrellaro et son équipe de la Texas Tech University pour proposer le “3rd Space”, un gilet bourré de compresseurs à air et des cellules pneumatiques sur le torse et le dos, qui fait sentir les impacts de balles dans un jeu vidéo.
Encore un produit (presque) grand public qui va ravir les créateurs de dispositifs de réalité virtuelle.
plus d’infos sur : http://www.tngames.com/
Des lunettes pour les oreilles…
8/11/07
Actualité intéressante annoncée par le site ubergizmo qui mérite d’être reprise ici : Philips et la Delft University of Technology (pays bas) ont développés un prototype de lunettes permettant d’amplifier le son venant de la zone que l’on regarde.
Cette “sensibilité directionnelle” est apportée par une rangée de microphones qui identifient d’où proviennent les sons, en amplifiant certains et en filtres d’autres.
Outre l’utilité certaine pour une écoute attentive d’un orateur dans un environnement bruyant, un « sens augmenté » dans un produit aussi portable est un jouet intéressant pour les créateurs de jeux pervasifs. Reste à imaginer le monde qui va avec…
(Pour ceux qui se demande ce que peux bien être un jeu pervasif, rendez vous dans un prochain article pour un panorama de ce qui se fait et ce qui se fera).
Sisi vous le dis avec ses mains.
6/11/07
L’université d’East Anglia (royaume unis) et IBM ont communiqué en septembre dernier sur le projet qu’ils ont développé en commun. L’aboutissement de ce projet est une application qui traduit les paroles en langages des signes et qu a pour nom de code SiSi pour « Say It Sign It ».
Avatar féminin ou masculin – en démonstration vidéo ici
L’application comporte plusieurs modules mis bout a bout pour produite l’effet souhaité : Un module de reconnaissance vocale que transforme la voix en texte, un module qui transforme le texte en signes et un module qui fait effectuer ces signes à un avatar 3D. Certaines personnes commentant ce communiqué soulignent, que le visage non expressif du personnage doit affecter la compréhension.
Cette idée de traducteur virtuel automatique répond au chercheur Mexicain Jose Hernandez-Rebollar de la George Washington University. Il avait crée en 2000 un dispositif, l’ acceleglove, qui permette de traduire à travers d’un synthétiseur vocal ce qu’une personne exprimait en langage des signes.
Sources : http://www-03.ibm.com/press/us/en/pressrelease/22316.wss
Plus d’infos sur l’ acceleglove : www.seas.gwu.edu/~gogo/papers/hernandez_SIGGRAPH_2002.pdf
La Wii fait tourner la tête aux autres consoles
30/09/07
Depuis l’arrivée de la petite console blanche de Nintendo, les gyroscopes ont la cote. Nous nous souvenons de Sony qui, changeant ses plans à la dernière minute, inséra un gyro dans ses manettes de PS3.Voici une petite nouvelle, un gyroscope peux maintenant être ajouté aux PSP. Aucuns jeux « officiels » ne l’utilise, mais on imagine que les homebrews, ces sympathiques logiciels fais maison, sauront en exploiter les bienfaits.
dispo chez neoflash
Le plus gros iPhone du monde est signé Microsoft
1/06/07
Chère lecteur, pardonne ce titre pour le moins irrévérencieux qui laisse supposé qu’une fois de plus, Microsoft propose un produit incroyablement innovant qui existe déjà. Oui, Microsoft a sorti de façon officielle ce produit qui est bien plus proche de celui de Multi-Touch Interaction Research ( que je vous présentait en mars 2006 ) Que du prototype Microsoft Research présentés à Laval Virtual en 2006 (qui était un écran vertical sans contact).
Le produit lui même semble tout à fait intéressant, c’est une interface tangible de type “table” qui permet d’interagir avec différentes fonctions à l’aide de ses doigts. L’interface et ses principes d’interaction étant fortement inspirés de ce qui ce que des dizaines de laboratoires et de créatifs du monde entier proposent déjà depuis 2 ans, cela semble tout à fait réussi.
Pour une fois, aucun bouton “start” avec le logo Windows ne semble faire ingérence dans ce bel objet, enfin une innovation de la part de Microsoft.
Pour conclure ce billet engagé, je remercie Microsoft d’avoir mis la main au portefeuille, élaboré une jolie campagne de communication et envoyé Bill Gates lui montrer le bébé aux Télés, cette initiative permet de révéler ces technologies au grand public et à lancer l’industrie des périphériques tactiles grands formats, c’est le point positif.
Connecting Virtual People
7/05/07
L’équipe de recherche de Nokia en Finlande ayant mis sur pied le projet MARA (Mobile Augmented Reality Applications) dont je vous parlais fin 2006 a cessé de travailler sur ces technologies. La firme mondiale a passé le relais à une équipe du nouveau centre de recherche Nokia basé à Palo Alto aux Etats Unis. L’équipe de développement des applications de réalité Augmenté compte Kari Pulli et Radek Grzeszczuk. Ces deux noms indiquent le tournant qu’est en train de prendre Nokia pour ses applications mobiles futur : ces chercheurs sont des spécialistes du rendu 3D temps réel et de la reconstruction géométrique à partir de texture.
Ces compétences mis en commun au service de la réalité augmentée embarquée nous permet d’imaginer une jolie suite au projet MARA. Pour l’exprimer avec des mots simples, disons que les téléphones ne se contenteront pas d’afficher des informations textuelles par-dessus une vidéo, mais seront, par exemple, capables d’afficher une modélisation 3D de monument ou encore d’analyser ce qui est vu par la caméra du téléphone et le transformer en objet 3D (scanner 3D de poche).
En extrapolant, ce peut être le début du chat via avatar 3D interposé, le décollage jeux pervasifs (mise en situation réelle des joueurs), les VMS (virtual messaging service) ou l’ont enverra des messages accompagnés d’objets 3d…
Alors, à quand les mobiles à double caméra et les écrans reliefs. Pas forcément dans si longtemps, le futur commence dès demain.
Source : Markus Kähäri, project manager of MARA Project