Archives de la catégorie ‘Réalité Virtuelle et Augmentée’

thoughthelmet

Allez, un article un peu plus long : c’est le week-end!

Nous avions évoqué dans cet article l’essor des interfaces permettant de capturer, débruiter et interpréter les ondes cérébrales d’un sujet. En soi, c’est déjà un problème complexe. En effet, plusieurs techniques existent : celles se fondant sur l’activité EEG de l’utilisateur au cours du temps (exemple: rythmes EEG), qui ne nécessitent pas de stimulus externe et celles se fondant sur la mesure des potentiels évoqués (ou Evoked Response Potential, ERP), qui requièrent la présence d’un stimulus précisément daté.

Capturer les signaux

Dans tous les cas, il ne s’agit pas d’une « simple » analyse, comme si l’on lisait directement le cerveau de l’utilisateur. La subtilité consiste, à partir d’un état « brut » capturé via des casques du commerce, d’utiliser des techniques d’analyse de données et d’apprentissage machine afin d’en extraire un « état cérébral » pouvant être utilisé pour surveiller le fonctionnement du cerveau ou déclencher une interaction entre l’homme et la machine. Dans ce domaine, la France est en avance, avec notamment l’INRIA qui a développé la plate-forme open source OPEN VIBE, qui permet de réaliser cet enchaînement de traitements complexes :  capture, prétraitement & filtrage du signal (souvent bruité, en particulier si des électrodes sont placées sur les muscles faciaux, extraction des caractéristiques des signaux, classification.

J’en profite pour mentionner la brillante PME MENSIA Technologies, start-up issue de l’INRIA et du projet ANR OPENVIBE, installée à Rennes et à Paris, et qui a développé plusieurs logiciels commerciaux autour des briques technologiques OPENVIBE. MENSIA TECHNOLOGIES mène en outre plusieurs projets dans le domaine du monitoring et de l’entraînement cérébral basé sur la neurologie quantitative temps réel. Voici ci-dessous une démonstration des outils développés et industrialisés par MENSIA :

Emettre des commandes

Lorsqu’à cette chaîne de traitement (capture=>classification) on ajoute une étape de traduction, on obtient ce que les anglo-saxons appellent « thought controlled computing » : le contrôle commande d’un ordinateur par la pensée. Le résultat est impressionnant, qu’il s’agisse d’un simple « contrôle de l’environnement » à des fins ludiques :

Ou d’un contrôle commande pouvant par exemple pallier un handicap, en permettant d’envoyer des informations de déplacement à un fauteuil, par la pensée :

A quoi cela sert-il dans notre domaine ?

Applications pour la défense

Nous avons déjà évoqué l’utilisation de l’analyse des signaux EEG pour des utilisateurs de simulation. Les modèles et techniques d’analyse pour caractériser l’état cognitif permettent une interprétation automatique de l’état de l’apprenant (stressé, concentré, surchargé d’information,etc…) moyennant une calibration de quelques minutes. Le monitoring au sein du simulateur de l’état cognitif au sens large et de la charge mentale de l’apprenant en particulier, permet ainsi d’envisager une optimisation des processus de formation et d’entraînement, pour une meilleure interaction subséquente des opérateurs avec leur environnement. Le feedback rapporté au formateur pilotant le scénario de formation permettra d’enrichir les outils à disposition pour évaluer les potentialités opérationnelles, ainsi qu’à la possibilité d’amélioration de l’ergonomie des interfaces utilisateurs pour une meilleure efficience du couple opérateur-système.

Au delà de la simulation, en termes de perspectives, la mise en œuvre d’outils de mesure de l’état cognitif dans un simulateur est un premier pas vers la conception de cockpits totalement adaptée au traitement cérébral de l’information. En ce sens, le programme pourra être adapté aux IBEOS (illustrateurs de besoin opérationnel) tels que le simulateur SISPEO mis en service au sein de la DGA (Techniques Terrestres/SDT/IS/S2I, sur le site de Bourges).

Mais dans le domaine du contrôle  commande, des expérimentations sont par ailleurs en cours pour intégrer ces  dispositifs dans des contextes opérationnels : la plus récente à notre connaissance concerne le pilotage d’avion sur un vol complet – pour l’instant dans un simulateur -, atterrissage et décollage inclus :

cockpit

On peut également mentionner le pilotage de drones, la commande neurale permettant de se consacrer à des tâches tactiques complexes en laissant le pilotage de bas niveau à la charge du drone. D’une manière générale, ce type de technologies est adapté au contrôle commande de robots semi-autonomes, et de nombreuses expérimentations sont à l’étude dans ce domaine.

Vers la « télépathie opérationnelle »?

Enfin, la DARPA américaine travaille sur un projet dit « Silent Talk » permettant d’utiliser les IHM neurales… pour faire de la communication de cerveau à cerveau silencieuse sur le théâtre d’opérations. Ce petit projet (financé à hauteur de 4MUSD) est avant tout un projet… de mathématiques. Caractériser, filtrer, isoler et interpréter les signaux pertinents d’un combattant sur le champ de bataille est, d’après le Dr Elmar Schmeisser de l’US Army, un problème mathématique « cruel » qui pourrait mobiliser les équipes de recherche pour 20 ans. L’US Army travaille néanmoins sur le projet d’un « thought helmet » permettant d’ores et déjà de capturer l’état mental du soldat.

ares4

Tout le monde connait aujourd’hui le concept de Réalité Augmentée (RA). Il consiste à compléter les signaux perçus dans le monde réel (visuels, haptiques…) par des informations synthétiques qui lui sont superposées. La RA a déjà pris considérablement dans le grand public, et cela fait de nombreuses années que son potentiel dans la défense est examiné. Nous parlerons bientôt dans un prochain post du projet JFX3 anglais visant à examiner l’intérêt de la RA sur le champ de bataille.

Mais pour l’instant, voici ARES (Augmented Reality Sandtable) une petite innovation présentée lors du dernier salon de la simulation IITSEC à Orlando, en décembre. Il s’agit d’un projet interne de l’US Army, développé à partir de produits COTS (produits commerciaux sur étagères), en particulier le capteur de mouvements Microsoft Kinect.

ares3

Le principe est celui d’une caisse à sable interactive : une vraie caisse, contenant du vrai sable, couplée à une Kinect, à un vidéoprojecteur, et à un serveur. Lorsque l’utilisateur modifie le paysage de sable, les modifications sont captées par le système, qui peut, en retour, fournir de nouvelles informations à l’utilisateur. Ainsi, le système permet la numérisation automatique de l’altimétrie du terrain créé des mains mêmes de l’utilisateur.

are2  ares1

Ainsi, les courbes de niveau sont automatiquement déduites et mises à jour (projetées sur le sable), permettant instantanément d’apprécier un dénivelé, une ligne de crête, etc…  Connectée à un serveur de simulation (type OneSAF, simulation aujourd’hui largement employée dans l’US Army malgré son côté un peu simpliste), cette application permet d’imaginer les positions amies et ennemies, de positionner des entités virtuelles sur le terrain (qui peuvent d’ailleurs être matérialisées par des « pions » physiques, d’en déduire les intervisibilités mutuelles, et d’élaborer une idée de manœuvre, avant de la tester en simulation. Assez bluffant, je dois dire. On peut également simuler un écoulement de fluide et regarder quelles sont les zones affectées.

Vous pouvez voir le système en action ici:

Alors la grande question : à quoi cela sert-il ? Je ne suis pas un fan de la technologie pour la technologie, et aujourd’hui, le système n’existe qu’à l’état de prototype (2 caisses, qui sont d’ailleurs connectées et intéropérables à distance via Internet). Il semble illusoire de vouloir utiliser un tel système en opérations même s’il présente quelques attraits en termes de préparation de mission et l’US Army elle-même n’était pas fixée encore sur le concept d’emploi final. A moins de miniaturiser le concept sur un smartphone ou un picoprojecteur pour pouvoir l’utiliser en tous lieux, un tel système ne peut aujourd’hui fonctionner sur un théâtre d’opérations.

En revanche, et à mon avis, ARES pourrait être avantageusement utilisé en formation, afin de sensibiliser des élèves à la cartographie et l’analyse du terrain. En complément de l’analyse de cartes traditionnelles, je vois bien une telle caisse à sable trôner à Saint-Cyr : à cet égard, le compromis coût (assez faible)-efficacité semble largement favorable.

Ce démonstrateur technologique mêle trois caractéristiques qui semblent essentielles : la simplicité (de conception et d’utilisation), l’économie (tout ceci ne nécessite que du sable, un projecteur, un serveur), et l’attractivité du concept. Une juste suffisance technologique, si – et seulement si – l’objectif pédagogique ou opérationnel est clairement défini.