Archives de la catégorie ‘Réalité Virtuelle et Augmentée’

bv4

J’avais déjà écrit un article sur JFX3, le programme sur la réalité augmentée conduit par nos amis britanniques. Aujourd’hui, focus sur un programme Français ayant pour but de fournir une visualisation immersive et interactive de l’espace de bataille numérisé, et qui a fait l’objet de démonstrations remarquées lors d’Eurosatory et d’Euronaval : Battlespace Vista, développées par THALES (TCS, TRT et TRS).

Cela fait longtemps que THALES réfléchit sur la meilleure manière d’appréhender l’espace de bataille moderne, qui regroupe les champs physiques de mer, terre, air et espace, avec le champ immatériel de l’information. En effet, la  numérisation de cet espace repose sur l’intégration des réseaux de communications tactiques (liaisons de données, messageries sur réseaux H/V/UHF) et des systèmes d’information opérationnels communicants. Si cette numérisation produit de puissants multiplicateurs de forces, elle appelle également de nouveaux modes de visualisation simplifiée d’une situation complexe intégrant terrain, forces, matériels, connectivité radio et empreinte capteurs, pour tirer le meilleur parti des opérations infovalorisées.

Ce n’est pas un problème trivial (mais la phrase précédente le laissait présager J). Il s’agit de passer d’une tenue de situation à une véritable compréhension de la situation, et ce sans surcharger la vision du chef, ni complexifier inutilement sa perception des opérations en cours. Autrement dit, ne pas faire « de la technologie pour la technologie ».

A cet égard, la démonstration capacitaire Battlespace Vista s’est révélée particulièrement illustrative, lors d’Eurosatory et d’Euronaval, en 2014. A l’occasion d’Eurosatory, THALES a présenté une démonstration fondée sur le scenario d’une mission d’appui rapproché numérisé au profit d’un SGTIA en Afghanistan. Il s’agissait d’une démonstration immersive, mêlant représentation innovante de l’espace de bataille, et manipulation en réalité immersive. Le résultat était impressionnant – même si l’on peut, à mon sens, améliorer la technologie d’immersivité utilisée. Mais cela n’était qu’une démonstration.

Battlespace Vista Eurosatory 2014

Ce qui m’a personnellement frappé, c’est la facilité pour un utilisateur de se placer au point de vue du chef en utilisant cette interface (lunettes 3D actives, joystick permettant de se positionner dans « l’espace informationnel »).

SAMSUNG CAMERA PICTURES

Au-delà, cette démonstration, positionnée en conduite des opérations au niveau d’un « Tactical Operations Center » et ses appuis interarmées interalliés, a permis d’illustrer trois constats.

  1. En premier lieu, l’intégration air-sol aux niveaux interarmées, interarmes et interalliés est aujourd’hui une réalité de l’appui-feu numérisé : gestion partagée de la 3D entre artillerie (chaînes ATLAS, MARTHA..) et hélicoptères, avions ou drones, avec par exemple la définition de zones de tir réservées, partage de situation tactique air-sol et le suivi de forces amies entre moyens air,terre et forces spéciales, ou encore la faculté d’attribuer des cibles sans crainte de tir fratricide en minimisant les risques de dégâts collatéraux.
  2. La capacité spatiale se déploie au niveau opératif et devient essentielle à la conduite des opérations sur l’espace de bataille numérisé: elle permet la navigation, le positionnement, et la datation (navigation et frappes de précision),grâce au système Galileo et ses récepteurs embarqués, la tenue de situation spatiale consolidée (avec information des forces), l’observation (spatiocartes et systèmes d’information embarqués, analyse de site et évaluation des frappes), grâce à des stations de géographie ou d’imagerie déployées, et évidemment, l’intégration des télécommunications (mobilité, connectivité, qualité de service), grâce notamment aux systèmes Syracuse 3 (bande X) et Athena-Fidus (bande Ka), avec leurs terminaux fixes ou mobiles (VENUS).
  3. La numérisation des véhicules de combat et leur intégration en réseau autour de systèmes de missions est une nouvelle capacité des GTIA numérisés : elle permet d’insérer l’action du GTIA dans ses appuis interarmes et interarmées, synchroniser la manœuvre et les effets, procéder à une allocation des rôles et des cibles avant et pendant l’engagement, capacité d’autoprotection : alerte immédiate et déclenchement automatisée de contre-mesures.

bv1

Une belle démonstration donc, et une expertise française incontestée dans ce domaine, qui devrait porter les couleurs de notre pays lors de l’exercice Bold Quest cette année (Bold Quest est un exercice interallié et interarmées d’expérimentation dans les missions d’identification, de coordination des feux, d’appui aérien et de cyber défense).

ultraviz1

Petit focus sur le programme JFX3 du Ministère de la Défense britannique. Ce programme, conduit notamment par la société SEA (une filiale de Cohort PLC) vise à évaluer les apports de la réalité augmentée (RA) basée sur des COTS (composants commerciaux sur étagère) et des GOTS (idem, mais composants gouvernementaux) dans le domaine de la Défense. Son nom complet est Joint Focus Experimentation 3(JFX3).

En particulier, l’objectif était d’identifier les bénéfices apportés par la RA, et les solutions pouvant être déployées rapidement, à coût modeste, pour les opérations et l’entraînement, en exploitant les récents progrès dans le domaine commercial.

Ce programme a été réalisé en 2 phases :

  • Une première phase d’étude dédiée à analyser le domaine, identifier les concepts et analyser les technologies. Cette première phase a montré que l’évolution du domaine était plus rapide que celle de technologies comparables, facilitée par les applications sur tablettes, smartphones… Elle a identifiée également les barrières possibles pour une utilisation dans le domaine de la défense : gestion des formats, des priorités, interopérabilité, exigences matérielles, etc…)
  • Une deuxième phase, conduite en 2013, était constituée d’une série d’expérimentations terrain permettant une première mise en pratique et une identification des barrières à l’adoption de la RA. Quatre concepts ont été évalués :
  1. La navigation augmentée (infanterie débarquée), de jour comme de nuit,
  2. Les alertes directionnelles / le repérage (infanterie débarquée)
  3. Les alertes de proximité (infanterie débarquée) vis-à-vis de points d’intérêts
  4. La visualisation au travers d’un véhicule (contexte embarqué) : des tablettes fixes ou portables situées dans le véhicule affichent des images d’une caméra à 360° montée sur le véhicule, enrichies d’une couche d’information en RA. Voir à ce sujet mon article sur l’évaluation d’une telle technologie par l’armée norvégienne ici.
  5. Pour les 3 premiers concepts, lorsque cela était applicable, les évaluations portaient sur les RA visuelle (jumelle), audio (tonalités directionnelles et voix de synthèse générées dans un casque) et haptique (ceinture haptique qui stimule le sens du touché par application de forces, de vibration et de mouvements ou des actuateurs posés sur les bras du sujet).

 simulation-gaming

Les résultats ont montré :

  • Que dans le domaine de la navigation, les routes utilisées via un procédé de RA étaient plus pertinentes que les routes déduites par les moyens usuels (de nuit comme de jour, avec un effet plus spectaculaire de nuit)
  • Que dans le domaine des alertes directionnelles, la radio était finalement la technique la plus adaptée
  • Que le « blindage transparent » générait une charge de travail plus grande, mais était très performant en termes de pertinence opérationnelle.

smallarms-simulation

En outre, l’étude (qui s’est intéressé aux contextes Terre et Mer) a identifié quelques barrières à l’adoption de la RA :

  • Concordance : la manière dont les informations en RA sont cohérentes avec le monde réel. Cette étape de calibration est assez simpliste dans le monde des applications grand public. Elle doit être renforcée dans le monde de la défense
  • La technologie coupe le sujet des alertes et signaux atmosphériques et environnementaux qui l’entourent. Dans certains cas (ex opérations des FS) cela est handicapant
  • Immaturité des dispositifs visuels en regard des contraintes militaires
  • Immaturité de l’intégration de la technologie (même si celle-ci est mature) dans un système de systèmes militaires
  • Rythme de l’obsolescence, en comparaison du rythme d’acquisition dans les armées
  • Taille, robustesse, poids, pour le combattant individuel
  • Sécurité des communications et du stockage des informations sensibles.

Ce type de projets est essentiel pour l’évaluation non seulement d’une technologie, mais de sa capacité à remplir un besoin opérationnel. Dans le même ordre d’idées, on pourra citer le projet ULTRA-VIS (Urban Leader Tactical Response, Awareness and Visualization), répondant précisément aux objectifs d’intégration de la réalité augmentée au sein des Forces, en Appui aux Opérations, conduit par la DARPA qui en a publié récemment quelques résultats (voir images ci-dessous, et image de tête de l’article).

ultra2

En l’occurrence, il s’agit d’un nouveau casque de RA permettant au fantassin d’avoir à la fois accès aux informations synthétiques opérationnelles, et de ne pas se couper de son environnement.

DARPA ULTRAVIS

Ce casque est à base de guides d’ondes holographiques.  Nous examinerons bientôt dans ce blog les différentes catégories de lunettes pour la réalité virtuelle et augmentée.

En conclusion, aujourd’hui, la plupart des démonstrations d’utilisation de la réalité augmentée se font dans des environnements parfaitement connus, limités dans l’espace, avec des applications où l’utilisateur n’a pas une entière liberté de mouvement et d’action. Ceci,on peut le comprendre, pour des raisons de maturité et robustesse des technologies employées. Toutefois, les conditions opérationnelles d’utilisation de telles technologies militent pour la conduite d’expérimentations telles que JFX3, qui a le mérite de poser correctement le problème de la pertinence de l’emploi futur dans un contexte opérationnel exigeant.

 

 

article-2621476-1D9D205400000578-542_634x356

…c’est l’expérience réalisée par l’armée norvégienne dans une expérimentation fondée sur l’utilisation du casque de réalité virtuelle Oculus Rift. L’idée est d’équiper le char de plusieurs caméras lenticulaires installées sur le pourtour. Via un serveur, ces caméras sont reliées à un casque Oculus Rift qui permet, en fonction de l’orientation de la tête de l’utilisateur, de composer une image synthétique de l’environnement du char en utilisant les caméras de la zone concernée. Un logiciel de réalité augmentée développé par la société Augmenti permet de réaliser la superposition avec les indications de guidage, celles relatives au système d’armes et aux cibles.

article-2621476-1D9D205000000578-50_634x286

Le blindage devient ainsi « transparent » et permet ainsi d’avoir une vision à 360 degrés autour du véhicule. Le film (sous titré en anglais) est visible ici

L’idée n’est pas nouvelle: au salon du Bourget 2013, Finmeccanica avait dévoilé un concept analogue pour voir au travers du plancher d’un hélicoptère de combat. Ce qui a changé, c’est le coût d’une telle solution, rendu abordable par le recours à des équipements de réalité virtuelle grand public.

article-2621476-1D9D205800000578-308_634x347

Dans tous les cas, le concept doit être soigneusement étudié, car le recours à une image synthétique fatigue considérablement l’oeil de l’utilisateur – des tests d’acceptance sont en cours. Une telle technologie pourrait être opérationnelle avant quatre ans.

thoughthelmet

Allez, un article un peu plus long : c’est le week-end!

Nous avions évoqué dans cet article l’essor des interfaces permettant de capturer, débruiter et interpréter les ondes cérébrales d’un sujet. En soi, c’est déjà un problème complexe. En effet, plusieurs techniques existent : celles se fondant sur l’activité EEG de l’utilisateur au cours du temps (exemple: rythmes EEG), qui ne nécessitent pas de stimulus externe et celles se fondant sur la mesure des potentiels évoqués (ou Evoked Response Potential, ERP), qui requièrent la présence d’un stimulus précisément daté.

Capturer les signaux

Dans tous les cas, il ne s’agit pas d’une « simple » analyse, comme si l’on lisait directement le cerveau de l’utilisateur. La subtilité consiste, à partir d’un état « brut » capturé via des casques du commerce, d’utiliser des techniques d’analyse de données et d’apprentissage machine afin d’en extraire un « état cérébral » pouvant être utilisé pour surveiller le fonctionnement du cerveau ou déclencher une interaction entre l’homme et la machine. Dans ce domaine, la France est en avance, avec notamment l’INRIA qui a développé la plate-forme open source OPEN VIBE, qui permet de réaliser cet enchaînement de traitements complexes :  capture, prétraitement & filtrage du signal (souvent bruité, en particulier si des électrodes sont placées sur les muscles faciaux, extraction des caractéristiques des signaux, classification.

J’en profite pour mentionner la brillante PME MENSIA Technologies, start-up issue de l’INRIA et du projet ANR OPENVIBE, installée à Rennes et à Paris, et qui a développé plusieurs logiciels commerciaux autour des briques technologiques OPENVIBE. MENSIA TECHNOLOGIES mène en outre plusieurs projets dans le domaine du monitoring et de l’entraînement cérébral basé sur la neurologie quantitative temps réel. Voici ci-dessous une démonstration des outils développés et industrialisés par MENSIA :

Emettre des commandes

Lorsqu’à cette chaîne de traitement (capture=>classification) on ajoute une étape de traduction, on obtient ce que les anglo-saxons appellent « thought controlled computing » : le contrôle commande d’un ordinateur par la pensée. Le résultat est impressionnant, qu’il s’agisse d’un simple « contrôle de l’environnement » à des fins ludiques :

Ou d’un contrôle commande pouvant par exemple pallier un handicap, en permettant d’envoyer des informations de déplacement à un fauteuil, par la pensée :

A quoi cela sert-il dans notre domaine ?

Applications pour la défense

Nous avons déjà évoqué l’utilisation de l’analyse des signaux EEG pour des utilisateurs de simulation. Les modèles et techniques d’analyse pour caractériser l’état cognitif permettent une interprétation automatique de l’état de l’apprenant (stressé, concentré, surchargé d’information,etc…) moyennant une calibration de quelques minutes. Le monitoring au sein du simulateur de l’état cognitif au sens large et de la charge mentale de l’apprenant en particulier, permet ainsi d’envisager une optimisation des processus de formation et d’entraînement, pour une meilleure interaction subséquente des opérateurs avec leur environnement. Le feedback rapporté au formateur pilotant le scénario de formation permettra d’enrichir les outils à disposition pour évaluer les potentialités opérationnelles, ainsi qu’à la possibilité d’amélioration de l’ergonomie des interfaces utilisateurs pour une meilleure efficience du couple opérateur-système.

Au delà de la simulation, en termes de perspectives, la mise en œuvre d’outils de mesure de l’état cognitif dans un simulateur est un premier pas vers la conception de cockpits totalement adaptée au traitement cérébral de l’information. En ce sens, le programme pourra être adapté aux IBEOS (illustrateurs de besoin opérationnel) tels que le simulateur SISPEO mis en service au sein de la DGA (Techniques Terrestres/SDT/IS/S2I, sur le site de Bourges).

Mais dans le domaine du contrôle  commande, des expérimentations sont par ailleurs en cours pour intégrer ces  dispositifs dans des contextes opérationnels : la plus récente à notre connaissance concerne le pilotage d’avion sur un vol complet – pour l’instant dans un simulateur -, atterrissage et décollage inclus :

cockpit

On peut également mentionner le pilotage de drones, la commande neurale permettant de se consacrer à des tâches tactiques complexes en laissant le pilotage de bas niveau à la charge du drone. D’une manière générale, ce type de technologies est adapté au contrôle commande de robots semi-autonomes, et de nombreuses expérimentations sont à l’étude dans ce domaine.

Vers la « télépathie opérationnelle »?

Enfin, la DARPA américaine travaille sur un projet dit « Silent Talk » permettant d’utiliser les IHM neurales… pour faire de la communication de cerveau à cerveau silencieuse sur le théâtre d’opérations. Ce petit projet (financé à hauteur de 4MUSD) est avant tout un projet… de mathématiques. Caractériser, filtrer, isoler et interpréter les signaux pertinents d’un combattant sur le champ de bataille est, d’après le Dr Elmar Schmeisser de l’US Army, un problème mathématique « cruel » qui pourrait mobiliser les équipes de recherche pour 20 ans. L’US Army travaille néanmoins sur le projet d’un « thought helmet » permettant d’ores et déjà de capturer l’état mental du soldat.

ares4

Tout le monde connait aujourd’hui le concept de Réalité Augmentée (RA). Il consiste à compléter les signaux perçus dans le monde réel (visuels, haptiques…) par des informations synthétiques qui lui sont superposées. La RA a déjà pris considérablement dans le grand public, et cela fait de nombreuses années que son potentiel dans la défense est examiné. Nous parlerons bientôt dans un prochain post du projet JFX3 anglais visant à examiner l’intérêt de la RA sur le champ de bataille.

Mais pour l’instant, voici ARES (Augmented Reality Sandtable) une petite innovation présentée lors du dernier salon de la simulation IITSEC à Orlando, en décembre. Il s’agit d’un projet interne de l’US Army, développé à partir de produits COTS (produits commerciaux sur étagères), en particulier le capteur de mouvements Microsoft Kinect.

ares3

Le principe est celui d’une caisse à sable interactive : une vraie caisse, contenant du vrai sable, couplée à une Kinect, à un vidéoprojecteur, et à un serveur. Lorsque l’utilisateur modifie le paysage de sable, les modifications sont captées par le système, qui peut, en retour, fournir de nouvelles informations à l’utilisateur. Ainsi, le système permet la numérisation automatique de l’altimétrie du terrain créé des mains mêmes de l’utilisateur.

are2  ares1

Ainsi, les courbes de niveau sont automatiquement déduites et mises à jour (projetées sur le sable), permettant instantanément d’apprécier un dénivelé, une ligne de crête, etc…  Connectée à un serveur de simulation (type OneSAF, simulation aujourd’hui largement employée dans l’US Army malgré son côté un peu simpliste), cette application permet d’imaginer les positions amies et ennemies, de positionner des entités virtuelles sur le terrain (qui peuvent d’ailleurs être matérialisées par des « pions » physiques, d’en déduire les intervisibilités mutuelles, et d’élaborer une idée de manœuvre, avant de la tester en simulation. Assez bluffant, je dois dire. On peut également simuler un écoulement de fluide et regarder quelles sont les zones affectées.

Vous pouvez voir le système en action ici:

Alors la grande question : à quoi cela sert-il ? Je ne suis pas un fan de la technologie pour la technologie, et aujourd’hui, le système n’existe qu’à l’état de prototype (2 caisses, qui sont d’ailleurs connectées et intéropérables à distance via Internet). Il semble illusoire de vouloir utiliser un tel système en opérations même s’il présente quelques attraits en termes de préparation de mission et l’US Army elle-même n’était pas fixée encore sur le concept d’emploi final. A moins de miniaturiser le concept sur un smartphone ou un picoprojecteur pour pouvoir l’utiliser en tous lieux, un tel système ne peut aujourd’hui fonctionner sur un théâtre d’opérations.

En revanche, et à mon avis, ARES pourrait être avantageusement utilisé en formation, afin de sensibiliser des élèves à la cartographie et l’analyse du terrain. En complément de l’analyse de cartes traditionnelles, je vois bien une telle caisse à sable trôner à Saint-Cyr : à cet égard, le compromis coût (assez faible)-efficacité semble largement favorable.

Ce démonstrateur technologique mêle trois caractéristiques qui semblent essentielles : la simplicité (de conception et d’utilisation), l’économie (tout ceci ne nécessite que du sable, un projecteur, un serveur), et l’attractivité du concept. Une juste suffisance technologique, si – et seulement si – l’objectif pédagogique ou opérationnel est clairement défini.