Articles Tagués ‘réalité augmentée’

ukraine1

Si vous vous en souvenez, j’avais déjà parlé de ces projets de blindage « transparent » : l’idée de munir un chef d’engin de lunettes de réalité virtuelle afin de pouvoir disposer d’une vue de ce qui l’entoure, simplement en regardant autour de lui (voir cet article).

L’idée du blindage transparent n’est donc pas nouvelle. Il y a le véritable blindage transparent réalisé à partir de matériaux comme la spinelle (voir également cet article), mais surtout l’idée d’utiliser des dispositifs de réalité virtuelle qui agrègent l’information visuelle ou thermique fournie par les capteurs externes, et permettent au regard du chef de « percer le blindage ». La société Finmeccanica avait d’ailleurs démontré un tel prototype pour un pilote d’hélicoptère lors du salon du Bourget 2013. Et l’armée norvégienne avait réalisé une expérimentation en utilisant le casque de réalité virtuelle Oculus Rift dans le même but (image ci-dessous).

article-2621476-1D9D205400000578-542_634x356

L’idée refait aujourd’hui surface, à la fois stimulée par l’émergence de nouvelles technologies de casques à réalité virtuelle et augmentée, et sous l’impulsion d’opérationnels…ukrainiens. Car une start-up de Kiev, Limpid Armor, vient de remporter une bourse de Microsoft pour développer une technologie de casque à réalité augmentée fondée sur la technologie Hololens.

ukraine3

Un petit mot sur cette technologie dont on parle depuis au moins deux ans. Il s’agit d’une technologie développée par Microsoft de réalité augmentée : des lunettes semi-transparentes, capables d’injecter dans la vision de l’utilisateur des images « holographiques » qui viennent se superposer à la vision de l’environnement de ce dernier. Les lunettes pèsent environ 400g et offrent un champ de vision de 120° par 120°. Mais surtout, avec une qualité de projection d’hologramme 3D assez bluffante. En fait, Hololens est un ordinateur en soi, et permet de percevoir des projections holographiques extrêmement brillantes, même dans un environnement lumineux.

La vidéo institutionnelle de promotion d’Hololens est présentée ci-dessous.

Bon, à la différence de ce que l’on voit dans la démo, le champ visuel est très – trop – réduit. En fait, il conviendrait d’avoir du 180° par 180° pour obtenir une qualité de projection réellement satisfaisante. Cela n’est néanmoins pas un obstacle pour le projet de Limpid Armor. Cette société a donc développé un concept alliant la technologie Hololens avec un réseau de caméras situées à l’extérieur du véhicule. Le système est baptisé CRS pour Circular Review System. Il fusionne les informations des caméras en une image composite, et serait même capable de réaliser du « blue force tracking » en réalité mixte : désigner au chef d’engin les forces alliées en superposant un identifiant sur le terrain réel. L’idée serait également d’aller vers la désignation au chef des cibles ou unités ennemies, directement dans son champ de vision.

ukraine2

L’idée est assez séduisante, même si le concept précédent, utilisant un casque de réalité virtuelle et non mixte (l’Oculus Rift) a très vite montré des limites opérationnelles : fatigue des yeux des opérateurs, surcharge informationnelle, mais surtout angoisse générée par l’impression de « ne pas être protégé », le blindage devenant transparent.

De telles innovations, même si elles paraissent séduisantes pour un technophile, doivent donc toujours être examinées par le prisme opérationnel. En particulier, ce cas d’école montre qu’il est nécessaire et même indispensable de prendre en compte les aspects liés aux facteurs humains, physiologiques comme psychologiques. La technologie ne fait pas tout. En tout cas, tant que les chars seront commandés par des hommes.

davd1

Il s’appelle DAVD mais certains l’appellent déjà DAVID, pour Divers Augmented VIsion Display (système d’affichage en vision augmentée pour plongeurs) et c’est le tout premier dispositif permettant d’afficher des indications en vision augmentée pour des nageurs de combat, pendant leur mission.

On rappelle pour mémoire que la vision augmentée permet de superposer des indications synthétiques dans le champ visuel d’un opérateur ; l’exemple le plus connu est le HUD (affichage tête haute ou head-up display) des pilotes (de chasse comme de transport) permettant de visualiser les informations de pilotage, tactiques ou relatives à l’état de l’avion directement dans leur champ visuel. Avec la miniaturisation des moyens de calcul, et la maturité et la résolution des systèmes de génération d’image, cette technologie tend à se généraliser.

La réalité augmentée, quant à elle, va un cran plus loin, puisqu’il s’agit de superposer ces informations synthétiques en parfaite cohérence avec l’environnement réel de l’opérateur. C’est par exemple le cas dans le domaine en plein essor de la simulation embarquée dynamique, ou des avatars virtuels d’entités sont injectés sur le champ de bataille réel, en cohérence avec les mouvements du terrain. J’avais également mentionné dans cet article les différents projets visant à doter les fantassins de telles capacités (photo ci-dessous).

davd6

Il s’agit donc d’une tendance de fond, comme le montre ce nouveau développement piloté par l’US Navy, en l’occurrence le Naval Surface Warfare Center Panama City Division (NSWC PCD). L’idée ici est de transmettre au plongeur des informations directement dans son champ de vision : informations tactiques, messages, mais également représentation de l’imagerie sonar générée par le bateau situé en surface, au-dessus de lui.

davd4

Pour ce faire, les ingénieurs de l’US Navy ont eu l’idée de construire un casque de plongée intégrant directement un dispositif de réalité augmentée devant les yeux du nageur. Il s’agit de lunettes semi-transparentes capables de restituer à l’utilisateur des informations en haute définition. Le plongeur peut choisir d’activer ou non l’affichage en fonction de la complexité des opérations qu’il doit effectuer. Il peut également choisir de repositionner lui-même les informations dans son champ de vision. Cette fonction a d’ailleurs été mise au point après le retour d’expérience de différents plongeurs ayant testé le système.

davd2

Il s’agit bien de vision augmentée puisque les informations sont « indicatives ». L’étape suivante consistera à munir le plongeur lui-même de microsonars lui permettant de superposer l’imagerie obtenue (de son point de vue) avec le terrain réel – une fonction très utile lorsque l’environnement est obscur et troublé. Il s’agira alors véritablement d’un dispositif de réalité augmentée.

davd3

On pourra également imaginer superposer des informations simulées avec la vision réelle de l’opérateur, pour l’assister par exemple dans des tâches de maintenance sous-marine ou de déminage. Les applications dérivées pour le civil sont évidentes, avec un intérêt marqué pour l’archéologie sous-marine.

Un essai sur le terrain de cette première version est prévu dès le mois d’octobre 2016 avec une vingtaine de plongeurs-testeurs, pour une phase étendue de tests opérationnels en 2017.

ultraviz1

Petit focus sur le programme JFX3 du Ministère de la Défense britannique. Ce programme, conduit notamment par la société SEA (une filiale de Cohort PLC) vise à évaluer les apports de la réalité augmentée (RA) basée sur des COTS (composants commerciaux sur étagère) et des GOTS (idem, mais composants gouvernementaux) dans le domaine de la Défense. Son nom complet est Joint Focus Experimentation 3(JFX3).

En particulier, l’objectif était d’identifier les bénéfices apportés par la RA, et les solutions pouvant être déployées rapidement, à coût modeste, pour les opérations et l’entraînement, en exploitant les récents progrès dans le domaine commercial.

Ce programme a été réalisé en 2 phases :

  • Une première phase d’étude dédiée à analyser le domaine, identifier les concepts et analyser les technologies. Cette première phase a montré que l’évolution du domaine était plus rapide que celle de technologies comparables, facilitée par les applications sur tablettes, smartphones… Elle a identifiée également les barrières possibles pour une utilisation dans le domaine de la défense : gestion des formats, des priorités, interopérabilité, exigences matérielles, etc…)
  • Une deuxième phase, conduite en 2013, était constituée d’une série d’expérimentations terrain permettant une première mise en pratique et une identification des barrières à l’adoption de la RA. Quatre concepts ont été évalués :
  1. La navigation augmentée (infanterie débarquée), de jour comme de nuit,
  2. Les alertes directionnelles / le repérage (infanterie débarquée)
  3. Les alertes de proximité (infanterie débarquée) vis-à-vis de points d’intérêts
  4. La visualisation au travers d’un véhicule (contexte embarqué) : des tablettes fixes ou portables situées dans le véhicule affichent des images d’une caméra à 360° montée sur le véhicule, enrichies d’une couche d’information en RA. Voir à ce sujet mon article sur l’évaluation d’une telle technologie par l’armée norvégienne ici.
  5. Pour les 3 premiers concepts, lorsque cela était applicable, les évaluations portaient sur les RA visuelle (jumelle), audio (tonalités directionnelles et voix de synthèse générées dans un casque) et haptique (ceinture haptique qui stimule le sens du touché par application de forces, de vibration et de mouvements ou des actuateurs posés sur les bras du sujet).

 simulation-gaming

Les résultats ont montré :

  • Que dans le domaine de la navigation, les routes utilisées via un procédé de RA étaient plus pertinentes que les routes déduites par les moyens usuels (de nuit comme de jour, avec un effet plus spectaculaire de nuit)
  • Que dans le domaine des alertes directionnelles, la radio était finalement la technique la plus adaptée
  • Que le « blindage transparent » générait une charge de travail plus grande, mais était très performant en termes de pertinence opérationnelle.

smallarms-simulation

En outre, l’étude (qui s’est intéressé aux contextes Terre et Mer) a identifié quelques barrières à l’adoption de la RA :

  • Concordance : la manière dont les informations en RA sont cohérentes avec le monde réel. Cette étape de calibration est assez simpliste dans le monde des applications grand public. Elle doit être renforcée dans le monde de la défense
  • La technologie coupe le sujet des alertes et signaux atmosphériques et environnementaux qui l’entourent. Dans certains cas (ex opérations des FS) cela est handicapant
  • Immaturité des dispositifs visuels en regard des contraintes militaires
  • Immaturité de l’intégration de la technologie (même si celle-ci est mature) dans un système de systèmes militaires
  • Rythme de l’obsolescence, en comparaison du rythme d’acquisition dans les armées
  • Taille, robustesse, poids, pour le combattant individuel
  • Sécurité des communications et du stockage des informations sensibles.

Ce type de projets est essentiel pour l’évaluation non seulement d’une technologie, mais de sa capacité à remplir un besoin opérationnel. Dans le même ordre d’idées, on pourra citer le projet ULTRA-VIS (Urban Leader Tactical Response, Awareness and Visualization), répondant précisément aux objectifs d’intégration de la réalité augmentée au sein des Forces, en Appui aux Opérations, conduit par la DARPA qui en a publié récemment quelques résultats (voir images ci-dessous, et image de tête de l’article).

ultra2

En l’occurrence, il s’agit d’un nouveau casque de RA permettant au fantassin d’avoir à la fois accès aux informations synthétiques opérationnelles, et de ne pas se couper de son environnement.

DARPA ULTRAVIS

Ce casque est à base de guides d’ondes holographiques.  Nous examinerons bientôt dans ce blog les différentes catégories de lunettes pour la réalité virtuelle et augmentée.

En conclusion, aujourd’hui, la plupart des démonstrations d’utilisation de la réalité augmentée se font dans des environnements parfaitement connus, limités dans l’espace, avec des applications où l’utilisateur n’a pas une entière liberté de mouvement et d’action. Ceci,on peut le comprendre, pour des raisons de maturité et robustesse des technologies employées. Toutefois, les conditions opérationnelles d’utilisation de telles technologies militent pour la conduite d’expérimentations telles que JFX3, qui a le mérite de poser correctement le problème de la pertinence de l’emploi futur dans un contexte opérationnel exigeant.

 

 

article-2621476-1D9D205400000578-542_634x356

…c’est l’expérience réalisée par l’armée norvégienne dans une expérimentation fondée sur l’utilisation du casque de réalité virtuelle Oculus Rift. L’idée est d’équiper le char de plusieurs caméras lenticulaires installées sur le pourtour. Via un serveur, ces caméras sont reliées à un casque Oculus Rift qui permet, en fonction de l’orientation de la tête de l’utilisateur, de composer une image synthétique de l’environnement du char en utilisant les caméras de la zone concernée. Un logiciel de réalité augmentée développé par la société Augmenti permet de réaliser la superposition avec les indications de guidage, celles relatives au système d’armes et aux cibles.

article-2621476-1D9D205000000578-50_634x286

Le blindage devient ainsi « transparent » et permet ainsi d’avoir une vision à 360 degrés autour du véhicule. Le film (sous titré en anglais) est visible ici

L’idée n’est pas nouvelle: au salon du Bourget 2013, Finmeccanica avait dévoilé un concept analogue pour voir au travers du plancher d’un hélicoptère de combat. Ce qui a changé, c’est le coût d’une telle solution, rendu abordable par le recours à des équipements de réalité virtuelle grand public.

article-2621476-1D9D205800000578-308_634x347

Dans tous les cas, le concept doit être soigneusement étudié, car le recours à une image synthétique fatigue considérablement l’oeil de l’utilisateur – des tests d’acceptance sont en cours. Une telle technologie pourrait être opérationnelle avant quatre ans.

ares4

Tout le monde connait aujourd’hui le concept de Réalité Augmentée (RA). Il consiste à compléter les signaux perçus dans le monde réel (visuels, haptiques…) par des informations synthétiques qui lui sont superposées. La RA a déjà pris considérablement dans le grand public, et cela fait de nombreuses années que son potentiel dans la défense est examiné. Nous parlerons bientôt dans un prochain post du projet JFX3 anglais visant à examiner l’intérêt de la RA sur le champ de bataille.

Mais pour l’instant, voici ARES (Augmented Reality Sandtable) une petite innovation présentée lors du dernier salon de la simulation IITSEC à Orlando, en décembre. Il s’agit d’un projet interne de l’US Army, développé à partir de produits COTS (produits commerciaux sur étagères), en particulier le capteur de mouvements Microsoft Kinect.

ares3

Le principe est celui d’une caisse à sable interactive : une vraie caisse, contenant du vrai sable, couplée à une Kinect, à un vidéoprojecteur, et à un serveur. Lorsque l’utilisateur modifie le paysage de sable, les modifications sont captées par le système, qui peut, en retour, fournir de nouvelles informations à l’utilisateur. Ainsi, le système permet la numérisation automatique de l’altimétrie du terrain créé des mains mêmes de l’utilisateur.

are2  ares1

Ainsi, les courbes de niveau sont automatiquement déduites et mises à jour (projetées sur le sable), permettant instantanément d’apprécier un dénivelé, une ligne de crête, etc…  Connectée à un serveur de simulation (type OneSAF, simulation aujourd’hui largement employée dans l’US Army malgré son côté un peu simpliste), cette application permet d’imaginer les positions amies et ennemies, de positionner des entités virtuelles sur le terrain (qui peuvent d’ailleurs être matérialisées par des « pions » physiques, d’en déduire les intervisibilités mutuelles, et d’élaborer une idée de manœuvre, avant de la tester en simulation. Assez bluffant, je dois dire. On peut également simuler un écoulement de fluide et regarder quelles sont les zones affectées.

Vous pouvez voir le système en action ici:

Alors la grande question : à quoi cela sert-il ? Je ne suis pas un fan de la technologie pour la technologie, et aujourd’hui, le système n’existe qu’à l’état de prototype (2 caisses, qui sont d’ailleurs connectées et intéropérables à distance via Internet). Il semble illusoire de vouloir utiliser un tel système en opérations même s’il présente quelques attraits en termes de préparation de mission et l’US Army elle-même n’était pas fixée encore sur le concept d’emploi final. A moins de miniaturiser le concept sur un smartphone ou un picoprojecteur pour pouvoir l’utiliser en tous lieux, un tel système ne peut aujourd’hui fonctionner sur un théâtre d’opérations.

En revanche, et à mon avis, ARES pourrait être avantageusement utilisé en formation, afin de sensibiliser des élèves à la cartographie et l’analyse du terrain. En complément de l’analyse de cartes traditionnelles, je vois bien une telle caisse à sable trôner à Saint-Cyr : à cet égard, le compromis coût (assez faible)-efficacité semble largement favorable.

Ce démonstrateur technologique mêle trois caractéristiques qui semblent essentielles : la simplicité (de conception et d’utilisation), l’économie (tout ceci ne nécessite que du sable, un projecteur, un serveur), et l’attractivité du concept. Une juste suffisance technologique, si – et seulement si – l’objectif pédagogique ou opérationnel est clairement défini.