Archives de la catégorie ‘Réalité Virtuelle et Augmentée’

sounic6

Ce qui est bien quand on tient un blog comme le mien avec la « Black Hat Conference », c’est qu’on est sûr que chaque édition apportera son lot d’innovations, pour nous convaincre que décidément, la sécurité informatique dans notre monde hyperconnecté, ce n’est pas de la tarte.

Rappelons que la Black Hat Conference est un événement annuel créé il y a maintenant vingt ans par Jeff Moss (également fondateur de la conférence DEFCON), et qui rassemble différents « briefings » sous forme de conférences à Las Vegas, Amsterdam, Tokyo et Washington (plus quelques autres événements). Le sujet est celui de la cybersécurité et vise à partager l’état de l’art sur le domaine, et les bonnes pratiques associées. Pour faire simple : c’est la messe annuelle des hackers !

sonic4

Cette fois-ci, l’innovation vient de l’équipe Alibaba Security, le département de sécurité informatique du groupe chinois Alibaba. En partenariat avec la prestigieuse université pékinoise de Tsinghua, l’équipe a présenté une conférence/démo intitulée « Sonic Gun to Smart Devices » et sous-titrée « comment vos appareils peuvent être contrôlés par des sons ou des ultrasons ».

sonic8

L’idée est de montrer que les systèmes embarqués dans une tablette, un smartphone ou un drone, tels que les gyroscopes, accéléromètres ou autres systèmes microélectromécaniques (ce que l’on appelle des MEMS) sont en fait sensibles aux sons ou aux ultrasons. Le principe est en fait simple : il consiste à trouver ce que l’on appelle la fréquence de résonance du système ciblé.

Prenons l’exemple d’un gyroscope ou d’un accéléromètre. Ces systèmes peuvent être comparés avec des systèmes « masses-ressorts » mais à l’échelle microscopique (ce sont souvent des accéléromètres soit capacitifs – ci-dessous, soit piézo-électriques).

sonic3

Ils possèdent une fréquence de résonance qui leur est propre : toute interférence avec celle-ci provoque donc un leurrage de la stabilité du capteur, ce qui amène ce dernier à envoyer des données erronées.

sonic1

C’est donc le principe des attaques menées par l’équipe Alibaba. Les chercheurs ont ainsi utilisé une « arme ultrasonique » (en gros, un système de génération d’ultrasons, réalisés à la main dans leur atelier) permettant de moduler la fréquence des sons afin qu’elle corresponde à la fréquence de résonance du capteur MEMS visé.

Une fois la fréquence de résonance atteinte, le capteur vibre et devient désorienté, car il perd sa référence stable, il envoie donc des valeurs fausse au système qui l’héberge.

sonic2

Une première démonstration assez impressionnante montre ce que l’on peut faire en piratant ainsi un casque de réalité virtuelle Oculus Rift (le sac en papier pour l’infortuné qui porterait le casque n’est pas fourni) – les chercheurs ont montré une attaque analogue sur un HTC Vive ou des lunettes Hololens.

Bon, vous me direz « et alors » ? Alors… il y a pléthore de systèmes qui pourraient être piratés de cette manière. Les auteurs ont ainsi démontré des attaques sur un smartphone (ici le Samsung Galaxy S7)

Sur un drone de type DJI Phantom (ici sur la caméra, mais également sur les hélices)

Ils ont également montré qu’un hoverboard électrique auto-équilibré (en gros une skateboard muni de gyroscopes et capables de se stabiliser tout seul), semblant initialement immunisé, devenait vulnérable si on pratiquait une petite incision sur sa coque (plastique), afin de laisser passer les ultrasons – on peut aussi utiliser des émetteurs ultrasoniques de forte puissance. Et que pendant l’attaque, il oscillait d’avant en arrière – on imagine ce que cela pourrait donner sur la route.

Car potentiellement, une telle attaque serait applicable au piratage d’une voiture connectée – soit par exemple en provoquant le déclenchement intempestif des air bags (non, pas très agréable quand on conduit) soit en destabilisant des véhicules autonomes pour provoquer des accidents. C’est d’autant plus ennuyeux que le matériel nécessaire ne relève pas de la science des particules – le générateur utilisé a coûté aux chercheurs la somme dérisoire de 320$ !

sonic7

Heureusement, les parades sont identifiées : on peut ainsi protéger les MEMS des sons parasites provenant de l’extérieur par des revêtements isolants, utiliser un logiciel de surveillance et de contremesure permettant de détecter puis de contrer tout émission sonore par des mécanismes de réduction active de bruit (en gros on envoie une longueur d’onde opposée – c’est le principe des casques réducteurs de bruit). Mais la meilleure parade réside dans l’utilisation de MEMS de nouvelle génération peu sensibles aux stimuli externes, comme les gyroscopes SD-BAW pour « substrate-decoupled bulk-acoustic wave dont le principe de fonctionnement est décrit dans ce document .

Cette attaque a l’intérêt de mettre en évidence la vulnérabilité des équipements professionnels ou grand public ; on trouvera toujours en effet une faille, un nouveau mode d’attaque, une vulnérabilité exploitable. Il est donc indispensable, en tout cas pour les équipements critiques ou militaires, de considérer l’aspect sécurité, et de ne pas considérer qu’une transposition directe du monde civil au monde professionnel ou militaire doit être la règle…

 

planx3

Oui, je sais, je parle beaucoup des projets DARPA. Mais avec plus de 3 milliards de budget, il n’est pas étonnant que des projets ébouriffants voient le jour régulièrement. Celui-ci concerne la cyberdéfense, et s’appelle PLAN-X. Et il est pour l’instant doté de 125M$/an (depuis 2012).

L’idée est de disposer d’un outil permettant, en temps réel, une navigation dans le cyberespace, une visualisation interactive des données, et l’élaboration de plans graphiques d’opérations. Comme dans les meilleurs films de science-fiction, l’opérateur de PLAN-X peut visualiser les réseaux et, le cas échéant, les intrusions en temps réel.

planx1

L’outil est présenté par la DARPA comme un outil d’unification des systèmes de cyberattaque et de cyberdéfense, sous forme d’une interface facile d’utilisation pour les « hackers militaires américains » (je cite) et a vocation à fournir un partage de la situation tactique (situational awareness) du cyberespace d’opérations. Ouf.

planx4

PLAN-X permet d’explorer des réseaux visuellement, et de déclencher des plans d’opération (envoi d’une sonde, scan d’un réseau, recherche de cibles ou de vulnérabilités, etc…). L’utilisateur est littéralement « projeté » dans le cyberespace, par l’utilisation de techniques de visualisation de données immersives. Il s’agit réellement d’une extension des techniques de cartographie militaire au cyberespace : un opérateur peut ainsi donner une mission de défense d’un « périmètre virtuel clé » : serveurs, routeurs, passerelles, ou toute autre zone sensible du cyberespace. Vous trouverez ci-dessous une vidéo de présentation par le chef de projet de la DARPA Frank Pound assez longue (je vous conseille de regarder la partie démo vers 28 minutes).

Pour construire leur modèle de données, les développeurs de PLAN-X  se sont inspirés du modèle CybOX, un acronyme signifiant « Cyber Observable Expressions », disponible en suivant ce lien. Il s’agit d’un langage structuré permettant de représenter des évènements cyber-observables, par exemple la création d’une clé de registre, le trafic réseau parvenant à une adresse IP donnée, etc… Le système a été notamment développé par la société américaine MITRE. PLAN-X agrège nombre de ces techniques : ainsi des standards pour échanger des informations sur les menaces Cyber comme STIX ou TAXII, ou le langage de programmation visuelle SCRATCH permettant de construire graphiquement des plans d’action.

Le développement de PLAN-X a été confié à quelques géants comme Raytheon BBN et Northrop Grumman, mais de plus petites structures ont également été sollicitées. Ainsi, le système a été adapté à des lunettes de réalité virtuelle de type OCULUS RIFT avec l’aide de deux sociétés : Frog Design et Intific.

planx2

La démonstration permet de se projeter dans l’environnement virtuel du cyberespace en 3 dimensions, et de « tourner » autour des données (l’image ci-dessous, assez déformée, montre ce que voit l’opérateur à travers ses lunettes).

planx5

 Après avoir été testé lors des exercices CyberFLAG et CyberGUARD en juin dernier, le système est annoncé pour une mise en service opérationnelle en 2017. Le premier objectif est de permettre à la Cyber Mission Force (CMF) de conduire des opérations coordonnées dans le cyberespace, via cet outil immersif véritablement impressionnant. Un pas de plus vers un futur à la « Minority Report ».

sferion1

La société Airbus Defense & Space a annoncé avoir conduit une série d’expérimentations à l’aide d’un hélicoptère Bell 206, en vue de démontrer les capacités de son système SFERION d’assistance au pilotage en conditions de visibilité dégradées ou réduites. L’idée est de permettre au pilote de visualiser les informations prioritaires pour sa sécurité, lorsque l’environnement est complexe : météo dégradée, présence d’obstacles (pylônes ou fils électriques, arbres, …), modification rapide de la situation tactique, terrain complexe inconnu… Toutes ces informations sont projetées au pilote sous forme d’indications visuelles en head-up display (affichage tête haute), ou via des écrans dédiés.

sferion4

A la différence des HUD conventionnels, le système superpose des données synthétiques (zone ou ligne de sécurité, exagération de la visualisation des obstacles, …) en temps réel, en cohérence complète avec le terrain.

Pour ce faire, le système SFERION est composé de deux modules : SFERISENSE, qui repose sur un senseur Laser, et permet de détecter dynamiquement les obstacles ou même la nature des zones d’atterrissage possibles (module déjà largement en service), et SFERIASSIST, un module de fusion de données capable de combiner en temps réel l’information reçue du senseur, et les bases de données des zones concernées.

sferion3

Le pilote est ainsi capable de visualiser les indications critiques en temps réel : prochain amer de navigation, obstacles importants, ou même présence d’objets mouvants sur la zone d’atterrissage. Au-delà, le système est envisagé comme cœur technologique pour un futur module de pilotage d’hélicoptère en mode semi-automatique.

Concours

Retour sur le concours d’innovation du SIMDEF 2015 qui s’est déroulé hier et que j’ai eu le grand plaisir d’animer, avec 10 candidats officiels, 9 présents, et trois lauréats de grande qualité.

Le gagnant du concours est la société VOXYGEN, qui a présenté une innovation intitulée « la voix en soutien à la simulation ». La société est une société Française, spin-off d’Orange Labs, spécialisée dans la synthèse vocale naturelle, multi-expressive et multilingue. Voxygen dispose d’un savoir-faire établi en matière de création de voix de synthèse qui lui permet de créer des voix avec très peu de données et avec une maîtrise complète et novatrice de l’expressivité – et je dois dire que la démonstration était impressionnante.

1178

Trois exemples de mise en situation de la technologie dans un contexte de simulation ont été présentés: en premier lieu, et selon la société, « l’immersion de l’apprenant passe par plus de réalisme dans le ton de la voix de l’instructeur virtuel, en adéquation avec le message à faire passer. Une analyse des situations d’apprentissage fait ressortir cinq types de messages : informations didactiques, consignes, alertes, messages d’urgence et encouragements. A chacun de ces messages correspond un ton différent de la voix de synthèse », et une démonstration a été présentée avec une leçon de conduite virtuelle.

La voix est aussi un canal privilégié pour la remontée d’informations, en complément ou en alternative à un affichage. Enfin, la société a présentée des « voix rush » consistant à reproduire la voix d’une personne avec des enregistrements quelconques, non prévus initialement à cet effet, afin de lui faire dire ce que l’on souhaite. Entendre un texte énoncé avec la voix de Jacques Chirac est déjà en soi assez bluffant). Assez amusant : un catalogue de voix dont un extrait est présenté sur le site de la société, et ci-dessous:

simdef1

Bravo donc à Voxygen pour ce prix : la société est visible ici.

En ce qui concerne les 2e et 3e prix :

  • 2e prix : société INGENUITY I/O : environnement de prototypage rapide, là encore assez bluffant, dont vous trouverez une démonstration video sur cette page. La société travaille pour l’ENAC, Airbus, DCNS…
  • 3e prix : projet MADE – et je salue particulièrement l’enthousiasme, l’inventivité et la clarté d’exposition des étudiantes lauréates. Il s’agit d’un « serious fun game » dont le but est de permettre à des managers, chefs d’équipe de faire travailler leurs collaborateurs en vue d’améliorer la gestion d’éléments imprévus, la communication et la gestion des priorités.

simdef2

A noter : ce projet est un projet étudiant réalisé dans le cadre du Master de management de projets innovants en jeu vidéo et applications mobiles (www.master-maje.fr) – une des seules formations du domaine.

Bravo donc à tous les participants, que vous retrouverez sur cette page, et bravo aux lauréats. A l’année prochaine !

ultrahaptic

Dans le monde de la réalité virtuelle, on connaissait déjà les systèmes permettant de fournir des illusions haptiques, telles que la société SENSEG (voir plus bas). Aujourd’hui, c’est la société britannique UltraHaptics qui présente une technologie permettant de créer, à l’aide d’ultrasons, des formes virtuelles tridimensionnelles dans l’air ambiant. Le principe est d’utiliser les ultrasons pour générer des variations de pression donnant à l’utilisateur l’impression qu’il touche une surface ou un objet. Cette technologie, initialement développée par l’Université de Bristol, permet donc d’interagir avec des objets virtuels, de sentir des boutons ou des commandes, ou de fournir un retour d’effort à l’utilisateur. Ultrahaptics a ainsi développé et industrialisé sa solution à partir d’une levée initiale de fonds de 600 000£.

ultrahaptics2

La technologie permet de créer un point de haute pression d’un diamètre minimal de 8,5mm, mais cette forme peut être modifiée pour créer une surface quelconque. Le champ de pression est en effet suffisamment fort pour déplacer très légèrement la peau de l’utilisateur, et lui permettre de ressentir une forme. La vidéo ci-après présente le concept.

Dans le domaine de la simulation, cela permet donc de renforcer l’immersivité d’un utilisateur confronté à un environnement virtuel. Ce n’est pas la première solution de ce type à présenter un tel potentiel. Dans le cas de la solution proposée par exemple par la société SENSEG, s’agit d’utiliser des champs électrostatiques afin de donner l’impression à l’utilisateur qu’il parcourt du doigt des textures différentes. En réalité, l’illusion est générée par la restitution de différents niveaux de friction provoquée par la variation des champs électrostatiques.

En conséquence, l’utilisateur a l’impression qu’il ne touche pas un écran mais bien une surface texturée particulière. De la même manière, la société Elliptic Labs propose une solution d’écholocation des mouvements. Ultrahaptics combine, en quelque sorte, ces deux aspects pour localiser les gestes et donner une illusion haptique. Associée à des modélisations graphiques et/ou sonores, l’impression d’immersion dans un environnement virtuel est fortement renforcée.

Depuis l’essor des masques de réalité virtuelle, Oculus Rift en tête, le marché cherche constamment des solutions permettant de renforcer l’illusion physique, en sus de l’illusion visuelle. Dans le domaine de la préparation opérationnelle et de l’entraînement – soit au maniement d’un système d’armes, soit pour l’entraînement du fantassin débarqué – une telle solution contribuerait à enrichir l’environnement de l’utilisateur, en particulier par le retour de force.

La solution d’UltraHaptics a été présentée et a obtenu un prix au dernier CES de Las Vegas, et les premières applications commerciales devraient être disponibles d’ici un an.

BMK1438_c

Bon, il n’en n’a pas l’apparence, mais le casque d’Iron Man lui permettant de visualiser des informations comme un head-up display – visualisateur tête haute – en superposition de la situation réelle,  existe, et c’est la société BAE qui l’a présenté.

Baptisé Q-Warrior, le système est en réalité un dispositif bas coût qui se fixe sur le casque du fantassin afin de lui fournir des moyens de visualisation avancés. Il permet de réaliser du « blue force tracking » mais également de visualiser des forces hostiles en 3D, et les informations liées à l’énergie électrique des équipements du combattant. L’image ci-après présente plus en détail les différentes fonctionnalités du système.

q-warior_big

L’innovation consiste évidemment dans le concept lui-même, mais également dans la capacité à gérer sans accroc les transitions nuit/jour, ou l’illumination et la visibilité sur le véritable champ de bataille. La video ci-après présente le produit.

Mais au-delà de la performance technologique incontestable, il convient de se poser la question de la dimension opérationnelle du concept : quid de la gêne éventuelle dans les mouvements de la tête ou de l’œil, quid de la « surcharge informationnelle » en cas de stress de combat ? Il faut différencier le contexte du HUD dans le domaine du combat aérien, où le pilote doit assurer sa tâche en environnement contraint mais faisant corps avec sa machine, et le cas du fantassin, exposé, en environnement hostile ouvert, et ne pouvant compter sur d’autres automatismes pour sa survie. L’illustration ci-après est extraite d’un rapport de 1997 que vous pouvez trouver ici.

stress

Elle montre la difficulté à gérer le stress du combattant, en particulier du point de vue du maintien de ses capacités opérationnelles.

Une belle prouesse technologique néanmoins, même si des systèmes analogues ont été développés, notamment par THALES avec TopOwl et le casque SCORPION. A suivre donc, après validation de la pertinence en opérations.

bv4

J’avais déjà écrit un article sur JFX3, le programme sur la réalité augmentée conduit par nos amis britanniques. Aujourd’hui, focus sur un programme Français ayant pour but de fournir une visualisation immersive et interactive de l’espace de bataille numérisé, et qui a fait l’objet de démonstrations remarquées lors d’Eurosatory et d’Euronaval : Battlespace Vista, développées par THALES (TCS, TRT et TRS).

Cela fait longtemps que THALES réfléchit sur la meilleure manière d’appréhender l’espace de bataille moderne, qui regroupe les champs physiques de mer, terre, air et espace, avec le champ immatériel de l’information. En effet, la  numérisation de cet espace repose sur l’intégration des réseaux de communications tactiques (liaisons de données, messageries sur réseaux H/V/UHF) et des systèmes d’information opérationnels communicants. Si cette numérisation produit de puissants multiplicateurs de forces, elle appelle également de nouveaux modes de visualisation simplifiée d’une situation complexe intégrant terrain, forces, matériels, connectivité radio et empreinte capteurs, pour tirer le meilleur parti des opérations infovalorisées.

Ce n’est pas un problème trivial (mais la phrase précédente le laissait présager J). Il s’agit de passer d’une tenue de situation à une véritable compréhension de la situation, et ce sans surcharger la vision du chef, ni complexifier inutilement sa perception des opérations en cours. Autrement dit, ne pas faire « de la technologie pour la technologie ».

A cet égard, la démonstration capacitaire Battlespace Vista s’est révélée particulièrement illustrative, lors d’Eurosatory et d’Euronaval, en 2014. A l’occasion d’Eurosatory, THALES a présenté une démonstration fondée sur le scenario d’une mission d’appui rapproché numérisé au profit d’un SGTIA en Afghanistan. Il s’agissait d’une démonstration immersive, mêlant représentation innovante de l’espace de bataille, et manipulation en réalité immersive. Le résultat était impressionnant – même si l’on peut, à mon sens, améliorer la technologie d’immersivité utilisée. Mais cela n’était qu’une démonstration.

Battlespace Vista Eurosatory 2014

Ce qui m’a personnellement frappé, c’est la facilité pour un utilisateur de se placer au point de vue du chef en utilisant cette interface (lunettes 3D actives, joystick permettant de se positionner dans « l’espace informationnel »).

SAMSUNG CAMERA PICTURES

Au-delà, cette démonstration, positionnée en conduite des opérations au niveau d’un « Tactical Operations Center » et ses appuis interarmées interalliés, a permis d’illustrer trois constats.

  1. En premier lieu, l’intégration air-sol aux niveaux interarmées, interarmes et interalliés est aujourd’hui une réalité de l’appui-feu numérisé : gestion partagée de la 3D entre artillerie (chaînes ATLAS, MARTHA..) et hélicoptères, avions ou drones, avec par exemple la définition de zones de tir réservées, partage de situation tactique air-sol et le suivi de forces amies entre moyens air,terre et forces spéciales, ou encore la faculté d’attribuer des cibles sans crainte de tir fratricide en minimisant les risques de dégâts collatéraux.
  2. La capacité spatiale se déploie au niveau opératif et devient essentielle à la conduite des opérations sur l’espace de bataille numérisé: elle permet la navigation, le positionnement, et la datation (navigation et frappes de précision),grâce au système Galileo et ses récepteurs embarqués, la tenue de situation spatiale consolidée (avec information des forces), l’observation (spatiocartes et systèmes d’information embarqués, analyse de site et évaluation des frappes), grâce à des stations de géographie ou d’imagerie déployées, et évidemment, l’intégration des télécommunications (mobilité, connectivité, qualité de service), grâce notamment aux systèmes Syracuse 3 (bande X) et Athena-Fidus (bande Ka), avec leurs terminaux fixes ou mobiles (VENUS).
  3. La numérisation des véhicules de combat et leur intégration en réseau autour de systèmes de missions est une nouvelle capacité des GTIA numérisés : elle permet d’insérer l’action du GTIA dans ses appuis interarmes et interarmées, synchroniser la manœuvre et les effets, procéder à une allocation des rôles et des cibles avant et pendant l’engagement, capacité d’autoprotection : alerte immédiate et déclenchement automatisée de contre-mesures.

bv1

Une belle démonstration donc, et une expertise française incontestée dans ce domaine, qui devrait porter les couleurs de notre pays lors de l’exercice Bold Quest cette année (Bold Quest est un exercice interallié et interarmées d’expérimentation dans les missions d’identification, de coordination des feux, d’appui aérien et de cyber défense).