Archives de la catégorie ‘Réalité Virtuelle et Augmentée’

offset1

Le biomimétisme est un domaine en plein essor, et nous avons déjà parlé dans ce blog de l’inspiration de la nature dans différents domaines (camouflage, mobilité…). Cette fois-ci, un petit éclairage sur le programme OFFSET de la célèbre DARPA (rappel : Defense Advanced Projects Research Agency).

Là où il y a programme militaire, il y a acronyme et celui-ci (OFFSET, donc) signifie OFFensive Swarm-Enabled Tactics, soit tactiques offensives en essaim. La robotique en essaim, c’est un serpent de mer (pour rester dans la métaphore biologique); depuis les années 1990, de nombreux chercheurs et instituts s’inspirent de la nature et du comportement en essaim des oiseaux et des insectes pour imaginer des modes de travail collaboratifs pour des robots.

offset6

Car un essaim, c’est un système multi-agents en mouvement, un système complexe capable de comportements émergents et adaptés. A la différence d’un système classique (un vecteur, une mission), un essaim semble capable de prendre des décisions complexes et coordonnées dans un environnement non structuré. On parle d’auto-organisation, un processus par lequel de multiples décisions individuelles entraînent un comportement au niveau du groupe.

offset10

Prenons l’exemple d’un essaim d’insectes sociaux (fourmis, criquets…). Chaque individu possède des capacités de mouvement et de préhension limitée, l’ensemble de l’essaim étant quant à lui capable d’édifier des structures complexes. Autre exemple : les poissons ou oiseaux capables d’échapper à des prédateurs en utilisant des tactiques d’évitement tournoyantes complexes, sans que la trajectoire ne soit définie à l’avance, et chaque membre de l’essaim se fondant sur le comportement de ses voisins immédiats.

L’idée de la robotique en essaim, c’est donc de développer des algorithmes adaptés à des centaines ou des milliers de robots simples, chacun disposant de fonctions et de capacités de base et d’une connaissance limitée du monde et de ses voisins, afin de développer un comportement collectif résultant de la combinaison des actions individuelles.

offset5

Dans le programme OFFSET, la DARPA s’intéresse au combat urbain et vise à utiliser des techniques innovantes en essaim pour établir et maintenir une supériorité opérationnelle dans cet environnement. Car l’exploration d’un théâtre d’opérations en zone urbaine est complexe : l’environnement est imprévisible, compliqué (occlusion, multiples chemins, découpage vertical de l’espace). Une stratégie de type essaim permettrait d’avoir un réseau de capteurs distribués et dispersés, une combinaison des effecteurs, et une distance opérationnelle accrue. L’idée dans le programme est d’employer environ 250 éléments autonomes et hétérogènes au sein de l’essaim, dans une zone équivalant à 8 blocs urbains (rappelons que nous sommes aux USA et que leurs villes sont conçues avec Minecraft – juste pour plaisanter), et pour une durée moyenne de mission de 6 heures.

offset7

La logique est présentée dans le schéma ci-dessous : les individus sont munis d’algorithmes de base (ainsi SLAM signifie Simultaneous Location & Mapping, cartographie et localisation simultanées). Des missions de plus haut niveau sont définies (les primitives), et le système multi-agents doit lui montrer l’emploi de tactiques (comme donner l’assaut à un bâtiment).

offset2

Pour ce faire (et comme présenté dans la vidéo ci-après), l’agence cherche à développer un environnement interactif de type jeu vidéo permettant à des opérateurs humains de juger de la pertinence des tactiques de l’essaim observées. En parallèle, la DARPA souhaite disposer d’une plate-forme de test physique permettant d’évaluer les individus autonomes et de définir une architecture de contrôle.

Dans sa forme, le projet est dynamique et itératif et utilise la méthode agile: tous les 6 mois, la DARPA organise un « Sprint » – donc une session de prototypage rapide – sur l’une des thématiques d’intérêt : autonomie de l’essaim, tactiques de l’essaim, interaction essaim/humain, environnement virtuel et plate-forme de test physique.

offset8

En parallèle, l’agence peut décider de déclencher un « sprint » sur une thématique ad hoc, à n’importe quel moment. Le schéma ci-après présente l’organisation du projet.

offset9

Le projet est innovant dans le fond et la forme, même si c’est encore une fois l’alliance de groupes industriels « classiques » qui rafle la mise, la phase 1 du contrat ayant été notifiée à Raytheon BBN Technologies et Northrop Grumman, les acteurs moins classiques se voyant intervenir lors des sprints. Presque innovant, donc…

sounic6

Ce qui est bien quand on tient un blog comme le mien avec la « Black Hat Conference », c’est qu’on est sûr que chaque édition apportera son lot d’innovations, pour nous convaincre que décidément, la sécurité informatique dans notre monde hyperconnecté, ce n’est pas de la tarte.

Rappelons que la Black Hat Conference est un événement annuel créé il y a maintenant vingt ans par Jeff Moss (également fondateur de la conférence DEFCON), et qui rassemble différents « briefings » sous forme de conférences à Las Vegas, Amsterdam, Tokyo et Washington (plus quelques autres événements). Le sujet est celui de la cybersécurité et vise à partager l’état de l’art sur le domaine, et les bonnes pratiques associées. Pour faire simple : c’est la messe annuelle des hackers !

sonic4

Cette fois-ci, l’innovation vient de l’équipe Alibaba Security, le département de sécurité informatique du groupe chinois Alibaba. En partenariat avec la prestigieuse université pékinoise de Tsinghua, l’équipe a présenté une conférence/démo intitulée « Sonic Gun to Smart Devices » et sous-titrée « comment vos appareils peuvent être contrôlés par des sons ou des ultrasons ».

sonic8

L’idée est de montrer que les systèmes embarqués dans une tablette, un smartphone ou un drone, tels que les gyroscopes, accéléromètres ou autres systèmes microélectromécaniques (ce que l’on appelle des MEMS) sont en fait sensibles aux sons ou aux ultrasons. Le principe est en fait simple : il consiste à trouver ce que l’on appelle la fréquence de résonance du système ciblé.

Prenons l’exemple d’un gyroscope ou d’un accéléromètre. Ces systèmes peuvent être comparés avec des systèmes « masses-ressorts » mais à l’échelle microscopique (ce sont souvent des accéléromètres soit capacitifs – ci-dessous, soit piézo-électriques).

sonic3

Ils possèdent une fréquence de résonance qui leur est propre : toute interférence avec celle-ci provoque donc un leurrage de la stabilité du capteur, ce qui amène ce dernier à envoyer des données erronées.

sonic1

C’est donc le principe des attaques menées par l’équipe Alibaba. Les chercheurs ont ainsi utilisé une « arme ultrasonique » (en gros, un système de génération d’ultrasons, réalisés à la main dans leur atelier) permettant de moduler la fréquence des sons afin qu’elle corresponde à la fréquence de résonance du capteur MEMS visé.

Une fois la fréquence de résonance atteinte, le capteur vibre et devient désorienté, car il perd sa référence stable, il envoie donc des valeurs fausse au système qui l’héberge.

sonic2

Une première démonstration assez impressionnante montre ce que l’on peut faire en piratant ainsi un casque de réalité virtuelle Oculus Rift (le sac en papier pour l’infortuné qui porterait le casque n’est pas fourni) – les chercheurs ont montré une attaque analogue sur un HTC Vive ou des lunettes Hololens.

Bon, vous me direz « et alors » ? Alors… il y a pléthore de systèmes qui pourraient être piratés de cette manière. Les auteurs ont ainsi démontré des attaques sur un smartphone (ici le Samsung Galaxy S7)

Sur un drone de type DJI Phantom (ici sur la caméra, mais également sur les hélices)

Ils ont également montré qu’un hoverboard électrique auto-équilibré (en gros une skateboard muni de gyroscopes et capables de se stabiliser tout seul), semblant initialement immunisé, devenait vulnérable si on pratiquait une petite incision sur sa coque (plastique), afin de laisser passer les ultrasons – on peut aussi utiliser des émetteurs ultrasoniques de forte puissance. Et que pendant l’attaque, il oscillait d’avant en arrière – on imagine ce que cela pourrait donner sur la route.

Car potentiellement, une telle attaque serait applicable au piratage d’une voiture connectée – soit par exemple en provoquant le déclenchement intempestif des air bags (non, pas très agréable quand on conduit) soit en destabilisant des véhicules autonomes pour provoquer des accidents. C’est d’autant plus ennuyeux que le matériel nécessaire ne relève pas de la science des particules – le générateur utilisé a coûté aux chercheurs la somme dérisoire de 320$ !

sonic7

Heureusement, les parades sont identifiées : on peut ainsi protéger les MEMS des sons parasites provenant de l’extérieur par des revêtements isolants, utiliser un logiciel de surveillance et de contremesure permettant de détecter puis de contrer tout émission sonore par des mécanismes de réduction active de bruit (en gros on envoie une longueur d’onde opposée – c’est le principe des casques réducteurs de bruit). Mais la meilleure parade réside dans l’utilisation de MEMS de nouvelle génération peu sensibles aux stimuli externes, comme les gyroscopes SD-BAW pour « substrate-decoupled bulk-acoustic wave dont le principe de fonctionnement est décrit dans ce document .

Cette attaque a l’intérêt de mettre en évidence la vulnérabilité des équipements professionnels ou grand public ; on trouvera toujours en effet une faille, un nouveau mode d’attaque, une vulnérabilité exploitable. Il est donc indispensable, en tout cas pour les équipements critiques ou militaires, de considérer l’aspect sécurité, et de ne pas considérer qu’une transposition directe du monde civil au monde professionnel ou militaire doit être la règle…

 

planx3

Oui, je sais, je parle beaucoup des projets DARPA. Mais avec plus de 3 milliards de budget, il n’est pas étonnant que des projets ébouriffants voient le jour régulièrement. Celui-ci concerne la cyberdéfense, et s’appelle PLAN-X. Et il est pour l’instant doté de 125M$/an (depuis 2012).

L’idée est de disposer d’un outil permettant, en temps réel, une navigation dans le cyberespace, une visualisation interactive des données, et l’élaboration de plans graphiques d’opérations. Comme dans les meilleurs films de science-fiction, l’opérateur de PLAN-X peut visualiser les réseaux et, le cas échéant, les intrusions en temps réel.

planx1

L’outil est présenté par la DARPA comme un outil d’unification des systèmes de cyberattaque et de cyberdéfense, sous forme d’une interface facile d’utilisation pour les « hackers militaires américains » (je cite) et a vocation à fournir un partage de la situation tactique (situational awareness) du cyberespace d’opérations. Ouf.

planx4

PLAN-X permet d’explorer des réseaux visuellement, et de déclencher des plans d’opération (envoi d’une sonde, scan d’un réseau, recherche de cibles ou de vulnérabilités, etc…). L’utilisateur est littéralement « projeté » dans le cyberespace, par l’utilisation de techniques de visualisation de données immersives. Il s’agit réellement d’une extension des techniques de cartographie militaire au cyberespace : un opérateur peut ainsi donner une mission de défense d’un « périmètre virtuel clé » : serveurs, routeurs, passerelles, ou toute autre zone sensible du cyberespace. Vous trouverez ci-dessous une vidéo de présentation par le chef de projet de la DARPA Frank Pound assez longue (je vous conseille de regarder la partie démo vers 28 minutes).

Pour construire leur modèle de données, les développeurs de PLAN-X  se sont inspirés du modèle CybOX, un acronyme signifiant « Cyber Observable Expressions », disponible en suivant ce lien. Il s’agit d’un langage structuré permettant de représenter des évènements cyber-observables, par exemple la création d’une clé de registre, le trafic réseau parvenant à une adresse IP donnée, etc… Le système a été notamment développé par la société américaine MITRE. PLAN-X agrège nombre de ces techniques : ainsi des standards pour échanger des informations sur les menaces Cyber comme STIX ou TAXII, ou le langage de programmation visuelle SCRATCH permettant de construire graphiquement des plans d’action.

Le développement de PLAN-X a été confié à quelques géants comme Raytheon BBN et Northrop Grumman, mais de plus petites structures ont également été sollicitées. Ainsi, le système a été adapté à des lunettes de réalité virtuelle de type OCULUS RIFT avec l’aide de deux sociétés : Frog Design et Intific.

planx2

La démonstration permet de se projeter dans l’environnement virtuel du cyberespace en 3 dimensions, et de « tourner » autour des données (l’image ci-dessous, assez déformée, montre ce que voit l’opérateur à travers ses lunettes).

planx5

 Après avoir été testé lors des exercices CyberFLAG et CyberGUARD en juin dernier, le système est annoncé pour une mise en service opérationnelle en 2017. Le premier objectif est de permettre à la Cyber Mission Force (CMF) de conduire des opérations coordonnées dans le cyberespace, via cet outil immersif véritablement impressionnant. Un pas de plus vers un futur à la « Minority Report ».

sferion1

La société Airbus Defense & Space a annoncé avoir conduit une série d’expérimentations à l’aide d’un hélicoptère Bell 206, en vue de démontrer les capacités de son système SFERION d’assistance au pilotage en conditions de visibilité dégradées ou réduites. L’idée est de permettre au pilote de visualiser les informations prioritaires pour sa sécurité, lorsque l’environnement est complexe : météo dégradée, présence d’obstacles (pylônes ou fils électriques, arbres, …), modification rapide de la situation tactique, terrain complexe inconnu… Toutes ces informations sont projetées au pilote sous forme d’indications visuelles en head-up display (affichage tête haute), ou via des écrans dédiés.

sferion4

A la différence des HUD conventionnels, le système superpose des données synthétiques (zone ou ligne de sécurité, exagération de la visualisation des obstacles, …) en temps réel, en cohérence complète avec le terrain.

Pour ce faire, le système SFERION est composé de deux modules : SFERISENSE, qui repose sur un senseur Laser, et permet de détecter dynamiquement les obstacles ou même la nature des zones d’atterrissage possibles (module déjà largement en service), et SFERIASSIST, un module de fusion de données capable de combiner en temps réel l’information reçue du senseur, et les bases de données des zones concernées.

sferion3

Le pilote est ainsi capable de visualiser les indications critiques en temps réel : prochain amer de navigation, obstacles importants, ou même présence d’objets mouvants sur la zone d’atterrissage. Au-delà, le système est envisagé comme cœur technologique pour un futur module de pilotage d’hélicoptère en mode semi-automatique.

Concours

Retour sur le concours d’innovation du SIMDEF 2015 qui s’est déroulé hier et que j’ai eu le grand plaisir d’animer, avec 10 candidats officiels, 9 présents, et trois lauréats de grande qualité.

Le gagnant du concours est la société VOXYGEN, qui a présenté une innovation intitulée « la voix en soutien à la simulation ». La société est une société Française, spin-off d’Orange Labs, spécialisée dans la synthèse vocale naturelle, multi-expressive et multilingue. Voxygen dispose d’un savoir-faire établi en matière de création de voix de synthèse qui lui permet de créer des voix avec très peu de données et avec une maîtrise complète et novatrice de l’expressivité – et je dois dire que la démonstration était impressionnante.

1178

Trois exemples de mise en situation de la technologie dans un contexte de simulation ont été présentés: en premier lieu, et selon la société, « l’immersion de l’apprenant passe par plus de réalisme dans le ton de la voix de l’instructeur virtuel, en adéquation avec le message à faire passer. Une analyse des situations d’apprentissage fait ressortir cinq types de messages : informations didactiques, consignes, alertes, messages d’urgence et encouragements. A chacun de ces messages correspond un ton différent de la voix de synthèse », et une démonstration a été présentée avec une leçon de conduite virtuelle.

La voix est aussi un canal privilégié pour la remontée d’informations, en complément ou en alternative à un affichage. Enfin, la société a présentée des « voix rush » consistant à reproduire la voix d’une personne avec des enregistrements quelconques, non prévus initialement à cet effet, afin de lui faire dire ce que l’on souhaite. Entendre un texte énoncé avec la voix de Jacques Chirac est déjà en soi assez bluffant). Assez amusant : un catalogue de voix dont un extrait est présenté sur le site de la société, et ci-dessous:

simdef1

Bravo donc à Voxygen pour ce prix : la société est visible ici.

En ce qui concerne les 2e et 3e prix :

  • 2e prix : société INGENUITY I/O : environnement de prototypage rapide, là encore assez bluffant, dont vous trouverez une démonstration video sur cette page. La société travaille pour l’ENAC, Airbus, DCNS…
  • 3e prix : projet MADE – et je salue particulièrement l’enthousiasme, l’inventivité et la clarté d’exposition des étudiantes lauréates. Il s’agit d’un « serious fun game » dont le but est de permettre à des managers, chefs d’équipe de faire travailler leurs collaborateurs en vue d’améliorer la gestion d’éléments imprévus, la communication et la gestion des priorités.

simdef2

A noter : ce projet est un projet étudiant réalisé dans le cadre du Master de management de projets innovants en jeu vidéo et applications mobiles (www.master-maje.fr) – une des seules formations du domaine.

Bravo donc à tous les participants, que vous retrouverez sur cette page, et bravo aux lauréats. A l’année prochaine !

ultrahaptic

Dans le monde de la réalité virtuelle, on connaissait déjà les systèmes permettant de fournir des illusions haptiques, telles que la société SENSEG (voir plus bas). Aujourd’hui, c’est la société britannique UltraHaptics qui présente une technologie permettant de créer, à l’aide d’ultrasons, des formes virtuelles tridimensionnelles dans l’air ambiant. Le principe est d’utiliser les ultrasons pour générer des variations de pression donnant à l’utilisateur l’impression qu’il touche une surface ou un objet. Cette technologie, initialement développée par l’Université de Bristol, permet donc d’interagir avec des objets virtuels, de sentir des boutons ou des commandes, ou de fournir un retour d’effort à l’utilisateur. Ultrahaptics a ainsi développé et industrialisé sa solution à partir d’une levée initiale de fonds de 600 000£.

ultrahaptics2

La technologie permet de créer un point de haute pression d’un diamètre minimal de 8,5mm, mais cette forme peut être modifiée pour créer une surface quelconque. Le champ de pression est en effet suffisamment fort pour déplacer très légèrement la peau de l’utilisateur, et lui permettre de ressentir une forme. La vidéo ci-après présente le concept.

Dans le domaine de la simulation, cela permet donc de renforcer l’immersivité d’un utilisateur confronté à un environnement virtuel. Ce n’est pas la première solution de ce type à présenter un tel potentiel. Dans le cas de la solution proposée par exemple par la société SENSEG, s’agit d’utiliser des champs électrostatiques afin de donner l’impression à l’utilisateur qu’il parcourt du doigt des textures différentes. En réalité, l’illusion est générée par la restitution de différents niveaux de friction provoquée par la variation des champs électrostatiques.

En conséquence, l’utilisateur a l’impression qu’il ne touche pas un écran mais bien une surface texturée particulière. De la même manière, la société Elliptic Labs propose une solution d’écholocation des mouvements. Ultrahaptics combine, en quelque sorte, ces deux aspects pour localiser les gestes et donner une illusion haptique. Associée à des modélisations graphiques et/ou sonores, l’impression d’immersion dans un environnement virtuel est fortement renforcée.

Depuis l’essor des masques de réalité virtuelle, Oculus Rift en tête, le marché cherche constamment des solutions permettant de renforcer l’illusion physique, en sus de l’illusion visuelle. Dans le domaine de la préparation opérationnelle et de l’entraînement – soit au maniement d’un système d’armes, soit pour l’entraînement du fantassin débarqué – une telle solution contribuerait à enrichir l’environnement de l’utilisateur, en particulier par le retour de force.

La solution d’UltraHaptics a été présentée et a obtenu un prix au dernier CES de Las Vegas, et les premières applications commerciales devraient être disponibles d’ici un an.

BMK1438_c

Bon, il n’en n’a pas l’apparence, mais le casque d’Iron Man lui permettant de visualiser des informations comme un head-up display – visualisateur tête haute – en superposition de la situation réelle,  existe, et c’est la société BAE qui l’a présenté.

Baptisé Q-Warrior, le système est en réalité un dispositif bas coût qui se fixe sur le casque du fantassin afin de lui fournir des moyens de visualisation avancés. Il permet de réaliser du « blue force tracking » mais également de visualiser des forces hostiles en 3D, et les informations liées à l’énergie électrique des équipements du combattant. L’image ci-après présente plus en détail les différentes fonctionnalités du système.

q-warior_big

L’innovation consiste évidemment dans le concept lui-même, mais également dans la capacité à gérer sans accroc les transitions nuit/jour, ou l’illumination et la visibilité sur le véritable champ de bataille. La video ci-après présente le produit.

Mais au-delà de la performance technologique incontestable, il convient de se poser la question de la dimension opérationnelle du concept : quid de la gêne éventuelle dans les mouvements de la tête ou de l’œil, quid de la « surcharge informationnelle » en cas de stress de combat ? Il faut différencier le contexte du HUD dans le domaine du combat aérien, où le pilote doit assurer sa tâche en environnement contraint mais faisant corps avec sa machine, et le cas du fantassin, exposé, en environnement hostile ouvert, et ne pouvant compter sur d’autres automatismes pour sa survie. L’illustration ci-après est extraite d’un rapport de 1997 que vous pouvez trouver ici.

stress

Elle montre la difficulté à gérer le stress du combattant, en particulier du point de vue du maintien de ses capacités opérationnelles.

Une belle prouesse technologique néanmoins, même si des systèmes analogues ont été développés, notamment par THALES avec TopOwl et le casque SCORPION. A suivre donc, après validation de la pertinence en opérations.