Articles Tagués ‘EEG’

Interfaces neurales – suite : le contrôle / commande par la pensée

Publié: 28 février 2015 dans Aéronautique, Informatique et IA, Non classé, Réalité Virtuelle et Augmentée
Tags:, , , ,
1

thoughthelmet

Allez, un article un peu plus long : c’est le week-end!

Nous avions évoqué dans cet article l’essor des interfaces permettant de capturer, débruiter et interpréter les ondes cérébrales d’un sujet. En soi, c’est déjà un problème complexe. En effet, plusieurs techniques existent : celles se fondant sur l’activité EEG de l’utilisateur au cours du temps (exemple: rythmes EEG), qui ne nécessitent pas de stimulus externe et celles se fondant sur la mesure des potentiels évoqués (ou Evoked Response Potential, ERP), qui requièrent la présence d’un stimulus précisément daté.

Capturer les signaux

Dans tous les cas, il ne s’agit pas d’une « simple » analyse, comme si l’on lisait directement le cerveau de l’utilisateur. La subtilité consiste, à partir d’un état « brut » capturé via des casques du commerce, d’utiliser des techniques d’analyse de données et d’apprentissage machine afin d’en extraire un « état cérébral » pouvant être utilisé pour surveiller le fonctionnement du cerveau ou déclencher une interaction entre l’homme et la machine. Dans ce domaine, la France est en avance, avec notamment l’INRIA qui a développé la plate-forme open source OPEN VIBE, qui permet de réaliser cet enchaînement de traitements complexes :  capture, prétraitement & filtrage du signal (souvent bruité, en particulier si des électrodes sont placées sur les muscles faciaux, extraction des caractéristiques des signaux, classification.

J’en profite pour mentionner la brillante PME MENSIA Technologies, start-up issue de l’INRIA et du projet ANR OPENVIBE, installée à Rennes et à Paris, et qui a développé plusieurs logiciels commerciaux autour des briques technologiques OPENVIBE. MENSIA TECHNOLOGIES mène en outre plusieurs projets dans le domaine du monitoring et de l’entraînement cérébral basé sur la neurologie quantitative temps réel. Voici ci-dessous une démonstration des outils développés et industrialisés par MENSIA :

Emettre des commandes

Lorsqu’à cette chaîne de traitement (capture=>classification) on ajoute une étape de traduction, on obtient ce que les anglo-saxons appellent « thought controlled computing » : le contrôle commande d’un ordinateur par la pensée. Le résultat est impressionnant, qu’il s’agisse d’un simple « contrôle de l’environnement » à des fins ludiques :

Ou d’un contrôle commande pouvant par exemple pallier un handicap, en permettant d’envoyer des informations de déplacement à un fauteuil, par la pensée :

A quoi cela sert-il dans notre domaine ?

Applications pour la défense

Nous avons déjà évoqué l’utilisation de l’analyse des signaux EEG pour des utilisateurs de simulation. Les modèles et techniques d’analyse pour caractériser l’état cognitif permettent une interprétation automatique de l’état de l’apprenant (stressé, concentré, surchargé d’information,etc…) moyennant une calibration de quelques minutes. Le monitoring au sein du simulateur de l’état cognitif au sens large et de la charge mentale de l’apprenant en particulier, permet ainsi d’envisager une optimisation des processus de formation et d’entraînement, pour une meilleure interaction subséquente des opérateurs avec leur environnement. Le feedback rapporté au formateur pilotant le scénario de formation permettra d’enrichir les outils à disposition pour évaluer les potentialités opérationnelles, ainsi qu’à la possibilité d’amélioration de l’ergonomie des interfaces utilisateurs pour une meilleure efficience du couple opérateur-système.

Au delà de la simulation, en termes de perspectives, la mise en œuvre d’outils de mesure de l’état cognitif dans un simulateur est un premier pas vers la conception de cockpits totalement adaptée au traitement cérébral de l’information. En ce sens, le programme pourra être adapté aux IBEOS (illustrateurs de besoin opérationnel) tels que le simulateur SISPEO mis en service au sein de la DGA (Techniques Terrestres/SDT/IS/S2I, sur le site de Bourges).

Mais dans le domaine du contrôle  commande, des expérimentations sont par ailleurs en cours pour intégrer ces  dispositifs dans des contextes opérationnels : la plus récente à notre connaissance concerne le pilotage d’avion sur un vol complet – pour l’instant dans un simulateur -, atterrissage et décollage inclus :

cockpit

On peut également mentionner le pilotage de drones, la commande neurale permettant de se consacrer à des tâches tactiques complexes en laissant le pilotage de bas niveau à la charge du drone. D’une manière générale, ce type de technologies est adapté au contrôle commande de robots semi-autonomes, et de nombreuses expérimentations sont à l’étude dans ce domaine.

Vers la « télépathie opérationnelle »?

Enfin, la DARPA américaine travaille sur un projet dit « Silent Talk » permettant d’utiliser les IHM neurales… pour faire de la communication de cerveau à cerveau silencieuse sur le théâtre d’opérations. Ce petit projet (financé à hauteur de 4MUSD) est avant tout un projet… de mathématiques. Caractériser, filtrer, isoler et interpréter les signaux pertinents d’un combattant sur le champ de bataille est, d’après le Dr Elmar Schmeisser de l’US Army, un problème mathématique « cruel » qui pourrait mobiliser les équipes de recherche pour 20 ans. L’US Army travaille néanmoins sur le projet d’un « thought helmet » permettant d’ores et déjà de capturer l’état mental du soldat.

Pourquoi le DHS a peur des drones, et du cerveau de leurs pilotes

Publié: 26 février 2015 dans Aéronautique
Tags:, , , , , ,
0

dhs_drone-660x495

Pendant que les affaires sur les survols intempestifs de drones dans des zones urbaines se multiplient (avec notamment aujourd’hui l’arrestation de trois journalistes d’Al Djazeera en train de manipuler un drone dans le bois de Boulogne), le Department of Homeland Security américain a tenu une conférence « ouverte à tous sauf à la presse »( !)  à Arlington, sur les dangers sécuritaires afférents à la multiplication des drones low cost.

A grand renfort de films montrant des drones de loisir équipés d’armes automatiques, ou encore l’attaque victorieuse ( !!) d’un convoi de blindés par des drones armés (pour un montant de moins de 5000$), l’évènement a aussi présenté des modifications de drones en tant qu’engins volants explosifs improvisés, des « flying IEDs ». Vous auriez pu lire le CR détaillé de la conférence sur le site de Daniel Herbert, qui a posté la photo en tête d’article, présentant un drone phantom de DJI, marque chinoise très populaire, avec une charge utile d’1,5 Kg d’explosifs.Mais le DHS lui a gentiment demandé de tout enlever…

De nombreux organismes réfléchissent à la manière technologique de limiter ou de contrôler ces vols de drones. Une des actions envisagées est le « geofencing », consistant à instaurer des zones de non-vol de drones directement en tant que coordonnées GPS dans le firmware de l’appareil. Evidemment, tout ceci suscite une levée de boucliers des pilotes amateurs au nom de la liberté individuelle… (amusant : la première zone que DJI a instaurée en geofencing était la place Tian An Men, sans que personne n’y trouve rien à redire). Nul doute que bientôt, les premières modifications permettant de contrôler le firmware d’un drone ou de l’altérer seront disponibles sur Internet (après tout, il est aujourd’hui possible de modifier le logiciel de votre voiture, bien que cela soit illégal).

La question est donc de savoir si d’autres technologies, externes aux constructeurs, pourront être utilisées pour exercer un contrôle – par les forces de l’ordre, notamment – sur les drones intempestifs. Un rayon laser (comme une version réduite du LaWS américain, dont nous parlerons plus tard) a même été évoqué sérieusement, tout comme les moyens de brouillage directionnel.  Mais aujourd’hui, on pense que la majorité des drones survolant des villes la nuit effectuent un circuit GPS, donc sans besoin d’un lien permanent avec le pilote.

Tout ceci intervient au moment où une start-up portugaise, la société TEKEVER, a montré qu’un pilote équipé d’un casque d’électro-encéphalographie, pouvait contrôler un drone par la pensée.

pilote

Dans l’esprit de TEKEVER, il s’agit de permettre au pilote de se concentrer sur des tâches tactiques complexes, tout en laissant les mécanismes basiques de vol à la charge du drone lui-même. Il reste à espérer qu’un cerveau de terroriste n’est pas à la hauteur de la tâche…

Focus sur les interfaces neurales

Publié: 24 février 2015 dans Informatique et IA
Tags:, , , , , , , ,
0

frbanner13

(Cet article fera l’objet de plusieurs posts). Les interfaces neurales, vous connaissez ? Loin d’être de la science fiction, il s’agit de pouvoir capturer, traiter et utiliser les informations fournies par vos ondes cérébrales, en temps réel.

Le concept n’est pas nouveau. Depuis très longtemps, à des fins thérapeutiques, ou simplement de recherche académique, de très nombreux dispositifs ont été imaginés afin de capturer les ondes  cérébrales. Toutefois, depuis ces cinq dernières années, on assiste à une explosion du domaine, liée à la fois à la mise en place sur le marché de systèmes « grand public » et à l’apparition de technologies de capture et de traitement dont le coût n’a plus rien à voir avec ce qui était pratiqué jusqu’alors.

L’apparition sur le marché de dispositifs EEG extrêmement légers, faciles d’installation (sans gel de contact) et d’utilisation suscite des travaux originaux : au-delà des célèbres et inutiles oreilles de chat pilotées par ondes alpha (produit Necomimi présenté à la Japan Expo de 2011 par la société japonaise Neurowear), on a vu apparaître ici et là des dispositifs destinés aux joueurs, ou organisateurs d’évènements. Citons par exemple INTERAXON, dont la charismatique CEO Ariel Garten n’hésite pas à payer de sa personne (sic) pour démontrer le potentiel de sa technologie.

En France, le projet ANR OpenViBE 2, a démontré en janvier 2013 que les technologies dites « BCI » (Brain Computer Interface ou Interfaces Cerveau Ordinateur) avaient atteint une maturité suffisante pour être intégrés dans des environnements virtuels commerciaux – nous y reviendrons. Citons également les dispositifs d’EMOTIV (casques de capture low cost) ou de NEUROSKY. Le système BodyWave dont j’ai repris plus haut la publicité, de la société Freer Logic propose de capter les ondes cérébrales sur les bras et les jambes de l’utilisateur.

interaxon section1-epoc

A quoi tout cela sert-il dans le domaine qui est le nôtre ? Au-delà des clichés de science-fiction, l’alliance de l’analyse de l’activité EEG (électroencéphalographique) et l’utilisation des techniques de machine learning (apprentissage automatique) permet aujourd’hui de fournir des informations en temps réel sur l’état cognitif d’un utilisateur, notamment sur son état de vigilance et sa charge mentale. Nous développerons les différentes utilisations dans différents articles, mais j’ai choisi de commencer par deux cas d’utilisation emblématiques.

En premier lieu, la société BrainWave science a développé une technologie de « brain fingerprinting », permettant, en présence d’un suspect, de savoir avec « un taux de succès supérieur à 99% » si ledit suspect a connaissance d’un crime, ou d’un aspect particulier d’un crime. Beaucoup de questions se posent : est-il possible d’utiliser une telle preuve au tribunal ? Sur quoi se fonde le taux de caractérisation ?, etc…  Entre nous, le site Internet fait un peu froid dans le dos, mais je n’ai pas encore recoupé ni analysé les informations pour connaitre le bien-fondé scientifique de la technologie de BWS. A suivre, donc.

Une utilisation bien plus directe se trouve être dans le champ d’activité qui m’occupe depuis de nombreuses années : la simulation. Le principe consiste à équiper de casques légers les opérateurs d’une simulation. Ces casques comportent des capteurs destinés à enregistrer les ondes cérébrales. Il s’agit de casques extrêmement légers pouvant être en particulier portés sous un casque de combat ou de pilotage, et doté d’émetteurs WIFI permettant une liaison avec une station de recueil des signaux.

Lorsque la simulation est lancée, les ondes cérébrales de chacun des opérateurs sont enregistrées par le système. Il s’agit en particulier de mesurer le degré de concentration, le degré de surcharge éventuelle (information overload) vis-à-vis des informations présentées, éventuellement le degré de stress. Bien évidemment ces différentes mesures peuvent être corrélées, et complétées par d’autres indicateurs vitaux (tension artérielle, rythme cardiaque, etc.…).

Il s’agit ensuite de mettre en corrélation les différents événements survenus dans la simulation et les mesures effectuées. Ce faisant, on arrive d’une part à analyser lors d’une séance de re-jeu ou d’analyse après action le comportement des différents opérateurs confrontés à un scénario.et d’autre part, in fine (cela relève encore de la recherche) à adapter le scénario de simulation en fonction de l’état de l’opérateur.

Une telle démonstration avait été présentée lors du salon IITSEC 2012, par une société californienne baptisée Advanced Brain Monitoring (ABM), société initialement spécialisée dans la recherche sur le système nerveux et la psychophysiologie.

ABM2

Un tel feed-back cognitif s’avère utile dans trois contextes :

  • en situation d’apprentissage, pour adapter individuellement la progression des scénarios,
  • en analyse après action (débriefing), pour affiner l’évaluation des progrès du sujet,
  • en situation d’action, pour contrôler le risque de stress cognitif individuel en mission collective.

Nous examinerons dans de futurs articles le potentiel de cette technologie, à la fois sous ses aspects captures, évoqués ici, et sous l’angle du contrôle-commande (thought-controlled computing).