Archives de la catégorie ‘Informatique et IA’

face7

Oui, le sujet de ce post est assez énigmatique. Depuis quelques semaines, je multiplie les articles sur l’IA et ses applications militaires ou de sécurité, pour coller à l’actualité. Aujourd’hui, voici deux exemples assez concrets (voire un peu inquiétants) qui touchent au « deep learning » et dont les applications sont véritablement impressionnantes.

Reconnaître des visages dans le noir

face1

La reconnaissance faciale est l’une des technologies les plus connues et les plus immédiates du « deep learning ». Au passage, je me permets un petit rappel, tout le monde n’étant pas spécialiste de l’intelligence artificielle. Le deep learning est un sous-ensemble des techniques d’apprentissage machine à base de réseaux de neurones – le principe est de décomposer de manière hiérarchique le contenu d’une donnée complexe comme de la voix ou une image pour la classifier ensuite.

neuralnetworks

Le terme de deep learning a été inventé par Yann le Cun, actuel directeur du laboratoire d’IA de Facebook en France, pour « booster » sa recherche de fonds dans le domaine des réseaux de neurones qui était alors tombé en déshérence. Au-delà, il regroupe aujourd’hui nombre de techniques d’apprentissage à base de réseaux de neurones profonds, qui ne s’appuient pas sur des règles établies par avance. C’est, au passage, un problème : comme le souligne le rapport Villani, le deep learning est une « boite noire », car on se trouve dans l’incapacité de décrire de façon intelligible le résultat produit sur chaque nouveau cas, et en particulier à pointer les caractéristiques les plus importantes du cas en question ayant conduit au résultat produit.

face2

En l’occurrence, ces techniques sont très efficaces par exemple pour reconnaître des visages : à la fois en raison de la disponibilité d’images pour réaliser l’apprentissage, et de par le développement considérable des capacités de calcul (GPGPU par exemple), des sous-types de réseaux de neurones profonds comme les DCN (deep convolutional neural networks – je ne rentre pas dans le détail) sont capables de reconnaître des visages avec des performances proches de l’humain (voir par exemple le projet DeepFace).

face3

Mais cela, dans le spectre visible. Dans l’obscurité, on traite les images infrarouge, et cela pose un problème car les taux de reconnaissance chutent alors de façon drastique. La nuit, ou même dans certains cas où l’illumination n’est pas suffisante, les techniques de reconnaissance biométrique par réseaux de neurones ne peuvent plus fonctionner, sauf à utiliser une lampe torche, ce qui manque évidemment d’une certaine discrétion. La raison est simple : les visages à reconnaître en infrarouge doivent être combinés à une image provenant d’une base de données qui, elle, a été créée en lumière visible. Comme on le voit sur l’image ci-dessous, la comparaison est difficile.

face4

Pour surmonter ce problème, des chercheurs du ARL (US Army Research Laboratory) et de la firme Booz Allen Hamilton ont imaginé utiliser les réseaux de neurones afin de synthétiser à partir d’une image infrarouge, un visage en lumière visible qui, lui, pourra être comparé aux bases de données normales. Pour ce faire, ils utilisent une double technique : une régression non linéaire à l’aide de réseaux DCN pour extraire des caractéristiques de l’image thermique et construire une première représentation du visage, puis une synthèse et une optimisation des gradients permettant de projeter cette représentation dans le domaine visible – voir le processus ci-dessous et se reporter à l’article suivant qui donne tous les détails .

face10.jpg.png

Le résultat est spectaculaire : l’image synthétisée correspondant au visage non visible en thermique plus haut, est cette fois-ci beaucoup plus proche de sa représentation dans la base de données, ce qui permet une identification par des techniques de biométrie elles-mêmes fondées sur l’utilisation de réseaux de neurones.

face5

Et cela fonctionne très bien: lors de la conférence, les chercheurs ont ainsi utilisé une caméra thermique FLIR Boson 320 avec un portable permettant de faire tourner la démonstration en quasi temps-réel.

Mais les apports du deep learning ne s’arrêtent pas là…

Simuler un visage… et l’animer

Regardez cette vidéo. Non mais regardez-la vraiment….et jusqu’au bout.

 

Ce n’est donc pas Barack Obama qui parle, mais une combinaison d’une captation de son visage et d’un algorithme permettant de remplacer le mouvement de ses lèvres par un mouvement synthétique. Le résultat : on peut lui faire dire n’importe quoi, et je vous défie de le détecter. Impressionnant, et effrayant. Merci à mon fils qui m’a permis d’identifier et d’étudier cette vidéo.

C’est ce que l’on appelle un « deep fake » : un montage extrêmement réaliste permettant de simuler de manière photoréaliste, et grâce à l’IA, une vidéo plus vraie que nature. L’origine de ces fausses vidéos ? Un développeur opérant sur Reddit, sous le pseudonyme de « deepfakes », qui a adapté des techniques de deep learning en source ouverte, afin de substituer un visage de synthèse à un visage réel. Depuis (et après pas mal d’applications dans la pornographie, je vous laisse imaginer) la technique est devenue accessible à tous. L’exemple de Barack Obama montre ce qui est possible de faire, lorsque l’on est un tant soit peu professionnel.

face8

L’idée est de rassembler le plus d’images possibles de la cible (c’est pourquoi généralement les deep fakes s’attaquent à des personnalités publiques, dont les images circulent en grand nombre sur Internet). L’imposture consiste ensuite à apprendre (par deep learning) les traits caractéristiques de la cible – en l’occurrence le mouvement des lèvres – et à les remplacer par une image de synthèse commandée en temps réel par le « marionnettiste » (un individu dont on capte les mouvements des lèvres qui sont ensuite projetés sur les mouvements des lèvres de la cible).

Le souci c’est que l’on croit tout ce qui est sur Internet (la preuve dans mon article du 1er avril largement relayé, ce qui me fait encore rire) et que l’on croit encore plus ce que l’on voit. Ces techniques, qui relevaient il y a un an du projet scientifique, sont aujourd’hui démocratisées et accessibles. Le diagnostic est donc immédiat et fait peur : on ne peut plus croire ce que l’on voit. Reste donc à imaginer des algorithmes permettant, en identifiant les subtiles différences, à détecter l’imposture, et à discriminer le « deep fake » du vrai. Mais si cela reste possible pour les spécialistes et les scientifiques, il sera toujours facile pour un grand nombre d’entre nous de prendre l’image pour la réalité. Une nouvelle ère s’annonce donc, dans le domaine de la propagande et des manipulations psychologiques, une ère dans laquelle la prudence voire la méfiance s’imposent. Et cela, ce n’est pas drôle…

menga2

Cette semaine, rencontre avec l’un de mes amis, David Menga, que certains d’entre vous connaissent sûrement. David est expert dans l’Internet des Objets, l’IA et blockchain appliqués à la smart home, au smart building et à la smart grid.

Dans la vie, il est chercheur à l’EDF Lab et coordinateur technologique du pôle de compétitivité Normand TES (Transactions Electroniques Sécurisées). Il a co-édité avec Nobuo Saito, professeur émérite de l’Université Keio au Japon, un livre intitulé « Ecological Design of Smart Home Networks, Social Impact and Sustainability ». Bref, un chercheur, un curieux insatiable, et un homme de vision notamment dans le domaine de l’Intelligence Artificielle dont nous allons bien évidemment parler. Petite interview entre amis:

David, tu es chercheur à l’EDF Lab. Bon, aujourd’hui toutes les institutions et tous les grands industriels ont leur lab. Alors c’est quoi, l’EDF Lab – un lab de plus ou un précurseur?

EDFlab est le plus grand centre industriel de recherche et formation en Europe. Son rôle est de préparer l’avenir du groupe EDF, à la croisée des mutations numériques et énergétiques.

saclay

Quelles sont tes thématiques et sujets de prédilection ?

Je travaille beaucoup sur les nouveaux relais de croissance pour la branche commerce d’EDF, comment aller au-delà de la vente simple d’électrons et offrir des services à valeur ajoutée à nos clients. Cela signifie trouver des positionnements pertinents pour EDF dans un monde numérique massivement connecté et en pleine transition énergétique vers des systèmes de production décentralisées et renouvelables. Je travaille concrètement sur la digitalisation des tableaux électriques, la transformation des supports d’éclairage en plateformes de services, et la mise en œuvre de coachs énergétiques à travers des intelligences artificielles capables de raisonner et de dialoguer avec un utilisateur en argumentant.

Alors pour les lecteurs de ce blog, tout ceci ne parle pas encore d’innovation de défense, mais bien évidemment, les technologies sont connexes – tu as d’ailleurs participé au projet SOFLAB organisé par le Cercle de l’Arbalète. Allons donc dans le dur – dans ce blog, j’ai beaucoup parlé à la fois des « games changers » comme l’hypervélocité, l’IA et le big data, le quantique (au sens large)… et des pays qui se dotent massivement de moyens pour participer à cette course à la technologie. En particulier la Chine. Quelle est ta perception de la « géostratégie » des ruptures technologiques dans le domaine ? Et d’ailleurs, vois tu d’autres ruptures que celles que j’ai citées ?

Je vois particulièrement des ruptures dans l’univers de la biologie et de la chimie quantique.

J’entrevois l’évolution des usines chimiques actuelles en usines bactériennes programmables capables de produire à la demande les matériaux indispensables à notre civilisation moderne, offrant les mêmes qualités d’usage et biodégradables.
J’entrevois la possibilité grâce au ordinateurs quantiques, de fabriquer à la demande de nouveaux matériaux répondant à des cahiers des charges précis. Ce serait une évolution majeure de l’imprimante 3D.

Plus généralement, je pense que nous allons basculer dans l’ère post silicium, celle du carbone dont on redécouvrira les bienfaits une fois capturé et domestiqué à des coûts acceptables.  En particulier, je pense que l’électronique au graphène et aux nanotubes de carbone va se développer dans la prochaine décennie.

La conséquence de tous ces progrès sera une révolution dans l’énergie, la manière dont on la produit (panneaux solaires au rendements proches de 50 % , turbines au CO2 , éoliennes silencieuses et performantes ) , la manière dont on la distribue ( câbles supraconducteurs, réseau intelligent tolérant aux pannes, courant continu ) et enfin la manière dont on la consomme. Les réseaux énergie sans fil vont se développer avec la mobilité électrique.

La santé est aussi un secteur à fort potentiel d’évolution, avec les progrès de la médecine personnalisée, prédictive, préventive et régénérative. La génomique et l’épigénétique sont au cœur de cette révolution. Enfin, j’entrevois de nouveaux modèles économiques où le consommateur est au centre de la proposition de valeur grâce à la blockchain.

Pour l’instant, toutes ces transformations sont tirées par la Chine et les Etats Unis. L’Europe place ses efforts dans la règlementation et l’éthique, certes nécessaires mais non producteurs de richesses.

De la même manière, on assiste à la consolidation des acteurs privés de la technologie – les GAFA (Google, Apple, Facebook, Amazon) mais pas seulement. Quelle est ta vision de l’évolution du paysage, et qu’anticipes-tu comme impact dans le domaine de la défense et de la sécurité ?

Je pense que les grandes entreprises GAFA et BATX (note : BATX = Baidu, Alibaba, Tencent et Xiaomi) vont prendre de plus d’importance dans les états où ils opèrent. L’affaire Cambridge Analytica montre les dérives d’un système sans contrôle, avec la manipulation à large échelle de l’opinion, ce qui pose des problèmes de sécurité nationale.

menga4

De plus, leur maîtrise de l’IA les rendra indispensables pour construire des systèmes de défense efficaces, comme le montre l’utilisation de l’outil Tensorflow de Google par les militaires américains. (Note: voir mon dernier article sur le projet MAVEN)

Parlons d’IA. La mission Villani vient de s’achever et le président a présenté le rapport il y a deux semaines lors d’une « grande messe de l’IA » au Collège de France (une première dans le domaine). En premier lieu, que penses-tu de ce rapport et des préconisations qui y sont présentées ?

Le rapport Villani pose un bon diagnostic sur l’importance de l’IA dans la société, mais apporte des réponses trop sectorielles, trop limitées. Plus de recherche en deep learning, plus de données en mode ouvert, plus de puissance de calcul disponible pour les scientifiques, cela ne constitue pas une réponse industrielle au retard colossal de la France en la matière.  Cela renforce la vassalisation de notre recherche aux intérêts des géants de l’Internet, GAFA ou BATX.

1109237-le-depute-mathematicien-cedric-villani-lrem-lors-d-une-intervention-sur-l-intelligence-artificielle-

D’ailleurs, le jour même, Google comme Samsung annonçaient la création d’un centre de recherche IA en France. Matière grise en France, subventionnée par le contribuable et profits à l’étranger, renforçant notre déficit commercial.

En un mot, le rapport Villani est un « plan calcul du deep learning ». Nous connaissons tous la suite.

C’est sévère. Alors pour rester compétitive dans ce domaine, que doit faire la France, notamment dans le domaine du hardware (et de l’open hardware) ?

La France doit investir massivement dans l’IA post deep learning, l’IA prévisionnelle, capable de raisonner et de planifier dans un univers incertain, avec des informations parcimonieuses et incomplètes. Une IA capable d’apprendre à partir de ses expériences sensorielles et de ses interactions avec les humains, intégrable dans des systèmes embarqués à basse consommation, autant qu’une lampe LED. Bref, une IA capable de s’adapter à des contextes variables en milieu ouvert.

Cela requiert de nouveaux hardwares à inventer, une nouvelle architecture post Von Neumann, couplant données et traitements et d’immenses facultés de parallélisation des tâches. Et bien sûr , une nouvelle façon de concevoir des algorithmes et de les implémenter. Le cerveau fournit un bon modèle qu’il s’agira de comprendre et de dépasser. L’Open Hardware, comme le RISCV , doit être au cœur de ce programme ambitieux car il ne s’agit pas de réinventer la poudre. Inspirons nous du programme Celerity de la DARPA.

La France doit mettre l’IA au cœur de ses formations qualifiantes, pour habituer les étudiants à mieux collaborer avec elles. Il s’agit d’offrir aux étudiants des « Legos » IA programmables et composables, le tout avec de l’open hardware et de l’open source. Il importe de créer une industrie des machines outils de l’IA, des IAs capables de fabriquer d’autres IAs plus spécialisées à partir de composants open source ou pas.

menga3

Pensez à une IA de conception de circuits électroniques comme celle de Thingtype
couplée à une imprimante 3D de PCB comme celle de Nanodimension plus une IA de génération de logiciel. Il s’agit de construire des produits/services intégrant directement de l’IA et répondant à un cahier des charges précis. En un mot, la France doit maîtriser les outils pour bâtir ce que j’appelle « l’atmosphère IA», c’est dire des IAs massivement intégrées dans notre société.

Enfin, Elon Musk a dit « le meilleur moyen de se faire une petite fortune dans le domaine spatial, c’est de commencer avec une grosse ». Si tu avais aujourd’hui de l’argent pour financer des projets innovants, et je parle là du domaine de la défense et de la sécurité au sens large, que penserais tu financer ?

En toute cohérence, j’investirais massivement dans ces fameuses « machines-outils IA » permettant de produire des IA embarquées à vocation militaire, capables de remplir soit des missions de renseignement dans des drones miniatures de type libellule, soit des missions d’attaque en essaims avec des armes infrasoniques.

maven1

Après mon dernier poisson d’avril (oui, c’en était un et il a mieux fonctionné que je ne le pensais), je reprends le fil des « véritables » nouvelles (je rappelle que le premier avril est le seul jour où les internautes sont supposés vérifier une information avant de la croire – sic).

En l’occurrence, une nouvelle qui commence à faire du bruit, et qui a déclenché l’ire des employés de Google ; le géant du net, désormais l’un des pionniers du « deep learning », fournit sa technologie au Pentagone, notamment pour réaliser l’analyse d’images prises par des drones ou des satellites.

Cela fait un certain temps qu’on le rappelle : l’intelligence artificielle est aujourd’hui tirée par le marché civil, et en particulier le grand public. Les investissements se poursuivent et même s’amplifient dans des sociétés proposant des technologies d’apprentissage machine ou d’intelligence artificielle. Dernière en date, la « licorne » chinoise SenseTime qui vient d’annoncer avoir procédé à une levée de fonds de 600 M$, pour une valorisation de la société à 4.5 milliards (oui, milliards) de dollars… Nul doute d’ailleurs que le vaste programme d’espionnage des citoyens chinois – digne du meilleur épisode à mon sens de la série Black Mirror (« the fall ») –  a contribué à valoriser les programmes de reconnaissance faciale et d’analyse d’images.

maven9

L’avance de sociétés comme Facebook, Apple ou Google dans le domaine de l’IA n’est plus à prouver. C’est donc naturellement que le Pentagone s’est tourné vers Google quand il a réalisé qu’il ne pourrait traiter manuellement le torrent d’informations (images et vidéos) déversé par les drones militaires.

Le programme s’appelle donc Maven, et est réalisé depuis 2017 par une équipe mixte (Google et le DoD américain) baptisée AWCFT pour Algorithmic Warfare Cross-Functional Team. En 2017, Greg Allen et Taniel Chan avaient publié ce rapport dont je vous conseille la lecture – le même Greg Allen a récemment déclaré que si le ministère de la défense américain a bien financé de manière importante le développement de nouveaux capteurs image pour les drones aériens, il a en revanche un peu négligé les outils d’analyse nécessaires afin de donner du sens aux données recueillies.

Pour mieux en juger, voici quelques chiffres : l’armée américaine s’est équipée de 11 000 drones aériens (!). Chacun de ces drones génère un déluge de données images (au total, l’équivalent de 37 années de vidéo)…et 99% de ces données ne sont analysées par personne. En France, le général Ferlet, commandant la Direction du Renseignement Militaire, a également évoqué le sujet sur Europe 1 en décembre dernier: « Il y a une explosion exponentielle des données à traiter. Mais je ne suis pas naïf, je n’aurais pas une augmentation exponentielle des moyens humains pour traiter ces données. Il faudra donc trouver d’autres moyens, basés sur l’intelligence artificielle. Ce sera ma priorité numéro une dans les années à venir ».

maven5

Retour donc au projet Maven. Son premier objectif : utiliser l’IA et l’apprentissage machine pour détecter et identifier des objets (véhicules…) dans les vidéos transmises par les drones. En tout, dans cette première phase du projet, 38 catégories d’objets ciblés ont été définies. Pour ce faire, du logiciel bien sûr, mais pas seulement. A priori, Google fournirait des API Tensorflow aux équipes du ministère.

maven6

Rappelons que Tensorflow, développé par Google, est un outil open source de référence dans le domaine de l’apprentissage machine – éventuellement, la société pourrait fournir également du hardware, en l’espèce, des circuits Tensor (circuit intégré développé par Alphabet/Google spécifiquement pour l’IA).

maven7

L’idée est d’accélérer au maximum le projet Maven, un projet déjà tendu puisque six mois après son lancement, l’été dernier, le projet était supposé déjà opérationnel (en particulier dans la lutte contre le terrorisme en Irak et en Syrie).

Bon, le projet Maven ne plait pas à tous ; des milliers d’employés de Google ont ainsi signé une pétition demandant à l’entreprise de mettre fin à sa collaboration avec le Pentagone. A cela, certains rétorquent que justement, l’objectif de Maven était d’éviter des frappes mal ciblées, et des dégâts collatéraux en optimisant l’efficacité des drones. Gonflé.

maven3

Mais les risques de dérive sont réels. S’il s’agit de classer des images pour présenter ensuite à des analystes humains les plus susceptibles de fournir des informations tactiques, alors il faut être certain (1) que le système ne peut pas être piraté (car on peut « orienter » l’apprentissage) et d’ailleurs (2) qu’il n’y a pas de biais natifs dans la base d’apprentissage.

Revenons sur le « hacking » des systèmes d’IA ; c’est par exemple ce que l’on appelle aujourd’hui des « BadNets » : des réseaux de neurones dont la base d’apprentissage a été volontairement altérée pour introduire des signaux destinés à permettre à un hacker de modifier la réponse du système dans certaines conditions. Ainsi, à titre d’illustration, en utilisant des micro-modifications de pixels, un hacker peut permettre à un système de détection faciale de laisser passer les images de terroristes sans lever d’alarme. Je vous conseille par exemple la lecture de cet article qui démontre comment on peut arriver à faire en sorte qu’un réseau de neurones dont l’apprentissage a été altéré puisse dans certaines conditions prendre un panneau Stop pour un panneau de limitation de vitesse (je vous laisse imaginer les conséquences pour un véhicule autonome).

maven2

Au-delà, cette méthode (utiliser un partenariat avec l’industrie privée pour accélérer le tempo de développement d’une application de défense) illustre bien la philosophie prédominante aujourd’hui : en l’occurrence, c’est la structure DIUX (Defense Information Unit Experimental) située au cœur de la Silicon Valley qui est chargée d’identifier et d’organiser les transferts possibles.

cool

Une approche qui pourrait fonctionner en France (c’est en tout cas dans la lignée des annonces réalisées autour de l’innovation de défense par la Ministre des armées) – à condition toutefois de mettre en place des dispositifs permettant à l’Etat d’acheter très rapidement des solutions commerciales, pour expérimentation immédiate. Une approche novatrice qui, je le pense, est indispensable pour aller au-delà des intentions, et capturer l’innovation de manière optimale. Faute de quoi, il sera difficile d’établir de véritables passerelles entre ces deux mondes qui aujourd’hui, au-delà des réticences « philosophiques » qu’il ne m’appartient pas de commenter, se côtoient sans véritablement s’intégrer.

game4

Je suis d’accord, les articles sur les solutions anti-drones fleurissent sans doute un peu trop sur Internet, ainsi d’ailleurs que sur ce blog. J’ai donc tendance à lever le pied sur ce type de sujets – mais pour le coup, l’approche que je vous propose de décrire ici est intéressante. Car plutôt que de détecter la présence d’un drone, il s’agit de savoir si celui-ci vous observe ou non.

Pour ce faire, les chercheurs de la prestigieuse université Ben Gurion à Beer Sheva ont développé une approche originale visant à comprendre ce que le drone observe. La méthode est ingénieuse et repose sur l’analyse du signal radio de transmission des données à la station de contrôle.

game5

La technique repose sur ce que l’on appelle les « delta frames », une technologie utilisée dans le domaine du streaming vidéo. Pour expliquer simplement le principe, il suffit de comprendre que dans une vidéo, généralement seul un petit pourcentage des pixels diffère entre deux images successives. Evidemment, cela dépend de la complexité et de la dynamique de la vidéo, mais il est plus avantageux, en termes de compression, de ne transmettre que les différences entre images successives en lieu et place des images brutes. Donc si l’on simplifie, si je regarde une maison ou une fenêtre et que je souhaite transmettre l’information, il n’y aura qu’un très petit nombre de pixels qui changera entre deux frames successives.

Le delta framing utilise donc cette approche, en transmettant dans le flux vidéo des P-Frames ou des B-Frames (les premières dites prédictives ne contiennent que les changements par rapport aux frames précédentes, les secondes dites bidirectionnelles sont des P-Frames qui contiennent aussi des informations sur la frame suivante).

game2

Si l’on intercepte le flux radio de transmission des données par un dispositif assez simple (ci-dessus), on peut tenter de comprendre la nature de l’image, en regardant uniquement l’enchaînement des delta frames. L’idée est d’identifier des « patterns » dans l’enchaînement des frames en provoquant un stimulus artificiel qui sera observé et donc transmis par le drone.

game3

Dans l’expérience, les chercheurs utilisent un « smart film », en gros un film transparent qui devient opaque lorsqu’il reçoit une stimulation électrique. En faisant clignoter la fenêtre munie du smart film, les chercheurs génèrent un pattern clignotant reconnaissable dans le streaming vidéo, qui permet de déterminer que le drone effectivement observe la maison.

game1

Là où c’est extrêmement malin, c’est que le système est totalement indépendant de la nature des frames, et donc fonctionne même en présence de trames cryptées. Au passage, l’équipe de Ben Gurion comprend le célèbre professeur Adi Shamir, l’un des inventeurs du système de cryptage RSA.

L’expérience est visible ici (et s’appelle « Game of Drones ») – elle permet de bien comprendre le dispositif :

On voit clairement que le streaming video change de nature selon un pattern donné, lorsque le stimulus est présenté. Alors certains peuvent dire que cela ne fonctionnerait pas en réalité car le pattern serait visible, ou que le drone bougerait trop… En réalité, on peut imaginer une grande variété de dispositifs de « watermarking » qui pourraient exploiter les delta frames, sans que l’observateur ne s’en rende compte (par exemple en générant des variations subtiles dans des longueurs d’onde peu visibles). Evidemment, si le drone capture les images sans les transmettre, l’approche ne fonctionne pas ; c’est l’une des limites du système.

En tout cas l’idée est véritablement innovante, et pourrait constituer la base d’une nouvelle génération de systèmes de détection (sans doute peu onéreux) applicables à des installations sensibles.

Pour les lecteurs intéressés, vous trouverez l’article ici 

spot3

Sans doute vous souvenez vous de « Big Dog », robot emblématique de la société américaine Boston Dynamics, supposé assister les fantassins lors de leurs déplacements ? Big Dog fut l’incarnation de cette nouvelle génération de robotique militaire, permettant aux combattants de disposer d’une « mule » robotisée capable de les suivre sur n’importe quel terrain. Son successeur, baptisé AlphaDog ou LS3 (legged squad support system) avait ainsi fait l’objet d’une expérimentation grandeur nature dans le cadre des exercices Pacific Rim, par les US Marines.

spot6

Je l’avais écrit dans cet article, après un programme d’évaluation de 32 millions de $, l’armée américaine avait finalement renoncé au projet, en particulier parce que l’engin, muni d’un moteur thermique, était particulièrement bruyant et donc inadapté aux opérations.

La société Boston Dynamics a ensuite connu plusieurs péripéties (en annonçant renoncer aux robots militaires, puis non, puis si, puis….non). La DARPA a en effet poursuivi son soutien, et ce mois-ci un nouveau robot baptisé Spot Mini a été dévoilé, et ce n’est rien de le dire, il est impressionnant.

Sa technologie d’abord : le Spot Mini (petit frère du Spot, donc) est un robot quadrupède léger (une trentaine de kilos lorsqu’il dispose de son bras articulé). Ce poids lui permet d’être un robot « tout-électrique », disposant d’une autonomie non négligeable de 90 minutes. Et comme il est électrique, il est particulièrement discret.

spot4

Il peut être muni d’un bras articulé préhensile à cinq degrés de liberté lui permettant de capturer des objets, et dispose d’une suite de capteurs assez avancée (caméra stéréo, centrale inertielle, potentiellement caméra IR…), ce qui en fait un engin assez intéressant, notamment pour évoluer discrètement en environnement urbain.

Là où cela devient carrément bluffant, c’est dans la vidéo ci-dessous.

On voit un SpotMini buter devant une porte fermée… et attendre qu’un autre robot, possédant le bras articulé, lui ouvre la porte. Difficile de savoir avec cette seule vidéo si la communication et le comportement collaboratif ont été explicitement codés. Il faut toujours se méfier des apparences, et le comportement observé pourrait simplement s’expliquer par le fait que le robot muni du bras a continué à explorer son environnement, et que l’ouverture de la porte a simplement été exploitée par opportunisme par le premier robot.

Néanmoins, cela permet d’observer un couplage intéressant entre deux robots potentiellement utilisables en environnement hostile, et qui cette fois-ci répondent à l’impératif de discrétion que Big Dog était incapable de respecter.

Bon, le souci c’est évidemment l’anthropomorphisme, et je ne donne pas plus de quelques jours pour que des articles fassent le lien entre Spot Mini, et les robots « tueurs » comme le robot présenté dans l’épisode « Metalhead » (ci-dessous)  de l’excellente série Black Mirror (que je vous recommande très chaudement).

spot1

Au passage, j’ai reçu le nouveau livre de Brice Erbland, officier pilote de l’ALAT et auteur de l’essai « dans les griffes du Tigre : récits d’un officier pilote d’hélicoptère de combat en Afghanistan et en Libye » – que je conseille également – qui s’intéresse aux robots tueurs avec ce titre accrocheur : « Robots tueurs : que seront les soldats de demain ? ». J’en ferai le commentaire dans un prochain article.

spot2

Revenons au Spot Mini ; il s’agit donc d’un concept intéressant, impressionnant si véritablement le comportement collaboratif a été volontairement implémenté.

spot5

En revanche, le concept d’emploi devra être étudié. Ses capacités d’emport semblant limitées, l’utilisation qui semble la plus immédiate est aujourd’hui la patrouille et la protection de sites ou de périmètres, ou la reconnaissance au service soit de groupes d’intervention (modulo le bruit qui, même diminué, reste présent) soit de fantassins (reconnaissance d’un itinéraire, neutralisation d’IED). Mais le domaine évolue rapidement, et SpotMini montre qu’aujourd’hui, les concepteurs de robots ont une approche que l’on pourrait appeler « holistique » en concevant en même temps le hardware, le logiciel, et l’aspect comportemental du robot. Ce n’est qu’en adoptant une telle approche que les applications militaires de la robotique pourront réellement être étudiées.

offset1

Le biomimétisme est un domaine en plein essor, et nous avons déjà parlé dans ce blog de l’inspiration de la nature dans différents domaines (camouflage, mobilité…). Cette fois-ci, un petit éclairage sur le programme OFFSET de la célèbre DARPA (rappel : Defense Advanced Projects Research Agency).

Là où il y a programme militaire, il y a acronyme et celui-ci (OFFSET, donc) signifie OFFensive Swarm-Enabled Tactics, soit tactiques offensives en essaim. La robotique en essaim, c’est un serpent de mer (pour rester dans la métaphore biologique); depuis les années 1990, de nombreux chercheurs et instituts s’inspirent de la nature et du comportement en essaim des oiseaux et des insectes pour imaginer des modes de travail collaboratifs pour des robots.

offset6

Car un essaim, c’est un système multi-agents en mouvement, un système complexe capable de comportements émergents et adaptés. A la différence d’un système classique (un vecteur, une mission), un essaim semble capable de prendre des décisions complexes et coordonnées dans un environnement non structuré. On parle d’auto-organisation, un processus par lequel de multiples décisions individuelles entraînent un comportement au niveau du groupe.

offset10

Prenons l’exemple d’un essaim d’insectes sociaux (fourmis, criquets…). Chaque individu possède des capacités de mouvement et de préhension limitée, l’ensemble de l’essaim étant quant à lui capable d’édifier des structures complexes. Autre exemple : les poissons ou oiseaux capables d’échapper à des prédateurs en utilisant des tactiques d’évitement tournoyantes complexes, sans que la trajectoire ne soit définie à l’avance, et chaque membre de l’essaim se fondant sur le comportement de ses voisins immédiats.

L’idée de la robotique en essaim, c’est donc de développer des algorithmes adaptés à des centaines ou des milliers de robots simples, chacun disposant de fonctions et de capacités de base et d’une connaissance limitée du monde et de ses voisins, afin de développer un comportement collectif résultant de la combinaison des actions individuelles.

offset5

Dans le programme OFFSET, la DARPA s’intéresse au combat urbain et vise à utiliser des techniques innovantes en essaim pour établir et maintenir une supériorité opérationnelle dans cet environnement. Car l’exploration d’un théâtre d’opérations en zone urbaine est complexe : l’environnement est imprévisible, compliqué (occlusion, multiples chemins, découpage vertical de l’espace). Une stratégie de type essaim permettrait d’avoir un réseau de capteurs distribués et dispersés, une combinaison des effecteurs, et une distance opérationnelle accrue. L’idée dans le programme est d’employer environ 250 éléments autonomes et hétérogènes au sein de l’essaim, dans une zone équivalant à 8 blocs urbains (rappelons que nous sommes aux USA et que leurs villes sont conçues avec Minecraft – juste pour plaisanter), et pour une durée moyenne de mission de 6 heures.

offset7

La logique est présentée dans le schéma ci-dessous : les individus sont munis d’algorithmes de base (ainsi SLAM signifie Simultaneous Location & Mapping, cartographie et localisation simultanées). Des missions de plus haut niveau sont définies (les primitives), et le système multi-agents doit lui montrer l’emploi de tactiques (comme donner l’assaut à un bâtiment).

offset2

Pour ce faire (et comme présenté dans la vidéo ci-après), l’agence cherche à développer un environnement interactif de type jeu vidéo permettant à des opérateurs humains de juger de la pertinence des tactiques de l’essaim observées. En parallèle, la DARPA souhaite disposer d’une plate-forme de test physique permettant d’évaluer les individus autonomes et de définir une architecture de contrôle.

Dans sa forme, le projet est dynamique et itératif et utilise la méthode agile: tous les 6 mois, la DARPA organise un « Sprint » – donc une session de prototypage rapide – sur l’une des thématiques d’intérêt : autonomie de l’essaim, tactiques de l’essaim, interaction essaim/humain, environnement virtuel et plate-forme de test physique.

offset8

En parallèle, l’agence peut décider de déclencher un « sprint » sur une thématique ad hoc, à n’importe quel moment. Le schéma ci-après présente l’organisation du projet.

offset9

Le projet est innovant dans le fond et la forme, même si c’est encore une fois l’alliance de groupes industriels « classiques » qui rafle la mise, la phase 1 du contrat ayant été notifiée à Raytheon BBN Technologies et Northrop Grumman, les acteurs moins classiques se voyant intervenir lors des sprints. Presque innovant, donc…

triton5

J’avais déjà souligné dans ce blog les dangers des « malware » ciblant les infrastructures industrielles. Et cela fait effectivement froid dans le dos : on imagine ainsi des centrales nucléaires attaquées ou sous le contrôle à distance de groupes terroristes. Ou des installations critiques de production infectées par un virus provoquant un emballement des machines – se rappeler à ce sujet l’effet dévastateur du virus STUXNET sur les centrifugeuses iraniennes d’enrichissement d’uranium… Or dans notre société hyperconnectée, la menace d’une attaque de type malware sur une infrastructure industrielle est hélas bien d’actualité.

On connaissait ainsi les malwares CRASHOVERRIDE ou encore INDUSTROYER qui ont été employés par des hackers en 2016 pour attaquer une sous-station électrique en Ukraine, près de Kiev, ce qui a provoqué une importante coupure d’électricité. Mais généralement, les cas documentés sont rares et les industriels sont réticents à donner des informations précises sur l’effet de ces attaques. C’est pourquoi l’histoire de TRITON (ou TRISIS) est particulièrement intéressante.

triton8

A la dernière « S4 security conference » qui s’est tenue à Miami entre le 16 et le 18 janvier dernier, des ingénieurs de Schneider Electric ont ainsi publiquement rendu compte d’une attaque par malware sur leurs infrastructures, à l’aide d’un logiciel appelé TRITON.

TRITON (également connu sous le nom de TRISIS, donc), est un malware spécifiquement conçu pour s’attaquer aux infrastructures industrielles du groupe Schneider. C’est donc une arme de précision, conçue pour s’attaquer aux produits TRICONEX développés par cet industriel particulier. Ces composants, appelés Safety Instrument Systems (SIS), sont conçus pour surveiller le fonctionnement des installations, et, le cas échéant, déclencher des alertes ou même des coupures des infrastructures menacées, en l’occurrence des centrales nucléaires ou des installations pétrolières ou gazières. Les produits TRICONEX sont dits « fail-safe », car en cas de problème, ils permettent de stopper de manière sûre les installations concernées (et, par effet de cascade, tous les autres équipements qui en dépendent).

triton6

TRITON cible le code caractéristique des équipements TRICONEX, afin de s’y connecter et d’y injecter de nouvelles instructions, avec en toile de fond la possibilité que ces instructions provoquent un « crash » de l’équipement. Le souci : un équipement TRICONEX est un « filet de sécurité » pour les installations industrielles. Un crash d’un tel équipement est donc potentiellement gravissime et pourrait susciter un emballement des installations, une explosion, une fuite d’aérosols dans l’environnement ou encore une marée noire.

triton7

A la conférence S4, les ingénieurs de Schneider ont (et c’est une première) révélé leur analyse complète de ce malware et des attaques qui ont déjà été tentées. Tout commence par une faille de sécurité dans l’OS TRICON (sans commentaire…) des produits TRICONEX. Certes des anciennes versions, mais une faille néanmoins. Le malware attaque les équipements concernés en conduisant une véritable analyse de vulnérabilité du système. Le but? Installer (et ceci c’est nouveau) un “cheval de Troie” de type RAT (Remote Access Trojan), en gros un moyen de pouvoir injecter à distance des instructions malveillantes dans le système. C’est la première fois qu’un tel système emploie ce degré de sophistication en ciblant expressément une installation industrielle, ce qui pose d’ailleurs la question de savoir si de tels chevaux de Troie sont déjà positionnés dans des systèmes opérationnels – avec plus de 18 000 équipements TRICONEX déployés, la question est loin d’être anodine.

triton4

Dans le cas de l’attaque documentée par Schneider, le malware a été identifié sur une station de travail dont la fonction était de programmer à distance les systèmes TRICONEX, au travers d’un logiciel baptisé Trilog. Le code de TRITON a été conçu de telle manière à pouvoir se substituer à Trilog, afin de dialoguer directement avec les systèmes TRICONEX et modifier leur logique de contrôle. C’est donc bien l’infection de la station de contrôle (et non de l’équipement lui-même) qui a permis au malware de cibler les équipements.

triton2

Alors certes, il faut nuancer le propos : dans le cas de TRITON, l’attaque est très complexe et nécessite de connaître le processus industriel visé, la logique de contrôle TRICONEX dépendant de la nature du processus surveillé. Il faut donc connaître ce processus ainsi que l’installation industrielle elle-même pour mener à bien l’attaque, des compétences évidemment rares.

Cette histoire souligne donc la réalité de la vulnérabilité des installations de contrôle industriel. Les équipements industriels doivent être considérés comme des systèmes complexes, connectés en permanence, et formant, suivant la formulation d’Aristote, un « tout qui représente plus que la somme de ses parties ». Leur vulnérabilité peut avoir des conséquences rapides, lourdes et surtout imprévisibles. Cette hyperconnectivité ne doit pas être considérée comme un phénomène anodin, ou une simple tendance de société, car ce qui se joue aujourd’hui, c’est finalement l’inéluctable intrication des mondes physique et virtuel.

Comme le montre le cas de TRITON, un malware informatique peut engendrer des conséquences physiques réelles et dévastatrices dans la « vraie vie » – saluons d’ailleurs la transparence de Schneider Electric, plutôt rare dans l’industrie. L’hyperconnectivité engendre donc l’hyper-vulnérabilité. Partant, considérer la menace potentiellement hébergée dans la dimension cyber devient une impérieuse nécessité : tout équipement futur porte en lui les graines de sa propre vulnérabilité.

Alors qu’un ordinateur grand public reçoit une mise à jour corrective par semaine afin d’éviter toute exploitation d’une faille potentiellement exploitable, il ne peut en être de même d’un équipement industriel (ou même d’un équipement militaire). Il est donc indispensable de penser en amont des mécanismes de sécurité de l’information intrinsèques, capables d’évoluer au gré du cycle de vie des équipements, et permettant une résilience indispensable.