VMF 214 – le blog

Il s’agit d’un débat récurrent, et qui enfle de plus en plus, sous-tendu à la fois par l’imaginaire collectif et une certaine tendance journalistique au sensationnel. Je veux parler du débat sur l’interdiction des « robots tueurs ». Après avoir alarmé l’opinion sur les dangers de l’intelligence artificielle (à mon sens, la bêtise naturelle est une plus grande menace, mais bon…), Stephen Hawking, Elon Musk ou encore Steve Wozniak et Noam Chomsky viennent en effet de signer une lettre ouverte pour l’interdiction des armes autonomes.

Il s’agit là d’un sujet complexe, et je ne pouvais pas ne pas réagir ou en tout cas tenter de donner mon opinion dans ce débat. Pardonnez moi par avance si j’enfonce quelques portes ouvertes.

En premier lieu, je pense qu’il convient de ne pas faire d’amalgames entre IA, robotique, et armes autonomes. La robotique de théâtre est une réalité, mais contrairement à ce que l’on pourrait penser, elle est aujourd’hui essentiellement orientée vers des fonctions de soutien ou d’appui. Au-delà, à quoi sert un robot sur le champ de bataille ? :

• A protéger, pour éloigner l’homme de la menace ou de la zone exposée : fonctions de déminage, de reconnaissance…
• A durer : l’attention d’un robot ne décroit pas au cours du temps : fonctions de surveillance…
• A permettre accroître l’efficacité opérationnelle, par exemple en servant de « mule » pour porter les charges lourdes, en assurant une permanence de télécommunications, mais aussi, et c’est là le débat, en délivrant de l’armement.

Donc plus que de parler de robots tueurs (terme entretenant une certaine confusion anthropomorphique), on parle ici de SALA (systèmes d’armes létaux autonomes) ou, en anglais, LAWS ( !) pour Lethal Autonomous Weapons Systems.

Le problème consiste à définir ce que l’on entend par « système autonome ». Un missile de croisière, même si le ciblage est initié par l’homme, est aujourd’hui complètement autonome dans les phases terminales du vol (dans certains cas, une intervention humaine est même physiquement impossible). Cependant, ces systèmes sont explicitement en-dehors du débat suscité par les signataires de la lettre, même si ce sont des systèmes autonomes supervisés.

Donc de quoi parlons nous ? De systèmes létaux (en soi un terme restrictif :  est il plus humain d’être blessé gravement ?) autonomes, sans homme dans la boucle, et qui n’existent pas encore. Les seuls SALA aujourd’hui en service, notamment en Israël et en Corée du Sud, sont des sentinelles qui, si elles sont technologiquement capables de tirer sur des intrus, sont inféodées à la décision d’un humain dans la boucle (ci-dessous, le robot sentinelle SGR-A1 de Samsung).

Allons plus loin dans la restriction : on parle d’autonomie de décision, donc pas de systèmes préprogrammés pour effectuer des tâches. Ni de systèmes avec un humain dans la boucle pour le ciblage. Donc, aucun système actuel, ni même pressenti dans un futur proche.

De fait, les deux seuls pays à avoir aujourd’hui une politique officielle sur les SALA (les Etats Unis et le Royaume Uni) ont déjà explicitement déclaré qu’un SALA doit être conçu pour permettre à un commandant ou un opérateur d’évaluer humainement le niveau d’usage de la force. Donc d’exercer un contrôle.

Alors doit-on – sur l’idée que l’IA deviendrait capable de décisions autonomes telles qu’un humain pourrait les prendre, une affirmation plus que discutable compte tenu du niveau actuel de la technologie sous-jacente – interdire de manière préemptive un tel système ? Est-ce une application aveugle d’un principe de précaution mené à un tel degré qu’il devient un principe incapacitant? Comme le déclare microbiologiste Didier Raoult, « le principe de précaution privilégie la prévention de risques virtuels aux dépens de risques, eux, bien réels. Toute innovation technologique s’accompagne nécessairement d’incertitudes. Serions-nous allés sur la Lune si l’on avait appliqué le principe de précaution ? Finalement, ce que le principe de précaution refuse d’admettre, c’est que l’avenir est imprévisible »

Mon opinion est donc qu’il est dangereux d’empêcher ou de limiter la recherche sur l’Intelligence Artificielle sous le prétexte qu’un jour, un « Terminator » conçu par un humain pourrait décider de tuer d’autres humains. Produire des armes totalement autonomes n’est dans l’intérêt de personne et on pourrait disserter longuement comme le fait excellemment le diplomate et philosophe Jean-Baptiste Jeangène Vilmer sur l’humanité d’être tué par un humain ou un robot (la bombe nucléaire est elle plus « humaine » que le fait d’être tué par une sentinelle robotisée ?) ou sur le prétendu « accès facilité » à la guerre par l’utilisation d’armées de drones autonomes.

L’interdiction préventive des SALA n’a pas de sens et ne stopperait certainement pas des individus ou états qui souhaiteraient les utiliser dans un cadre non conforme aux droits de l’homme. A la différence des mines antipersonnel, un SALA complètement autonome et doté de « conscience » ou « d’intelligence » n’existe pas encore et n’a donc pas démontré son illégalité.  Et la recherche, dans ce domaine, est de toutes façons duale, donc accessible, in fine, aux utilisateurs motivés.

En revanche, encadrer comme l’ont fait les USA et le Royaume-Uni l’utilisation de tels systèmes afin qu’ils ne puissent, même si la technologie le permettait, fonctionner sans un « veto » humain (au minimum) me semble souhaitable. D’ailleurs, qui nous dit qu’un robot ne serait pas en mesure de mieux respecter les règles d’engagement que les hommes eux-mêmes (relire les lois d’Asimov) ?

Et, in fine, une question n’a pas été posée, et elle me semble plus prégnante : comment maîtriser le contrôle de ces systèmes autonomes armés avec une informatique qui progresse mais qui devient difficile à maîtriser, contrôler, débugger de façon sûre ? Cela, en soi, plaide pour le maintien de l’homme dans la boucle.

Ce n’est bien évidemment que mon opinion, mais je souhaitais la partager, au moment où l’on lit tout, et surtout n’importe quoi sur le sujet, et que des amalgames dangereux et populistes font leur apparition. La robotisation de l’espace de bataille est une réalité. L’émergence de la conscience humaine dans une machine est aujourd’hui de l’ordre de la science-fiction. Le débat éthique sur l’armement autonome doit guider son développement.

On pourrait aussi demander aujourd’hui l’interdiction préventive de l’Etoile Noire, capable de détruire une planète. Elle non plus n’existe pas encore.