L’essor de l’internet des objets a parfois des conséquences inattendues – surtout lorsqu’il s’accompagne du développement de l’intelligence artificielle. Aujourd’hui, les objets connectés comme les smartwatch, ou les bracelets connectés (fitbit et autres) pénètrent dans les foyers et accompagnent l’utilisateur au quotidien. Une manne pour les espions 3.0.
Des chercheurs de l’université de Copenhague viennent d’en faire la preuve. Car aujourd’hui, tout le monde ou presque continue à utiliser un clavier pour rédiger ses documents, taper des recherches, entrer des mots de passe ou des coordonnées bancaires.
Mais lorsque l’utilisateur porte un WAD (Wearable Wristband and Armband Device : acronyme rassemblant les montres et bracelets connectés), il porte en réalité un dispositif bardé de capteurs de mouvement (accéléromètre, gyroscopes, …). L’exploitation de ces capteurs pourrait donc permettre de reconstituer la totalité des informations tapées par l’utilisateur : mots de passe mais aussi codes d’accès à des bâtiments ou pour des distributeurs de billets, « knock codes » sur smartphone, etc.
La reconstitution de l’information n’est pas triviale, puisque les mouvements sont individuellement variables et bruités : il est donc très difficile d’en reconstituer les aspects exploitables… sauf lorsque l’intelligence artificielle s’en mêle.
C’est ce que l’on appelle le Deep Spying : l’espionnage faisant appel à des techniques de « Deep Learning » (apprentissage machine fondé sur l’analyse de modèles de données). Dans le cas présent, l’approche utilisée repose sur l’utilisation de réseaux de neurones multicouches afin d’extraire et d’apprendre des caractéristiques propres à la frappe de l’utilisateur. Car depuis longtemps, on songe à utiliser le mouvement caractéristique d’un utilisateur pour l’identifier. Ici, cette approche est détournée pour apprendre de l’utilisateur ses caractéristiques, afin de pouvoir capturer les informations qu’il divulgue involontairement par ses mouvements.
Les résultats sont plutôt bons : la prédiction correcte est de 59% pour les claviers, et monte à 79% pour le « touchlogging » : l’utilisation d’un clavier virtuel tactile.
Mais cette approche possède encore – et heureusement – des limites. En l’occurrence, la montre connectée utilisée était en libre accès, ce qui a permis aux chercheurs de Copenhague de constituer les bases de données nécessaires à l’apprentissage. Car il faut aujourd’hui pouvoir suivre l’utilisateur pendant un certain temps, et entraîner le système de manière supervisée. Demain, on peut néanmoins imaginer que des bases de données génériques peuvent être mises en place, et servir de « graines » pour un apprentissage plus rapide, d’un utilisateur inconnu.
Ce développement fait suite à une première application, qui avait été conçue par des étudiants de l’université ECE Illinois (Electrical & Computer Engineering), dans le cadre du projet MoLe (pour Motion Leaks). Ces étudiants avaient également imaginé une parade : que les concepteurs des objets connectés diminuent la fréquence d’échantillonnage des capteurs (aujourd’hui environ 200 Hz) à 15 Hz, ce qui rendrait les mouvements très difficiles à analyser.
Une autre parade ? Simplement mettre la montre à l’autre poignet…
La thèse est téléchargeable ici.
VMF 214 - le blog 
[…] Blog VMF 214. Lire l’article dans son intégralité ici et la thèse de M. Beltramelli (en anglais) […]
J’aimeJ’aime
[…] Nous avions déjà mentionné dans ce blog les travaux de l’université de Copenhague sur le « deep spying » : l’espionnage faisant appel à des techniques de « Deep Learning » (apprentissage machine fondé sur l’analyse de modèles de données). En l’occurrence, les chercheurs avaient réussi à montrer que l’on pouvait exploiter les mouvements d’une montre connectée pour reconnaître et reconstituer la totalité des informations tapées par l’utilisateur. Vous pouvez retrouver cet article ici […]
J’aimeJ’aime