LipNet : Un outil basé sur l’IA capable de lire sur les mouvements des lèvres

Par Marie 0

En se servant d’une machine Learning, des chercheurs de l’Université d’Oxford et de Google Deepmind sont arrivés à créer un système capable de lire à la perfection sur les lèvres mieux que l’homme.

L’allure d’apprentissage des intelligences artificielles a atteint un niveau impressionnant. On se rappelle déjà des d’AlphaGo qui avaient battu un homme au jeu de Go à plusieurs reprises. Également le développement constant des assistants virtuels grâce à la Machine Learning.

Maintenant, les scientifiques de l’Université d’Oxford et de Google Deepmind viennent prouver une fois de plus que la machine se développe dans le domaine de la lecture sur les lèvres.

Au début du projet, les scientifiques voulaient développer une intelligence artificielle dédiée à la traduction automatique d’un texte ou d’imiter une voix humaine.

Dorénavant, l’IA en question peut lire sur les lèvres, d’après une révélation de New Scientist. Appelé LipNet, ce projet a la capacité de transformer les mouvements effectués par les lèvres en texte et le fait mieux qu’un humain. En chiffres, le programme a réussi à reconnaître à 47% les mouvements des lèvres comparé à 24% pour l’homme.

Pour fonctionner, LipNet se sert de la Machine Learning, le dispositif qui a la capacité d’enregistrer plus 5000 heures de vidéo de six programmes TV distincts de la BBC, pour apprendre en marchant. De plus, il devance ce qu’il déchiffre.

« Selon nos connaissances, LipNet est le premier prototype capable de lire sur les lèvres à travailler avec les phrases », d’après les dires des chercheurs.

Grâce à Deepmind, Google atteint un niveau supérieur avec l’IA et envisage se servir des applications inattendues pour optimiser sa technologie. Lors de la conférence BlizzCon de Blizzard, la succursale IA de Google, a indiqué qu’elle allait créer un environnement de test accessible dans StarCraft II.

Grâce à cette collaboration avec l’éditeur, il sera possible d’exploiter ce titre emblématique des gamers comme plateforme dédiée au test pour l’intelligence artificielle et la recherche sur la machine learning.

La plateforme en question sera accessible à tout le monde comme Deepmind dès 2017. « Nous avons travaillé avec les membres de StarCraft II afin de développer une API qui soit capable de prendre en charge une chose identique à des bots écrits avant avec une interface « scriptée », qui donne la possibilité de gérer les unités individuelles de façon programmée et accéder totalement au jeu » d’après les explications de DeepMind.