image coloration GAN

Comprendre les réseaux de neurones GAN

Applications et fonctionnement


Vous ne pouviez pas les rater. Les IA artistes ont fait et continuent de faire leur show. C’est vrai qu’à première vue, elles sont impressionnantes. Presque magique ! La réussite de ces IA est dû aux GAN : Generative Adverserial Networks.

Comprendre les réseaux de neurones GAN

C’est un type de modèle de deep learning avec une architecture assez particulière. Un duel entre deux réseaux de neurones : un générateur contre un discriminateur. Mais avant d’expliquer la technique voici de jolis exemples de ce qu’ils permettent de faire !

Applications des GAN


C’est l’art qui a rendu les réseaux GAN aussi célèbres. Néanmoins vous verrez qu’ils permettent de faire énormément de choses.

Générer de nouvelles photos


Regardez ces visages :

Savez-vous ce que ces personnes ont en communs ?

Elles n’existent pas !

Ces visages ont été entièrement générés par une IA. Je vous l’avez dit, les GAN sont magiques ! C’est d’ailleurs une des applications, avec les IA artistes, qui ont permis aux GAN de se démocratiser.

Pour aboutir à un tel résultat il faut que l’IA puisse avoir une compréhension parfaite de ce qu’est un visage humain. Pour cela, le réseau de neurones doit être entraîné avec des milliers d’images de visages. Mais je ne vous spoile pas tout de suite la partie technique…

Coloriser des images en noir et blanc

C’est une de mes applications préférée, les GANs permettent de coloriser des images de façon très réaliste.

Plusieurs modèles, comme DeOldify par exemple, permettent de redonner vie à vos anciennes images.

Comprendre les réseaux de neurones GAN
Dorothea Lange, 1936
Comprendre les réseaux de neurones GAN
« Toffs and Toughs », Jimmy Sime, 1937

Impressionnant n’est-ce pas ?

En voici une dernière pour la route.

Comprendre les réseaux de neurones GAN
Glen Echo Madame Careta, Maryland, 1925

Créer des œuvres d’art


La création d’œuvres d’arts est l’application des GAN qui a fait le plus parler. Les IA se sont longtemps limitées à des tâches répétitives et sans intérêts pour l’humain. Aujourd’hui elles investissent des domaines qui nous étaient jusque là réservés.

Même si en rentrant dans les détails on voit bien qu’il ne s’agit que de copier les styles des peintres humains, on ne peut que être étonnés des résultats que ces techniques permettent d’obtenir.

Voyez vous même !

Traduction d’images

La traduction d’images est une technologie qui me fascine autant qu’elle me fait peur.

Elle permet d’échanger des objets, des visages ou d’autres choses dans des photos ou des vidéos. C’est d’ailleurs cette technique qui est à l’origine des deep fake. Ce sont des vidéos dans lesquels ont voit des personnes dire des choses qu’elles n’ont jamais dites.

C’est évidemment un danger sérieux. Et je vous conseil de le prendre en compte lorsque vous voyez des informations sur les réseaux sociaux.

Ces systèmes reposent sur les GAN, avec une architecture spéciale appelées CycleGAN.

Voici quelques exemples de traduction d’images.

Comprendre les réseaux de neurones GAN
Image translation with Cycle GAN
Comprendre les réseaux de neurones GAN
Cycle GAN : œuvres d’arts réalistes

Comprendre le fonctionnement des GAN


La puissance des GAN vient de l’ingéniosité de leur fonctionnement. C’est d’ailleurs pour cela que Yann LeCun, un des plus grands chercheurs en machine learning, les a décrits comme l’idée la plus intéressante en machine learning ces 10 dernières années. Rien que ça !

Les réseaux de neurones GAN ont été introduits en 2014 dans l’article Generative Adversarial Networks par Goodfellow et ses collaborateurs. Leur objectif était de concevoir un modèle génératif.

Les modèles génératifs sont une classe d’algorithmes de machine learning qui permettent à la machine de comprendre une classe d’objets. Par exemple, en étudiant des milliers d’images de visages, le système de génération de visages a appris ce qu’était un visage humain.

En termes plus probabilistes, on part de plusieurs observations et on cherche la distribution de probabilités qui s’en dégage. C’est ensuite cette loi que l’on utilisera pour produire de nouvelles observations qui n’existent pas.

Techniquement, les GAN sont composés de deux réseaux de neurones. Le générateur et le discriminateur. Le générateur, comme son nom l’indique, a pour objectif de générer le nouvel objet. Le discriminateur lui doit déterminer si l’objet généré est réel ou non. C’est de là que provient la grande efficacité des GAN.

C’est dans la concurrence que l’on s’améliore, et c’est aussi valable pour les IA. Ce que l’on observe pendant l’entrainement du générateur et du discriminateur, est que les deux modèles s’améliorent simultanément, chacun dans la tâche qui lui est octroyée.

Une dimension éthique à prendre en compte


Souvent lorsque l’on parle d’IA (ou de data science en général) la notion éthique est fondamentale et fait beaucoup débat.

Les GAN offrent des perspectives intéressantes pour plusieurs domaines. Notamment dans le multimédia, pour le graphisme des jeux vidéos ou les montages. Néanmoins, ils pourraient contribuer à créer et répandre des fake news.

Regardez ça par exemple.

DeepFake, Bloomberg


Pour conclure, il faut dire que les GAN offrent de très belles perspectives, notamment en analyse d’images ou en montage vidéos. Néanmoins, comme souvent lorsque les technologies sont aussi puissantes, il peut y avoir de gros inconvénients.

Evidemment ces inconvénients et les dangers qui en découlent ne doivent pas être une barrière au progrès technologique. Mais ils demandent une meilleure régulation, notamment grâce à des outils de traçabilité des données et des algorithmes utilisés.