L’intelligence artificielle générative est un domaine du deep learning qui donne aux machines la capacité de générer du contenu (image, vidéo, texte, etc.), à partir de données crées manuellement.
Après les deep fake, la génération de visages ou de voitures, les derniers modèles conçus sont capables de générer du texte ou des images très réalistes.
Dans cet article, on explique ce qu’est l’intelligence artificielle générative, on présente le fonctionnement de ces modèles, leurs applications, et on parle de l’aspect éthique.
Quelles sont les applications de l’Intelligence artificielle générative ?
L’IA générative a un nombre infini d’applications. Dans cette section je vous présente celles qui sont le plus impressionnantes et qui commencent à se démocratiser.
Générer des images avec l’IA générative
L’application qui a le plus fait réagir dernièrement c’est cette capacité des modèles à générer des images à partir de textes simples. J’ai beaucoup écrit sur le sujet, j’ai même proposé un tutoriel pour générer vos images rapidement.
Les images obtenues en sortie sont vraiment impressionnantes, et il faut se rappeler que nous ne sommes qu’au début de cette technologie.
Créer du texte
En plus de la création d’images, les IA génératives sont de plus en plus performantes pour l’écriture de texte. En plus d’être capables de mener une discussion d’un niveau humain sur la plupart des sujets, les meilleurs modèles d’aujourd’hui peuvent générer des paragraphes, des articles, voir des livres entiers.
J’ai généré cet ebook grâce à GPT-3 par exemple.
Ecrire du code
Ce n’est pas tout!
Des projets comme GitHub copilot, ont fait passer la génération de code par intelligence artificielle dans des sphères nouvelles. Exemple :
Comment fonctionne les modèles d’intelligence artificielle générative ?
Les méthodes les plus utilisées aujourd’hui sont les GAN, les VAE et les transformers.
GAN, ou Generative Adversarial Networks
Les GANs sont des réseaux de neurones génératifs introduits pour produire du contenu réaliste à partir de données d’entrées. Leur fonctionnement ingénieux a été considéré par Yann LeCun comme l’idée la plus importante en machine learning de ces 10 dernières années.
Les GANs comprennent un générateur et un discriminant qui s’entraînent en compétition. Le générateur génère le contenu, et le discriminant doit determiner si le contenu généré est réel ou non. Grâce à cette concurrence, les deux modèles s’améliorent simultanément au fil de l’entraînement.
VAE, ou Variational Auto-Encoders
Les VAE sont une variantes des auto-encodeurs.
Ils ont une architecture de réseaux de neurones en entonnoir. La première partie de l’entonnoir, appelée encodeur, a pour but d’encoder la donnée d’entrée dans un vecteur de petite taille.
La seconde partie, appelée décodeur, permet de reconstruire la donnée d’entrée à partir de son encodage.
L’intérêt de cette approche, est de construire un espace latent dans lequel les encodages de toutes les données d’entrées sont rangées de telle sorte que des opérations simples soient possibles.
On peut, avec cette méthode, générer de nouvelles données qui ressembleront à l’espace latent.
Récemment, les modèles d’intelligence artificielle générative sont entraînés en utilisant des approches comme les Transformers qui utilisent les mécanismes d’attention, des approches d’apprentissage par renforcement, ou encore des modèles plus traditionnels et moins gourmands comme les chaînes de Markov cachées.
Quelques exemples d’utilisation de l’intelligence artificielle générative
Concrètement, voici 3 exemples de modèles qui utilisent les techniques vues dans la section précédente pour faire de la génération de contenu automatisée.
Stable diffusion
Stable diffusion est un modèle open-source, financé par Stability AI. Il permet de générer des images à partir de textes. C’est une version open-source, plus fiable et plus rapide de DALL-E 2, le modèle proposé par OpenAI en 2022.
ChatGPT, l’apogée de l’intelligence artificielle générative
ChatGPT est un modèle de traitement du langage développé par OpenAI. Il utilise le transfert de connaissances pour produire des réponses à des questions en utilisant une grande quantité de données textuelles précédemment vues.
ChatGPT est capable de comprendre et de générer du texte dans divers domaines, allant des conversations informelles à des sujets plus complexes tels que la science et la technologie.
Make-A-Video
En plus du texte et des images, les dernières avancées nous permettent d’envisager des progrès dans le domaine du text2video. C’est à dire la génération de vidéos à partir de texte.
Meta a proposé un papier en 2022, appelé Make-A-Video, qui permet de générer de courtes vidéos à partir de texte.
Quid de l’aspect éthique ?
Les modèles d’intelligence artificielle générative progressent énormément sur l’aspect technique. Dans pas mal de cas, le contenu généré est quasiment aussi bons qu’un contenu humain.
Néanmoins, sur la sécurisation de ces modèles, il reste beaucoup à faire, et plusieurs questions d’ordre éthiques restent en suspens.
L’impact environnemental de l’entraînement de modèles d’intelligence artificielle générative
La plupart du temps, les modèles récents proposés ne présentent pas de grandes avancées d’un point de vue algorithmique.
Elles consistent simplement à réutiliser les modèles déjà disponibles, mais avec des centaines de milliards de paramètres, et des quantités astronomiques de données.
J’ai parlé de problème de monopole dans de précédents articles. J’expliquais que seules les très grandes entreprises pouvaient entraîner ce type de modèles d’intelligence artificielle générative, et je proposais la décentralisation comme une des approches viables.
L’autre problème de cette course à la données et à un nombre de paramètres qui n’a plus trop de sens, c’est même le problème principal, c’est l’impact sur l’environnement.
Des datacenters de plus en plus grands, qui nécessitent de plus en plus d’énergie pour fonctionner, et un désastre de moins en moins contrôlable sur le plan écologique.
La labellisation des données, à la limite de l’esclavage
Pour créer des modèles d’IA générative vraiment performants, le fait d’avoir une grosse quantité de données ne suffit pas. Il faut aussi être capables d’associer ces données à des labels.
Ce travail, qui est fait manuellement, est souvent chronophage et laborieux.
Et que font les grandes entreprises de la tech dans ces cas là ? Ils recrutent des petites mains, sous-payées, à la limite de l’esclavage, dans des pays en Afrique ou en Asie pour faire le travail.
Pire encore.
Lorsque les données à annoter sont simplement des images d’animaux, des textes littéraires ou des pages Wikipédia, la tâche est acceptable.
Mais dans le cas de modèles comme ChatGPT ou DALL-E, parmi le contenu qui devait être annoté on trouve du contenu très sensible voir vraiment hardcore.
Des images d’esclavages, du contenu pédo-pornographique, des textes insultants et qui décrivent des scènes immondes.
Cette tâche permet de sécuriser le modèle, et éviter qu’il soit utiliser pour générer ce type de contenus. Mais il est inacceptable que des gens soient payés moins de 2 euros la journée pour regarder ce type de contenu pendant des jours et des jours.
Conclusion
Quoi de mieux pour conclure cet article, que de laisser un modèle d’IA générative générer la conclusion ?
L’IA générative est un domaine du deep learning permettant aux machines de générer du contenu à partir de données manuelles. Les derniers modèles peuvent générer des images et du texte très réalistes.
Il existe un nombre infini d’applications pour l’IA générative, telles que la génération d’images, d’écriture de texte et même de code.
Les méthodes les plus couramment utilisées sont les GAN, les VAE et les transformers. Les GAN utilisent un générateur et un discriminant pour produire du contenu réaliste, tandis que les VAE utilisent un encodage pour construire un espace latent pour générer de nouvelles données.
Les applications de l’IA générative sont prometteuses, mais elles soulèvent également des questions éthiques importantes quant à la fiabilité et la responsabilité de ces technologies.
Leave a Comment