19 novembre 2023

Intelligence Artificielle Générative

Intelligence Artificielle Générative
Accueil » Innovations Technologiques » Intelligence Artificielle Générative

Comment fonctionnent les systèmes puissants d'IA générative tels que ChatGPT, et en quoi se distinguent-ils des autres types d'intelligence artificielle ?

Une rapide lecture des gros titres donne l'impression que l'intelligence artificielle générative est omniprésente de nos jours. En réalité, certains de ces titres ont peut-être été réellement rédigés par une IA générative. Par exemple par ChatGPT d'OpenAI, un chatbot qui a démontré une capacité étonnante à produire du texte qui semble avoir été écrit par un être humain.

Sujet a lire : 10 excellents outils sur l'apprentissage automatique (machine learning) et l'intelligence artificielle (IA) à Suivre

Mais que veulent vraiment dire les gens lorsqu'ils parlent d'"intelligence artificielle générative" ?

tutoriel chatGPTAvant l'essor de l'intelligence artificielle générative au cours des dernières années, lorsque les gens parlaient d'IA, ils faisaient généralement référence à des modèles d'apprentissage automatique capables d'apprendre à faire une prédiction basée sur des données.

Par exemple, de tels modèles sont formés, en utilisant des millions d'exemples, pour prédire si une radiographie montre des signes de tumeur ou si un emprunteur particulier est susceptible de faire défaut sur un prêt.

A lire également : Des participants au concours MIT Ignite exposent des concepts révolutionnaires dans le domaine de l'intelligence artificielle générative

On peut considérer l'IA générative comme un modèle d'apprentissage automatique formé pour créer de nouvelles données, plutôt que de faire une prédiction sur un ensemble de données spécifique. Un système d'IA générative est celui qui apprend à générer davantage d'objets ressemblant aux données sur lesquelles il a été formé.

"En ce qui concerne la machinerie réelle sous-tendant l'IA générative et d'autres types d'IA, les distinctions peuvent être un peu floues. Souvent, les mêmes algorithmes peuvent être utilisés pour les deux", explique Phillip Isola, professeur agrégé en génie électrique et en informatique au MIT, et membre du Laboratoire d'informatique et d'intelligence artificielle (CSAIL).

Malgré l'engouement suscité par la sortie de ChatGPT et de ses homologues, la technologie elle-même n'est pas totalement nouvelle. Ces puissants modèles d'apprentissage automatique s'appuient sur des recherches et des avancées computationnelles datant de plus de 50 ans.

Une augmentation de la complexité.

Un exemple précoce d'IA générative est un modèle beaucoup plus simple connu sous le nom de chaîne de Markov. La technique porte le nom d'Andrey Markov, un mathématicien russe qui a introduit cette méthode statistique en 1906 pour modéliser le comportement des processus aléatoires.

En apprentissage automatique, les modèles de Markov sont utilisés depuis longtemps pour des tâches de prédiction du mot suivant, comme la fonction d'autocomplétion dans un programme de messagerie électronique.

Dans la prédiction de texte, un modèle de Markov génère le mot suivant dans une phrase en examinant le mot précédent ou quelques mots précédents. Cependant, comme ces modèles simples ne peuvent regarder que jusqu'à un certain point, ils ne sont pas bons pour générer un texte plausible, explique Tommi Jaakkola, le professeur Thomas Siebel en génie électrique et en informatique au MIT, qui est également membre de CSAIL et de l'Institute for Data, Systems, and Society (IDSS).

"Nous générons des choses bien avant la dernière décennie, mais la distinction majeure ici réside dans la complexité des objets que nous pouvons générer et dans l'échelle à laquelle nous pouvons former ces modèles", explique-t-il.

Algorithme d'apprentissage automatique

Il y a seulement quelques années, les chercheurs avaient tendance à se concentrer sur la recherche d'un algorithme d'apprentissage automatique qui tire le meilleur parti d'un ensemble de données spécifique.

Cependant, cet accent a un peu changé, et de nombreux chercheurs utilisent maintenant des ensembles de données plus importants, peut-être avec des centaines de millions, voire des milliards de points de données, pour former des modèles capables de fournir des résultats impressionnants.

Les modèles de base sous-jacents à ChatGPT et à des systèmes similaires fonctionnent de manière assez similaire à un modèle de Markov. Mais une grande différence est que ChatGPT est beaucoup plus grand et plus complexe, avec des milliards de paramètres. De plus, il a été formé sur une énorme quantité de données, en l'occurrence une grande partie du texte disponible publiquement sur Internet.

Dans ce vaste corpus de texte, les mots et les phrases apparaissent en séquences avec certaines dépendances. Cette récurrence aide le modèle à comprendre comment découper le texte en morceaux statistiques ayant une certaine prévisibilité. Il apprend les motifs de ces blocs de texte et utilise cette connaissance pour proposer ce qui pourrait venir ensuite.

Des architectures plus puissantes.

Intelligence Artificielle GénérativeAlors que des ensembles de données plus importants sont l'un des catalyseurs qui ont conduit à l'essor de l'IA générative, plusieurs avancées majeures dans la recherche ont également donné lieu à des architectures d'apprentissage en profondeur plus complexes.

En 2014, une architecture d'apprentissage automatique appelée réseau antagoniste génératif (GAN) a été proposée par des chercheurs de l'Université de Montréal. Les GAN utilisent deux modèles qui travaillent de concert : l'un apprend à générer une sortie cible (comme une image) et l'autre apprend à distinguer les données réelles de la sortie du générateur.

Le générateur tente de tromper le discriminateur, et dans le processus, apprend à produire des sorties plus réalistes. Le générateur d'images StyleGAN est basé sur ce type de modèle.

Les modèles de diffusion ont été introduits un an plus tard par des chercheurs de l'Université Stanford et de l'Université de Californie à Berkeley. En affinant de manière itérative leur sortie, ces modèles apprennent à générer de nouveaux échantillons de données qui ressemblent à des échantillons dans un ensemble de données d'entraînement, et ont été utilisés pour créer des images ayant l'aspect réaliste. Un modèle de diffusion est au cœur du système de génération texte-vers-image Stable Diffusion.

En 2017, des chercheurs de Google ont introduit l'architecture des transformers, qui a été utilisée pour développer de grands modèles linguistiques, comme ceux qui alimentent ChatGPT. En traitement du langage naturel, un transformer code chaque mot dans un corpus de texte en tant que jeton, puis génère une carte d'attention, qui capture les relations de chaque jeton avec tous les autres jetons. Cette carte d'attention aide le transformer à comprendre le contexte lorsqu'il génère un nouveau texte.

Ce ne sont là que quelques-unes des nombreuses approches qui peuvent être utilisées pour l'IA générative.

Une variété d'applications.

Ce que toutes ces approches ont en commun, c'est qu'elles convertissent les entrées en un ensemble de jetons, qui sont des représentations numériques de morceaux de données. Tant que vos données peuvent être converties dans ce format standard de jetons, alors en théorie, vous pourriez appliquer ces méthodes pour générer de nouvelles données qui semblent similaires.

"Votre expérience peut varier en fonction de la qualité de vos données et de la difficulté à extraire le signal, mais cela se rapproche vraiment de la manière dont un processeur central général peut prendre n'importe quel type de données et commencer à les traiter de manière unifiée", explique Isola.

Cela ouvre un éventail énorme d'applications pour l'IA générative.

Par exemple, le groupe d'Isola utilise l'IA générative pour créer des données d'images synthétiques qui pourraient être utilisées pour former un autre système intelligent, comme enseigner à un modèle de vision par ordinateur comment reconnaître des objets.

Le groupe de Jaakkola utilise l'IA générative pour concevoir de nouvelles structures protéiques ou des structures cristallines valides spécifiant de nouveaux matériaux. De la même manière qu'un modèle génératif apprend les dépendances du langage, s'il est exposé à des structures cristallines, il peut apprendre les relations qui rendent les structures stables et réalisables, explique-t-il.

Cependant, bien que les modèles génératifs puissent obtenir des résultats incroyables, ils ne sont pas le meilleur choix pour tous les types de données. Pour les tâches qui impliquent des prédictions sur des données structurées, comme les données tabulaires dans une feuille de calcul, les modèles d'IA générative ont tendance à être surpassés par les méthodes traditionnelles d'apprentissage automatique, selon Devavrat Shah, professeur Andrew et Erna Viterbi en génie électrique et informatique au MIT et membre de IDSS et du Laboratoire d'information et de systèmes de décision.

"Leur plus grande valeur, à mon avis, est de devenir cette interface exceptionnelle avec des machines conviviales pour les humains. Auparavant, les humains devaient parler aux machines dans le langage des machines pour que les choses se produisent. Maintenant, cette interface a trouvé comment parler à la fois aux humains et aux machines", explique Shah.

Faire apparaître des signaux d'alarme.

Les chatbots d'IA générative sont désormais utilisés dans les centres d'appels pour répondre aux questions des clients humains, mais cette application soulève un éventuel signal d'alarme lié à la suppression d'emplois.

De plus, l'IA générative peut hériter et propager des biais existants dans les données d'entraînement, ou amplifier les discours haineux et les fausses déclarations. Les modèles ont la capacité de plagier et peuvent générer du contenu qui semble avoir été produit par un créateur humain spécifique, soulevant des problèmes potentiels de droits d'auteur.

D'un autre côté, Shah propose que l'IA générative puisse donner du pouvoir aux artistes, qui pourraient utiliser des outils génératifs pour les aider à créer du contenu créatif qu'ils n'auraient peut-être pas les moyens de produire autrement.

À l'avenir, il voit l'IA générative changer l'économie dans de nombreuses disciplines.

Isola voit une direction future prometteuse pour l'IA générative dans son utilisation pour la fabrication. Au lieu d'avoir un modèle créer une image d'une chaise, il pourrait peut-être générer un plan pour une chaise qui pourrait être produite.

Il voit également des utilisations futures pour les systèmes d'IA générative dans le développement d'agents IA plus généralement intelligents.

"Il y a des différences dans le fonctionnement de ces modèles et dans la manière dont nous pensons que le cerveau humain fonctionne, mais je pense qu'il y a aussi des similitudes. Nous avons la capacité de penser et de rêver dans nos têtes, de trouver des idées ou des plans intéressants, et je pense que l'IA générative est l'un des outils qui permettra aux agents de faire cela aussi", explique Isola.

Source : https://news.mit.edu/2023/explained-generative-ai-1109

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

🤖 Aiflare.fr : Explorer l'IA, Innover le Futur 🚀

Bien plus qu'un blog, Aiflare.fr est votre portail vers l'univers dynamique de l'intelligence artificielle. Plongez dans les dernières tendances, découvrez des analyses approfondies, et participez à la conversation qui façonne le futur de la technologie.

Suivez-nous pour rester à la pointe de l'innovation et explorez avec nous les possibilités infinies de l'intelligence artificielle. Ensemble, construisons un avenir où la technologie inspire la créativité et transforme le monde.
📧 Contactez-nous
🔗 Politique de confidentialité
Made with ❤ and ☕ © 2023

Source image : Pixabay.com
logo-1