par Moon of Alabama
La bulle de l'intelligence artificielle aux États-Unis continue de gonfler. Elle absorbe une part importante des ressources financières disponibles. Mais ses résultats, sous forme de produits concrets, restent pour l'instant plutôt maigres.
Il existe quelques outils de génération de code qui s'avèrent parfois utiles, mais qui, à moins d'être subventionnés, sont très coûteux. Il y a ChatGPT et d'autres "boîtes à bavardages" qui, en fin de compte, ne sont que de nouvelles formes d'outils de recherche sur le Web intrinsèquement peu fiables.
Ce qui manque, ce sont des applications de masse utiles pour lesquelles des milliards de personnes seraient prêtes à payer.
Pourtant, un grand nombre de "personnalités très influentes" pensent que les grands modèles linguistiques, qui sont au cœur des produits d'OpenAI et d'Anthropic, atteindront un jour les capacités des êtres doués de conscience. À mon avis, ce sont des conneries, mais qui suis-je pour vous le dire ?
Le New York Times consacre un long article ( archivé) à Larry Ellison, fondateur d'Oracle, et à son pari de miser la quasi-totalité de sa fortune sur la bulle de l'IA. On y lit :
"L'histoire de l'IA est autant une histoire financière que technologique, une question de savoir comment structurer les investissements ahurissants nécessaires pour entraîner et faire fonctionner les modèles. Rares sont ceux qui doutent que cette technologie va tout changer. Ce qui est moins clair, c'est quand les bénéfices commenceront à affluer et quelle sera leur ampleur."Pour moi, c'est un problème mathématique", déclare Asad Ramzanali, directeur du département d'IA au sein d'un centre de réflexion de l'université de Vanderbilt. "Nous réalisons des investissements de plusieurs milliers de milliards de dollars sur la base de dizaines de milliards de dollars de recettes"".
C'est pourquoi Ed Zitron et d'autres vous diront à juste titre que les investissements colossaux consacrés à l'IA n'ont absolument aucun sens.
Où sont les produits et les clients qui permettront de récupérer les centaines de milliards de dollars d'origine douteuse dépensés dans les centres de données dédiés à l'IA ?
"La structure financière du déploiement des centres de données les rend particulièrement vulnérables à un effondrement. Les opérations elles-mêmes reposent sur des montages de dette et de capitaux propres extrêmement complexes impliquant des financements circulaires. Les hyperscalers investissent massivement dans les mêmes entreprises sur lesquelles ils comptent pour acheter leur puissance de calcul. C'est ce que les économistes appellent une structure de passif interdépendante. Si leurs clients peinent à monétiser leurs produits, ils seront particulièrement durement touchés - tout comme leurs investisseurs, notamment des Américains lambda. Et cela ne concerne que les entreprises américaines. Le boom de l'IA a été un phénomène mondial ; un effondrement de l'IA le serait tout autant".
Le New York Times part du principe que tout ce que font les États-Unis est copié partout dans le monde. Si la bulle éclate aux États-Unis, elle éclatera par conséquent aussi ailleurs - y compris en Chine.
C'est une méconnaissance de ce que sont les modèles d'IA chinois et de ce que font les entreprises chinoises spécialisées dans l'IA.
Au cours de l'année écoulée, plusieurs entreprises chinoises ont surpris le public en proposant des modèles d'IA presque aussi performants que les meilleurs produits par les entreprises américaines, mais à un prix qui ne représente qu'un dixième du coût des modèles américains (fortement subventionnés).
De plus, les entreprises chinoises ont publié les poids et le code source de leurs modèles et permettent à toute personne disposant du matériel adéquat de les exécuter dans ses propres locaux.
The Economist a tenté de comprendre ce phénomène :
" Comment la Chine tire un meilleur parti de ses investissements que les États-Unis en matière d'IA ( archivé)
Ses investissements sont bien inférieurs à ceux des États-Unis. Ses modèles ne le sont pas
Les dépenses effrénées des États-Unis en matière d'IA semblent particulièrement extravagantes comparées à la parcimonie chinoise. En 2026, les géants technologiques chinois devraient investir moins d'un dixième de ce que leurs homologues américains investiront dans les centres de données (voir graphique).
Leurs modèles ne semblent que légèrement moins puissants en raison de cette frugalité. K3, un modèle avancé lancé le mois dernier par Moonshot AI, une start-up basée à Pékin, est aussi performant à 95% (selon des benchmarks largement utilisés) que Fable 5, un modèle de pointe d'Anthropic, un autre laboratoire américain de premier plan. Son utilisation est également 70% moins coûteuse. Le 3 août, Alibaba, un géant chinois de la technologie, a publié un modèle qui se serait classé parmi les meilleurs au monde selon certains critères".
Les auteurs de The Economist s'interrogent ensuite sur les coûts moins élevés des centres de données en Chine. Selon eux, le pays est également moins enclin à investir dans du matériel américain hors de prix. Ses acheteurs sont plus avares et la recherche d'applications concrètes revêt plus d'importance pour la Chine que la quête d'une "singularité" ou d'une "intelligence artificielle générale", poursuivie par les entreprises américaines.
Tout cela, comme dans la citation tirée de l'article du New York Times, n'est pour l'essentiel que des balivernes.
Ce qui distingue réellement les entreprises américaines et chinoises spécialisées dans l'IA, ce sont les mathématiques qu'elles utilisent.
Les modèles américains fonctionnent avec des algorithmes qui gaspillent des ressources de calcul, tandis que les modèles chinois utilisent des méthodes plus intelligentes, qui nécessitent moins de puissance de calcul, pour atteindre une qualité similaire.
Les modèles linguistiques, qui, à partir d'une entrée textuelle, produisent une sortie textuelle correspondante, n'ont rien de nouveau.
La plupart reposent sur ce qu'on appelle des algorithmes de réseaux neuronaux, qui simulent une fonction rudimentaire du cerveau humain. Les réseaux neuronaux peuvent être entraînés à reconnaître une entrée pour ensuite produire une sortie correspondante.
Le problème avec les réseaux neuronaux et leurs premières variantes est que l'entraînement prend beaucoup de temps, ce qui limite la taille des modèles.
En 2018, des chercheurs de Google ont trouvé un moyen élégant de contourner ces restrictions :
"Les modèles dominants de transduction de séquences reposent sur des réseaux neuronaux récurrents ou convolutifs complexes, dans une configuration encodeur-décodeur. Les modèles les plus performants relient également l'encodeur et le décodeur via un mécanisme d'attention. Nous proposons une nouvelle architecture de réseau simple, le Transformer, reposant uniquement sur des mécanismes d'attention, et se passant entièrement de récurrence et de convolutions. Des expériences menées sur deux tâches de traduction automatique montrent que ces modèles offrent une qualité supérieure tout en étant plus facilement parallélisables et en nécessitant un temps d'entraînement nettement plus court".
Les entreprises américaines se sont emparées du modèle Transformer. Cela a été perçu comme une opportunité de créer des modèles toujours plus grands et plus performants, dans l'espoir qu'un modèle de taille gigantesque finirait par égaler, voire dépasser, les capacités du cerveau humain.
L'avantage du modèle Transformer réside dans le fait que les calculs nécessaires à son apprentissage peuvent être parallélisés. Les puces informatiques conçues pour le traitement graphique disposent d'un matériel spécialisé pour traiter les pixels. Au lieu de traiter un pixel à la fois, elles calculent des images complètes en évaluant simultanément la valeur (de couleur) de milliers de pixels. L'utilisation d'unités de traitement graphique (GPU) permet d'effectuer des opérations (matricielle) parallélisées sur des milliers de paramètres. (Une vidéo de Grant Sanderson, " Les grands modèles linguistiques expliqués brièvement " (vidéo), offre une bonne introduction à ce sujet.)
L'inconvénient du modèle Transformer réside dans le comportement exponentiel de son mécanisme d'attention. Pour traiter une phrase d'entrée, le modèle doit comparer chaque élément de celle-ci à tous les autres éléments présents dans le même contexte. Il s'agit là d'une opération exponentielle. Pour un contexte de 500 000 mots d'entrée (c'est-à-dire pour résumer un livre de cette longueur), le modèle aura besoin de 250 milliards d'opérations. OpenAI, Anthropic et d'autres utilisent de nombreuses astuces pour optimiser leurs calculs, mais ils ne peuvent échapper à la contrainte exponentielle fondamentale de l'algorithme qu'ils utilisent.
C'est la raison pour laquelle l'entrée des modèles Transformer actuels est limitée et pourquoi ces modèles ont besoin d'énormes centres de données équipés de millions de GPU pour répondre aux questions des utilisateurs.
Faute de capacité de calcul, les développeurs de modèles chinois ont dû emprunter des voies différentes. Ils utilisent des réseaux neuronaux récurrents et les algorithmes dits Long Short-Term Memory (LSTM). Ceux-ci sont connus depuis la fin des années 1990 et constituent la base de la plupart des traductions automatiques. Siri d'Apple utilise un modèle LSTM.
L'algorithme LSTM présente des inconvénients. Dans sa forme originale, son apprentissage ne peut pas être parallélisé. En revanche, il est capable d'"oublier" le contexte inutile et son calcul d'une réponse est (généralement) linéaire, et non exponentiel.
Les algorithmes LSTM étendus plus récents permettent de paralléliser l'apprentissage de ces modèles tout en conservant l'avantage d'un algorithme de réponse (presque) linéaire.
Le modèle Kimi récemment dévoilé par la société chinoise Moonshot.ai repose sur un algorithme xLSTM (modifié), appelé Kimi Delta Attention. Il divise également le modèle en un réseau de 800 "experts", dont seuls quelques-uns sont activés pour répondre à la question spécifique d'un utilisateur (voir Kimi K3 expliqué en 13 minutes (vidéo)).
Bien que Kimi n'ait pas encore atteint le nombre de paramètres du tout dernier modèle américain, il dispose de capacités quasi identiques tout en nécessitant beaucoup moins de puissance de calcul que celle requise pour faire fonctionner un modèle OpenAI équivalent.
D'autres fournisseurs chinois d'IA utilisent également des algorithmes similaires qui nécessitent beaucoup moins de puissance de calcul que les modèles Transformer privilégiés aux États-Unis.
Les fournisseurs américains de modèles d'IA - OpenAI, Anthropic, Google, Meta et SpaceX - sont tous prisonniers des algorithmes de type "Transformer" qu'ils utilisent pour construire leurs modèles. C'est sur cette base qu'ils s'appuient depuis des années et c'est le domaine d'expertise de leurs ingénieurs. Ils ont promis de développer ou d'acquérir une capacité de calcul colossale, car c'est ce dont leurs modèles ont besoin.
C'est ce choix d'algorithme qui a créé la bulle de l'IA aux États-Unis.
Les concepteurs chinois, faute de disposer de capitaux à risque illimités, ont dû trouver de meilleures façons de résoudre les problèmes. Leur utilisation d'algorithmes différents leur permet d'obtenir des résultats quasi identiques pour un coût bien moindre.
Il existe également une différence d'attitude. Alors que des financiers américains comme Larry Ellison aspirent à une intelligence artificielle générale quasi divine, les développeurs et financiers chinois (ainsi que certains européens) s'intéressent bien davantage à la résolution de problèmes concrets (industriels).
Un robot chargé de remplir le lave-vaisselle peut fonctionner correctement sans être capable de résoudre des conjectures mathématiques. De plus, son modèle d'IA interne devra tourner sur un GPU local et non dans un centre de données lointain.
L'abondance des ressources a permis aux développeurs de modèles américains de construire des modèles d'IA générale gigantesques, très performants, mais extrêmement coûteux. Ces entreprises n'ont pas encore trouvé de cas d'utilisation qui justifient le coût d'exploitation de ces modèles.
Au lieu de viser les étoiles, comme le font les entreprises américaines, les Chinois s'attachent à résoudre des problèmes concrets.
Leurs ressources limitées ont contraint les développeurs chinois à trouver de meilleurs algorithmes. Leur priorité va aux applications utiles qui généreront un retour sur investissement approprié.
À un moment donné, la bulle de l'IA aux États-Unis éclatera. Les dégâts collatéraux seront considérables. Beaucoup de gens perdront leur argent. De nombreux centres de données vides et inutiles seront mis en location.
Le New York Times et The Economist supposent que cela entraînera des problèmes similaires en Chine.
Cela a peu de chances d'être le cas, car l'IA chinoise repose sur des mathématiques différentes et des modèles économiques différents.
source : Moon of Alabama