Google dévoilait hier des éléments sur son supercalculateur dédié à l’intelligence artificielle dans un article de recherche. Selon Google, la puce maison utilisée dans cette énorme machine pour former des IA serait beaucoup plus efficace que le A100 de Nvidia.
Depuis que ChatGPT est sur toutes les lèvres, Google s’est empressé de montrer son expertise dans l’IA. L’entreprise disposerait de nombreuses innovations en interne, notamment grâce à ses programmes expérimentaux comme les robots qui nettoyaient sa cafétéria. Seulement, le moteur de recherche a trop tardé à appliquer commercialement ses innovations. C’est pourquoi la direction de l’entreprise a lancé un “code rouge” pour que les équipes de Google injectent de l’IA partout dans ses produits. C’est ce qu’on a pu observer récemment avec Google Bard qui se déployait dans Gmail et Docs.
Mardi, Google prouvait encore son expertise en dévoilant des éléments sur son supercalculateur dédié à l’intelligence artificielle. Dans un article, les chercheurs de Google affirment que ce super-ordinateur est plus rapide et plus efficace que les systèmes concurrents de Nvidia. Une pic au constructeur de cartes graphiques pour tenter de lui voler des parts de marché dans ce secteur en plein boom.
Des centaines de GPU pour former l’IA de Google
En effet, c’est Nvidia qui domine le secteur du hardware dédié à l’apprentissage des IA, avec plus de 90 % de parts de marché grâce à ses GPU A100 Tensor Core. Rien que l’une de ces cartes graphiques coûte 20 000 euros au détail. Cependant, Google compte bien lui contester cette place. En effet, le géant produit depuis 2016 ses propres puces Tensor Processing Units (TPU) dédiées à l’IA.
L’article publié mardi explique que la gigantesque machine de Google comprend pas moins de 4 000 TPU ainsi que des composants personnalisés conçus pour former les modèles d’IA. Ce super-calculateur fonctionne depuis 2020 et a été utilisé pour entraîner le nouveau modèle PaLM de Google, principal concurrent du modèle GPT d’OpenAI. Selon les chercheurs de Google, la puce TPU v4 est “1,2x-1,7x plus rapide et utilise 1,3x-1,9x moins d’énergie que le Nvidia A100“.
Nvidia n’a pas dit son dernier mot en IA, le H100
“Les performances, l’évolutivité et la disponibilité font des supercalculateurs TPU v4 les bêtes de somme des grands modèles de langage“, poursuivent les chercheurs. Toutefois, ils ne comparent pas le TPU de Google à la dernière puce dédiée à l’IA de Nvidia, la H100. Celle-ci ne serait pas comparable selon les chercheurs, car plus récente et fabriquée avec une technologie plus avancée que celle du TPU.
Pour y voir plus clair, le classement MLPerf des puces les plus puissantes en matière d’IA était dévoilé mercredi. Selon le PDG de Nvidia, Jensen Huang, les résultats de la H100 montre une augmentation importante des performances de ses GPU par rapport à la génération précédente : “le MLPerf 3.0 met en évidence le fait que Hopper (H100) est quatre fois plus performant que A100“, écrit-il dans un billet de blog.
Celui-ci y écrit aussi que “le prochain niveau d’IA générative nécessite une nouvelle infrastructure d’IA pour former de grands modèles de langage avec une grande efficacité énergétique.”
L’apprentissage de l’intelligence artificielle, gourmand en énergie
En effet, les modèles d’intelligence artificielle tels que Bard de Google ou ChatGPT d’OpenAI nécessitent un grand nombre d’ordinateurs et des milliers de puces pour travailler à l’entraînement des modèles 24 heures sur 24. C’est une utilisation particulièrement gourmande en énergie et très coûteuse. Chaque constructeur essaye donc d’optimiser ses ordinateurs pour réduire leur consommation et améliorer leur efficacité.
Sans Microsoft qui investissait 10 milliards dans OpenAI, la société derrière ChatGPT, jamais le chatbot n’aurait pu atteindre les performances qu’il connait aujourd’hui. Il y a quelques années, le matériel utilisé pour le machine learning consistait principalement en des ordinateurs particuliers qui tournaient la nuit pour affiner les modèles. Aujourd’hui, les échelles ne sont plus comparables. Depuis que les géants de la technologie s’en sont mêlés, ce sont désormais des gigantesques supercalculateurs qui tournent à plein régime pour affiner des modèles d’IA aux milliards de variables.
À lire : ChatGPT : Elon Musk voulait diriger OpenAI mais a été écarté, il accuse Microsoft de « monopole impitoyable »
Les besoins en énergie de l’IA sont aussi une aubaine pour les fournisseurs de services cloud comme Amazon, Google et Microsoft qui peuvent louer leur capacité de traitement informatique à l’heure. Cela leur permet aussi de développer leur propre technologie en interne. Grâce à leurs supercalculateurs, les géants peuvent fournir du temps de calcul aux startups et établir des relations privilégiées. C’est ce qui s’est passé entre Microsoft et OpenAI. De même, Google a déclaré que le générateur d’images d’IA Midjourney avait été formé sur ses puces TPU.
Source : Google
