Une carte bi-GPU avec 188 Go de mémoire vive !
H100 NVL. © Nvidia.
Les grands modèles de langage (LLM) sont très gourmands en mémoire et en puissance de calcul, et leur succès amène les fabricants de GPUs à concevoir des produits qui leur sont spécifiquement dédiés. Ainsi, Nvidia a présenté la H100 NVL, qui est constituée de deux cartes PCIe H100 unies par un pont (connexions NVLink 4) et est équipée d’une quantité de mémoire hors norme : 188 Go de RAM HBM3. En outre, la bande passante globale de la carte est de 7,8 To/seconde. Nvidia annonce que la H100 NVL offre un débit d’inférence GPT3-175B (175 milliards de paramètres) 12 fois supérieur à celui d’un HGX A100 de dernière génération. Comme il s’agit d’une solution constituée de deux cartes, chaque H100 NVL occupe un espace de deux slots. Ces cartes commenceront à être livrées au cours du second semestre de cette année. La société n’a pas indiqué de prix, mais on sait que ça va coûter cher (comptez plusieurs dizaines de milliers de dollars). L’explosion de l’utilisation des LLM est en passe de se transformer en une nouvelle ruée vers l’or pour le marché des GPU pour serveurs.
Par ailleurs, Michael Kagan, directeur de la technologie chez Nvidia, a récemment déclaré au Guardian que les cryptomonnaies n’apportaient “rien d’utile à la société”. “Je n’ai jamais cru que [les cryptomonnaies] pouvaient apporter quelque chose de bon à l’humanité. Vous savez, les gens font des choses folles, mais ils achètent vos produits, vous leur vendez des produits. Mais vous ne réorientez pas l’entreprise pour soutenir ce qu’ils font.” Nvidia n’a jamais accueilli la communauté cryptographique à bras ouverts. En 2021, l’entreprise a même imposé un système qui limitait artificiellement la possibilité d’utiliser ses cartes graphiques pour miner la populaire cryptomonnaie d’Ethereum, dans le but de s’assurer que ses produits disponibles aillent plutôt à ses clients favoris, comme les chercheurs en IA et les joueurs.
⇨ AnandTech, Ryan Smith, “NVIDIA Announces H100 NVL - Max Memory Server Card for Large Language Models.”
⇨ Tom’s Hardware, Jarred Walton, “Nvidia Is Bringing Back the Dual GPU... for Data Centers.”
2023-03-21
