El fabricante de chips Nvidia anunció el lunes que su tecnología de red Spectrum-X ha ayudado a expandir la supercomputadora Colossus de la startup xAI, ahora reconocida como el grupo de entrenamiento de IA más grande del mundo.
Ubicado en Memphis, Tennessee, Colossus sirve como campo de entrenamiento para la tercera generación de Grok, el conjunto de grandes modelos de lenguaje de xAI desarrollados para potenciar las funciones de chatbot para los suscriptores de X Premium.
Coloso, terminado En tan sólo 122 días, comenzó a entrenar sus primeros modelos 19 días después de su instalación. La startup xAI del multimillonario tecnológico Elon Musk planea duplicar la capacidad del sistema a 200.000 GPU, dijo Nvidia en un declaración los lunes.
En esencia, Colossus es un sistema gigante interconectado de GPU, cada una especializada en procesar grandes conjuntos de datos. Cuando se entrenan los modelos de Grok, necesitan analizar enormes cantidades de texto, imágenes y datos para mejorar sus respuestas.
promocionado Diseñado por Musk como el clúster de entrenamiento de IA más poderoso del mundo, Colossus conecta 100.000 GPU NVIDIA Hopper mediante una red unificada de acceso directo a memoria remota. Las GPU Hopper de Nvidia manejan tareas complejas separando la carga de trabajo entre varias GPU y procesándola en paralelo.
La arquitectura permite que los datos se muevan directamente entre nodos, sin pasar por el sistema operativo y garantizando una baja latencia, así como un rendimiento óptimo para tareas extensas de entrenamiento de IA.
Mientras que las redes Ethernet tradicionales a menudo sufren de congestión y pérdida de paquetes, lo que limita el rendimiento al 60 %, Spectrum-X logra un rendimiento del 95 % sin degradación de la latencia.
Spectrum-X permite que una gran cantidad de GPU se comuniquen más fluidamente entre sí, ya que las redes tradicionales pueden atascarse con demasiados datos.
La tecnología permite entrenar a Grok de forma más rápida y precisa, lo cual es esencial para construir modelos de IA que respondan eficazmente a las interacciones humanas.
Lo del lunes tuvo poco efecto en las acciones de Nvidia, que cayeron ligeramente en el anuncio. Las acciones cotizaban a 141 dólares el lunes, con la capitalización de mercado de la compañía en 3,45 billones de dólares.
Editado por Sebastián Sinclair.
Generalmente inteligente Hoja informativa
Un viaje semanal de IA narrado por Gen, un modelo de IA generativa.