James Ding
18 de julio de 2024 15:14
Mistral AI y NVIDIA presentan Mistral NeMo 12B, un modelo de IA empresarial personalizable e implementable para chatbots, tareas multilingües, codificación y resumen.
Mistral AI y NVIDIA han lanzado un modelo de lenguaje revolucionario, Mistral NeMo 12B, diseñado para ser fácilmente personalizable e implementable para aplicaciones empresariales. Este modelo admite una variedad de tareas que incluyen chatbots, procesamiento multilingüe, codificación y resumen, dependiendo de blogs.nvidia.com.
Colaboración de alto rendimiento
El Mistral NeMo 12B aprovecha la experiencia de Mistral AI en entrenamiento de datos, combinada con el ecosistema optimizado de hardware y software de NVIDIA. Guillaume Lample, cofundador y científico jefe de Mistral AI, destacó la importancia de esta colaboración, destacando la precisión, flexibilidad y eficiencia sin precedentes del modelo, mejoradas por la implementación de NVIDIA AI Enterprise.
Capacitado en la plataforma NVIDIA DGX Cloud AI, el modelo Mistral NeMo se beneficia de un acceso escalable a la última arquitectura de NVIDIA. El uso de NVIDIA TensorRT-LLM para un rendimiento de inferencia acelerado y la plataforma de desarrollo NVIDIA NeMo para crear modelos de IA generativos personalizados mejora aún más sus capacidades.
Funciones y capacidades avanzadas
El Mistral NeMo 12B destaca en conversaciones de varios turnos, matemáticas, razonamiento de sentido común, conocimiento del mundo y codificación. Con una longitud de contexto de 128 KB, procesa información completa y compleja de manera consistente, garantizando resultados contextualmente relevantes. Lanzado bajo la licencia Apache 2.0, el modelo fomenta la innovación dentro de la comunidad de IA.
Este modelo de 12 mil millones de parámetros utiliza el formato de datos FP8 para la inferencia del modelo, lo que reduce el tamaño de la memoria y acelera la implementación sin comprometer la precisión. Empaquetado como un microservicio de inferencia NIM de NVIDIA, ofrece inferencia de rendimiento optimizado con motores NVIDIA TensorRT-LLM, lo que facilita la implementación en diferentes plataformas.
Implementación de nivel empresarial
El Mistral NeMo NIM se puede implementar en minutos, lo que proporciona una mayor flexibilidad para diversas aplicaciones. Cuenta con software de nivel empresarial, que incluye ramas de funciones dedicadas, procesos de validación rigurosos y seguridad y soporte sólidos. El modelo está diseñado para adaptarse a la memoria de una única GPU NVIDIA L40S, NVIDIA GeForce RTX 4090 o NVIDIA RTX 4500, lo que garantiza una alta eficiencia, un bajo costo computacional y una seguridad y privacidad mejoradas.
Entrenamiento e inferencia optimizados.
Combinando la experiencia de los ingenieros de Mistral AI y NVIDIA, el modelo Mistral NeMo se beneficia de procesos de inferencia y entrenamiento optimizados. Entrenado con la experiencia de Mistral AI en multilingüismo, codificación y contenido de múltiples rondas, el modelo utiliza la pila completa de NVIDIA para un entrenamiento acelerado. Utiliza paralelismo de modelos eficiente, escalabilidad y técnicas de precisión mixta con Megatron-LM, parte de NVIDIA NeMo.
El proceso de capacitación involucró 3072 GPU Tensor Core H100 de 80 GB en DGX Cloud, utilizando la arquitectura de inteligencia artificial de NVIDIA para mejorar la eficiencia de la capacitación.
Disponibilidad e implementación
El modelo Mistral NeMo está disponible para su implementación en diferentes plataformas, incluida la nube, centros de datos o estaciones de trabajo RTX. Las empresas pueden experimentar Mistral NeMo como NVIDIA NIM a través de ai.nvidia.comy se espera una versión NIM descargable pronto.
Fuente de la imagen: Shutterstock