Mistral AI presenta los modelos Ministral 3B y 8B para Edge Computing

Mistral AI anunció el lanzamiento de dos nuevos modelos, Ministral 3B y Ministral 8B, diseñados específicamente para computación en el dispositivo y casos de uso de borde, según Mistral AI. Estos modelos se presentaron en el primer aniversario del lanzamiento del Mistral 7B, que marcó un hito en la innovación de vanguardia en IA.

Funciones avanzadas y casos de uso

Los modelos Ministral están diseñados para sobresalir en áreas como conocimiento, razonamiento con sentido común, llamadas a funciones y eficiencia dentro de la categoría sub-10B. Ofrecen una longitud de contexto extendida de hasta 128 KB, y el Ministral 8B presenta un modelo exclusivo de atención de ventana deslizante entrelazada para mejorar la velocidad y la eficiencia de la memoria. Estas capacidades hacen que los modelos sean adecuados para una amplia gama de aplicaciones, incluida la traducción en el dispositivo, asistentes inteligentes sin Internet, análisis local y robótica autónoma.

Al trabajar junto con modelos de lenguaje más grandes como Mistral Large, los modelos Ministral sirven como intermediarios eficientes en flujos de trabajo complejos, capaces de analizar entradas, enrutar tareas y llamar a API con baja latencia y costos mínimos. Esto los posiciona como soluciones ideales tanto para desarrolladores independientes como para equipos de fabricación a gran escala que buscan soluciones de inferencia centradas en la privacidad y de baja latencia.

Rendimiento y referencias

Mistral AI comparó el rendimiento del Ministral 3B y 8B con otros modelos, incluidos Gemma 2 2B, Llama 3.2 3B y Mistral 7B. Los resultados demuestran que los modelos Ministral superan consistentemente a sus pares en una variedad de tareas. Estas evaluaciones destacan las capacidades de los modelos para gestionar eficazmente escenarios diversos y complejos.

Disponibilidad y precio

Ambos modelos ya están disponibles, con precios fijados en 0,1 dólares por millón de tokens para Ministral 8B y 0,04 dólares por millón de tokens para Ministral 3B. Los modelos se ofrecen bajo las licencias comerciales y de investigación de Mistral, con opciones de autoimplementación a través de licencias comerciales y soporte para cuantificación sin pérdidas para optimizar el rendimiento para casos de uso específicos. Además, se puede acceder a los pesos de los modelos para Ministral 8B Instruct con fines de investigación.

Perspectivas de futuro

Mistral AI continúa innovando modelos de IA de vanguardia, con el compromiso de ampliar los límites de lo que es posible en la computación de vanguardia. Desde el lanzamiento del Mistral 7B, la empresa ha logrado avances significativos, como lo demuestra el rendimiento superior del nuevo modelo Ministral 3B. Mistral AI espera recibir comentarios de los usuarios mientras exploran las capacidades de los modelos Ministral.

Fuente de la imagen: Shutterstock