Personaje.

Persiator.ai ha anunciado una progresión significativa de la generación de videos de tiempo real con la divulgación de machas parlantes, un modelo innovador de difusión autogresiva. Esta nueva tecnología permite la creación de videos interactivos, orientados al audio, en estilo FaceTime, que permite a los personajes conversar en tiempo real a través de diferentes estilos y géneros, como informados por Blog de personajes..

Revolucionar la generación de videos

Talkingmachines se basa en el trabajo anterior de un personaje. Avatarfx, que alimenta la generación de videos en su plataforma. Este nuevo modelo está preparando el campo para interacciones visuales inmersivas y se suministra en personajes animados en tiempo real y animados. Simplemente utilizando una imagen y una señal de voz, el modelo puede generar contenido dinámico de video, abriendo nuevas posibilidades para el entretenimiento y los soportes interactivos.

Tecnología de TalkingMachines

El modelo utiliza la arquitectura del transformador de difusión (conocido como), utilizando un método conocido como la destilación del conocimiento asimétrico. Este enfoque transforma un modelo de video de dos vías de alta calidad en un generador rápido y real. Las características clave incluyen:

• Diseminación del flujo: Privado para administrar modelos de movimiento complejos, expresiones sutiles a gestos dinámicos.
• Cuidado con una llegada de Audié: Un módulo de audio del parámetro 1.2b que alinea el sonido y el movimiento complejo.
• Atención causal clara: Reduce la memoria y la latencia centrándose en marcos pasados ​​relevantes.
• Destilación asimétrica: Utiliza un modelo rápido de difusión de dos pasos para la generación de longitud infinita sin pérdida de calidad.

Implicaciones para el futuro

Este avance se extiende más allá de la animación facial, abriendo el camino a los personajes interactivos de IA audiovisuales. Apoya una amplia gama de estilos, desde avatares fotorrealistas hasta anime y avatares 3D, y está listo para mejorar la transmisión con fases naturales de habla y escucha. Esta tecnología sienta los conceptos básicos del juego de roles, la narración y la construcción del mundo interactivo.

Avanzar en las capacidades de la IA

La búsqueda de un personaje. AI marca varios avances, incluida una generación de tiempo real, una destilación efectiva y una gran escalabilidad, con operaciones capaces de operar solo en dos GPU. El sistema también es compatible con las interacciones multimenta, lo que permite diálogos de caracteres transparentes.

Perspectivas futuras

Aunque aún no es un lanzamiento de productos, esta evolución es un paso esencial en la hoja de ruta. La compañía trabaja para integrar esta tecnología en su plataforma, destinada a permitir experiencias de tipo FaceTime, transmisión de personajes y la construcción del mundo visual. El objetivo final es democratizar la creación y la interacción con personajes audiovisuales inmersivos.

El personaje. I ha invertido masivamente en el entrenamiento de la infraestructura y el diseño del sistema, utilizando más de 1.5 millones de videoclips organizados y una tubería de entrenamiento de tres pasos. Este enfoque ilustra la precisión y el objetivo de la investigación fronteriza en tecnología de IA.

Fuente de la imagen: Shutterstock