Detrás de cámaras: nuestro laboratorio de aprendizaje automático
En nuestro último artículo, nos sumergimos en el fascinante mundo de la tecnología de sincronización de labios de Rask AI, con la guía del director de aprendizaje automático de la empresa, Dima Vypirailenko. Te llevamos detrás de escena en el Brask ML Lab, un centro de excelencia tecnológica, para ver de primera mano cómo esta innovadora herramienta de IA está causando sensación en la creación y distribución de contenido. Nuestro equipo incluye ingenieros de aprendizaje automático y artistas de efectos visuales de primer nivel mundial que no solo se adaptan al futuro, sino que lo están creando.
Acompáñanos a descubrir cómo esta tecnología está transformando la industria creativa, reduciendo los costos y ayudando a los creadores a llegar a audiencias de todo el mundo.
¿Qué es la tecnología de sincronización de labios?
Uno de los principales retos en la localización de videos es el movimiento poco natural de los labios. La tecnología de sincronización de labios está diseñada para ayudar a sincronizar eficazmente los movimientos de los labios con pistas de audio multilingües.
Como hemos aprendido en nuestro último artículo, la técnica de sincronización de labios es mucho más compleja que simplemente coordinar los tiempos: también necesitas lograr los movimientos correctos de la boca. Cada palabra pronunciada afecta la cara del hablante; por ejemplo, una "O" creará obviamente una forma ovalada en la boca que no será una "M", lo que añade mucha más complejidad al proceso de doblaje.
¡Te presentamos el nuevo modelo de sincronización de labios con mejor calidad!
Nuestro equipo de aprendizaje automático decidió mejorar el modelo de sincronización de labios existente. ¿Cuál fue el motivo de esta decisión y qué novedades trae esta versión en comparación con la versión beta?
Se realizaron importantes esfuerzos para mejorar el modelo, entre los que se incluyen:
- Mayor precisión: Hemos perfeccionado los algoritmos de IA para analizar y hacer coincidir mejor los detalles fonéticos del lenguaje hablado, lo que se traduce en movimientos labiales más precisos y estrechamente sincronizados con el audio en varios idiomas.
- Mayor naturalidad: Al integrar datos de captura de movimiento más avanzados y perfeccionar nuestras técnicas de aprendizaje automático, hemos mejorado significativamente la naturalidad de los movimientos labiales, lo que hace que el habla de los personajes se vea más fluida y realista.
- Mayor velocidad y eficiencia: Optimizamos el modelo para procesar videos más rápido sin sacrificar la calidad, lo que permite plazos de entrega más cortos para proyectos que requieren una localización a gran escala.
- Incorporación de los comentarios de los usuarios: Recopilamos activamente los comentarios de los usuarios de la versión beta e incorporamos sus opiniones al proceso de desarrollo para resolver problemas específicos y mejorar la satisfacción general de los usuarios.
¿Cómo sincroniza exactamente nuestro modelo de IA los movimientos de los labios con el audio traducido?
Dima: «Nuestro modelo de IA funciona combinando la información del audio traducido con la información sobre el rostro de la persona que aparece en el cuadro, y luego fusiona ambos datos en el resultado final. Esta integración garantiza que los movimientos de los labios se sincronicen con precisión con el discurso traducido, lo que brinda una experiencia visual fluida».
¿Qué características únicas hacen que la sincronización de labios prémium sea ideal para contenido de alta calidad?
Dima: “La sincronización de labios prémium está diseñada específicamente para manejar contenido de alta calidad gracias a funciones únicas como la capacidad multivoz y soporte de alta resolución. Puede procesar videos de hasta resolución 2K, lo que garantiza que la calidad visual se mantenga sin compromisos. Además, la función multivoz permite una sincronización de labios precisa entre diferentes hablantes dentro del mismo video, por lo que resulta muy útil para producciones complejas con varios personajes o hablantes. Estas características hacen que la sincronización de labios prémium sea la opción principal para los creadores que buscan contenido de nivel profesional”.
¿Y qué es la función de sincronización de labios multivoz?
La función de sincronización de labios multivoz está diseñada para sincronizar con precisión el movimiento de los labios con el audio hablado en videos que tienen varias personas. Esta tecnología avanzada identifica y diferencia múltiples rostros en un solo fotograma, lo que garantiza que los movimientos de los labios de cada persona se animen correctamente según lo que están diciendo.
Cómo funciona la sincronización de labios multivoz:
- Reconocimiento de rostros en el fotograma: Esta función reconoce inicialmente todos los rostros presentes en el fotograma del video, sin importar cuántos sean. Es capaz de identificar a cada persona, lo cual es fundamental para lograr una sincronización labial precisa.
- Sincronización de audio: Durante la reproducción del video, la tecnología sincroniza la pista de audio específicamente con la persona que está hablando. Este proceso de sincronización preciso garantiza que la voz y los movimientos de los labios estén sincronizados.
- Sincronización del movimiento de los labios: Una vez que se identifica a la persona que está hablando, la función de sincronización de labios redibuja los movimientos bucales únicamente para esa persona. Las demás personas en el fotograma que no estén hablando mantendrán sus movimientos labiales sin cambios, conservando su estado natural durante todo el video. Esta sincronización se aplica exclusivamente al hablante activo, lo que la hace eficaz incluso si hay voces fuera de cámara o varios rostros en la escena.
- Manejo de imágenes estáticas de labios: Curiosamente, esta tecnología también es lo suficientemente sofisticada como para redibujar los movimientos de los labios en imágenes estáticas si aparecen en el fotograma del video, lo que demuestra su gran versatilidad.
Esta función de sincronización de labios multivoz mejora el realismo y la interacción de los espectadores en escenas con múltiples hablantes o configuraciones de video complejas, asegurando que solo los labios de las personas que hablan se muevan al ritmo del audio. Este enfoque específico ayuda a mantener la atención en el hablante activo y conserva la dinámica natural de las conversaciones grupales en los videos.
A partir de un solo video, en cualquier idioma, puedes crear cientos de videos personalizados con diferentes ofertas en varios idiomas. Esta versatilidad cambia por completo la forma en que los profesionales del marketing pueden conectar con audiencias diversas y globales, lo que aumenta el impacto y el alcance del contenido promocional.
¿Cómo logran un equilibrio entre la calidad y la velocidad de procesamiento en la nueva sincronización de labios prémium?
Dima: «Lograr un equilibrio entre la alta calidad y la velocidad de procesamiento en Premium Lipsync es todo un reto, pero hemos logrado avances significativos en la optimización de la inferencia de nuestro modelo. Esta optimización nos permite ofrecer la mejor calidad posible a una velocidad aceptable».
¿Encontraste alguna imperfección interesante o alguna sorpresa mientras entrenabas el modelo?
Además, trabajar con obstrucciones alrededor de la boca ha resultado ser bastante difícil. Estos elementos requieren mucha atención a los detalles y un modelado avanzado para lograr un resultado realista y preciso con nuestra tecnología de sincronización de labios.
¿Cómo garantiza el equipo de aprendizaje automático la privacidad y la protección de los datos de los usuarios al procesar materiales de video?
Dima: Nuestro equipo de aprendizaje automático se toma muy en serio la privacidad y la protección de los datos de los usuarios. Para el modelo Lipsync, no utilizamos datos de clientes para el entrenamiento, lo que elimina cualquier riesgo de robo de identidad. Para entrenar nuestro modelo, nos basamos exclusivamente en datos de código abierto que cuentan con las licencias adecuadas. Además, el modelo opera como una instancia independiente para cada usuario, lo que garantiza que el video final se entregue únicamente al usuario específico y evita cualquier mezcla de datos.
Nuestro compromiso principal es impulsar a los creadores y garantizar el uso responsable de la IA en la creación de contenido, con un fuerte enfoque en los derechos legales y la transparencia ética. Te garantizamos que tus videos, fotos, voces y tu imagen nunca se usarán sin autorización explícita, para proteger así tus datos personales y tus creaciones.
Somos miembros orgullosos de The Coalition for Content Provenance and Authenticity (C2PA) y The Content Authenticity Initiative, lo que refleja nuestra dedicación a la integridad y autenticidad del contenido en la era digital. Además, nuestra fundadora y directora general, Maria Chmir, aparece en el directorio de Women in AI Ethics™, lo que destaca nuestro liderazgo en prácticas éticas de IA.
¿Cuáles son las perspectivas futuras para el desarrollo de la tecnología de sincronización de labios? ¿Hay algún área en particular que te entusiasme?
Dima: Creemos que nuestra tecnología de sincronización de labios puede servir como base para seguir avanzando hacia los avatares digitales. Imaginamos un futuro donde cualquier persona pueda crear y localizar contenido sin incurrir en costos de producción de video.
A corto plazo, en los próximos dos meses, nos comprometemos a mejorar el rendimiento y la calidad de nuestro modelo. Nuestro objetivo es garantizar un funcionamiento fluido en videos 4K y mejorar la funcionalidad con videos traducidos a idiomas asiáticos. Estos avances son fundamentales para ampliar la accesibilidad y la usabilidad de nuestra tecnología, abriendo el camino hacia aplicaciones innovadoras en la creación de contenido digital. ¡Romper las barreras del idioma nunca había estado tan cerca! Prueba nuestra función mejorada de sincronización de labios y envíanos tus comentarios al respecto.
Rask%20Lens%20A%20Recap%204.webp)
