Introducción al Motion Capture, ¿qué es y para qué sirve en animación?
Mocap, palabra abreviada que proviene de Motion Capture o captura de movimiento, es una técnica que busca rastrear el movimiento, de una persona, animal u objeto, para registrar esta información y poder procesarla, ya sea en tiempo real o no, y así normalmente aplicarla sobre un personaje digital.
Se utiliza en multitud de sectores y campos profesionales, desde estudios científicos, investigación médicas, robótica y por supuesto, la industria del entretenimiento, en la que nos centraremos en este artículo.
En las últimas décadas esta técnica ha tenido un gran incremento de adeptos, ya que el desarrollo tecnológico ha permitido mejorar, abaratar y simplificar todo el proceso que conlleva dentro de un estudio. Pero el Motion Capture no es una técnica que aparezca en el siglo XIX, (de esto hablaremos un poco más adelante y veremos cómo surge esté tipo de animación y de donde viene).
Hoy en día el Mocap es parte esencial de la industria del entretenimiento, cine, publicidad, videojuegos y televisión. Sobre todo veremos que esta técnica se utiliza cuando se quieren crear animaciones realistas, incluso cuando queremos recrear criaturas o animales, pero que deben parecer reales para el espectador.
Un pequeño spoiler: Golum, interpretado por Andy Serkis en 2003, fue el primer personaje digital galardonado por los premios MTV utilizando el Mocap.
Aplicaciones y usos del Motion Capture en trabajos de VFX
Podríamos pensar que si existe la captura de movimiento utilizando actores, ¿por qué se siguen utilizando técnicas de animación como key animation, stop motion o frame by frame?
Para responder a esta pregunta debemos tener en cuenta que se trata de una técnica que sirve para algunas producciones, dependiendo del acabado o de si queremos una animación realista. Sin embargo cuando hablamos de animaciones más cartoon donde los personajes se deforman o tenemos una animación muy estilizado, la técnica del Mocap no nos valdría.
En la actualidad, existen multitud de técnicas de captura de movimiento, estas se pueden agrupar entre:
- Los sistemas ópticos: Estos funcionan siguiendo un marcador físico. Estos marcadores pueden ser activos o pasivos. Por simplificar, los marcadores activos son aquellos que emiten algún tipo de luz ya sea utilizando una luz led que es captada por las cámara especiales y registran los datos de movimiento. Por otro lado, los marcadores pasivos reflejan la luz. Es decir, son reflectores, adhesivos como pegatinas o pelotas, incluso pintura facial. Estos son recogidos directamente por una cámara y el software los registra.
- Los sistemas no ópticos (inerciales, magnéticos y mecánicos): Estos no utilizan marcadores. En su lugar utilizan un software de movimiento que sigue el movimiento de un actor. El software busca coincidencias para seguir el movimiento, busca características claves como la nariz o una prenda. Este tipo de tecnología la tenemos en nuestro entorno ya sea sistema como el Kinect de Microsoft (que se lanzó en 2010) o en el propio smartphone cuando utilizamos aplicaciones de filtro facial. El sensor Kinect consta de una cámara RGB y un sensor de profundidad que proyecta rayos infrarrojos. En el caso del iPhone, este viene equipado con un sensor de profundidad que mapea con precisión hasta 30000 puntos referencia facial que luego pueden utilizarse como datos de Mocap. Como ves esta técnica es la más asequible, ya que no requiere apenas de equipamiento.
Los sistemas ópticos son los más extendidos actualmente, aunque tienen sus propias limitaciones. Un ejemplo de ello podría ser cuando algún objeto obstaculiza la visión de las cámaras a los marcadores.
Para que la captura de la información sea lo mejor posible es necesario calibrar correctamente el software con el actor y las cámaras. Esto puede llevar horas de trabajo de todo un equipo especializado.
¿Cómo es el trabajo de un animador en Mocap?
Para trabajar con animaciones de Mocap es importante conocer las técnicas y herramientas específicas de cada programa como MotionBuilder (Human Inverse Kinematics), Maya (Custom rigs), Blender, Houdini o C4D.
Una de las cosas más importantes que debemos saber es que cuanto mejor sea la captura de los datos en el set o estudio, más sencillo y mejor será nuestro trabajo como animadores.
Una vez se tiene la captura de movimiento que trae datos de posición y rotación, se transfiere a un esqueleto de Mocap (el esqueleto del personaje). A este proceso se le llama retargeting.
Cuando ya se tiene un personaje con la animación aplicada, se pasa a las animaciones secundarias, correcciones o fixing por parte de los animadores. Estos hacen una limpieza de curvas o gimbal lock y arreglos de las curvas, contactos, etc. además de mejorar las escalas, pesos y timing para que funcionen correctamente. Por ejemplo, MotionBuilder tiene filtros para limpiar las curvas y no eliminar animaciones que no queremos perder.
Como decíamos antes, el Mocap es una herramienta para los animadores pero esta tiene sus limitaciones como pueden ser la captura de ropa, capas o elementos, entre otros. Estos suelen ser animados a posteriori por el animador sobre la capa de animación principal.
Evolución del Mocap Animation
Ahora toca un poco de historia sobre el Mocap.
En 1878 el fotógrafo Eadward Muybridge inventó un método fotográfico para capturar un caballo al galope. Lo diseñó para investigar si las pezuñas de los caballos en algún momento del galope estaban todas en el aire. Estas imágenes no solo permitieron a los espectadores analizar los movimientos, sino que también crearon una secuencia de vídeo, brindando al mundo la primera imagen en movimiento.
Muybridge siguió con sus investigaciones capturando el movimiento de animales y humanos entre otros pero 37 años más tarde, en 1915. Max Fleisher, creador de Berry Boop y Popeye, inventa la técnica de la rotoscopia. Este momento se considera como el nacimiento de la captura de movimiento, ya que la rotoscopia se basa en copiar -o en ese momento-, dibujar encima de un metraje real, cuadro a cuadro el movimiento de los personajes. Esta técnica se llegó a utilizar en multitud de largometrajes de animación como Blancanieves y los siete enanitos o Alicia en el país de las maravillas.
La rotoscopia permitió obtener movimientos más fluidos y realistas que los animadores no podrían lograr por sí solos. Como curiosidad, en varias producciones de Disney se reutilizaron secuencias con rotoscopias para reducir costes y tiempos de producción. Por ejemplo, el baile de Blancanieves y los siete enanitos se reutilizo en Robin Hood, y el vals de La Bella y la Bestia se tomó prestado de La Bella Durmiente.
Fue en la década de los años 50 cuando Lee Harrison III, que era animador, estaba experimentando con circuitos analógicos y tubos de rayos catódicos y creó un mono con potenciometros. Gracias a estos pudo registrar los movimientos de un actor en tiempo real, con una visualización sencilla utilizando líneas. Lo llamo Animax, y podemos decir que este es el abuelo del Mocap moderno.
Años más tarde, en la década de los 80, los animadores utilizaron monos con marcadores activos y una gran cantidad de cámaras que rastreaban los movimientos, lo que daba como resultado imágenes con gran detalle, mucho más que los conseguidos por Harrison. Pero uno de los inconvenientes de estas cámaras especializadas era su gran tamaño, llegando a ser como un refrigerador pequeño, además que era necesario asignar manualmente cada marcador por cada fotograma, en cada escena grabada. Esto hacía que fuera un proceso muy laborioso.
Ya en siglo XXI, en el año 2016, el Mocap tuvo de nuevo un gran impacto en la industria con la presentación realizada por el equipo de Ninja Theory, Epic Games, Vicon y otras compañías, donde realizaban una demostración de Mocap en vivo del juego Hellblade, que demostraba una gran fidelidad de las últimas tecnologías.
El verdadero logro y salto cualitativo se realiza en 2018 con la presentación de Siren (de nuevo una demostración por parte de Vicon y Epic Games), donde presentaban un humano digital que seguía los movimientos de una actriz en vivo que vestía un traje de Mocap y un casco de reconocimiento facial. Este nuevo sistema permitía total espontaneidad y flexibilidad a la actriz.
Técnicas avanzadas en la animación VFX a través de Motion Capture
Como hemos visto, la técnica del Motion Capture ha ido creciendo y evolucionando gracias a las tecnologías y a la capacidad de procesamiento de información por parte de los ordenadores.
Lleva muchos años siendo una técnica muy extendida en grandes producciones, como fue el caso de Titanic (1997), donde se utilizó para crear una biblioteca de figurantes, -o lo que conocemos en CGI como multitudes o crowds-.
También podemos hablar de un personaje muy conocido de la saga de Star Wars: Jar Jar Binks en La Amenaza Fantasma (1999), personaje totalmente generado por ordenador e interpretado por Ahmed Best con una traje de Mocap dentro de un estudio.
No obstante, no es hasta el año 2000 cuando se estrena la primera película de animación completamente realizada con captura de movimiento: Sinbad: Beyond the Veil of Mists. Aunque su resultado estético no es muy atractivo, esta fue bastante revolucionaria y proporcionó un punto de partida para sucesivas películas como Polar Express (2004).
Una de las compañías que ayudó al auge del Motion Capture es Weta Digital, empresa enfocado en los efectos especiales y que fue la responsable de crear el personaje de Gollum en la trilogía de El Señor de los Anillos (2001-2003) Además, también ayudaron a crear personajes como King Kong (2005) o el capitán Haddock en Las aventuras de tintín: El secreto del unicornio (2011).
La captura de movimiento estaba limitada a tener que ser grabada en un estudio a parte del rodaje, por tanto los actores tenían que imaginarse esa interacción con lo que luego sería el personaje digital. Fue en los finales del rodaje de El Señor de los Anillos (2001) cuando el equipo de Weta consiguió poder capturar el movimiento del actor Andy Serkis en el propio set de rodaje mientras graban la escena de imagen real.
Esta técnica se implementó posteriormente en las películas del El Hobbit (2012-2014). Además como dato curioso, es en estas película donde también se mejoró y desarrolló la tecnología que hoy en día utilizamos del subsurface scattering para conseguir imitar la piel en los materiales de los personajes. Así se obtiene el efecto que imita cuando la luz penetra en la piel y esta se ve reflejada y dispersada, haciendo que los personajes digitales tengan mayor realismo.
Ejemplos de Películas y Videojuegos que utilizaron animación Motion Capture
Como imagináis, podemos nombrar multitud de producciones taquilleras que han utilizado la captura de movimiento para conseguir animaciones más realistas, permitiendo a los actores reales transmitir emociones y expresividad a sus dobles digitales. Desde Avatar (2009) pasando por el actor Mark Ruffalo como Hulk en Los Vengadores (2012 – 2019). Por supuesto, sin olvidar la franquicia de Piratas del Caribe (2003 – 2017) con el personaje de David Jones, o Jurassic World (2015), donde fue un gran reto hacer retargeting del movimiento de un actor humano a un dinosaurios.
Aunque queda claro que el sector del cine y la televisión han utilizado esta tecnología, en el ámbito del videojuego tenemos ejemplos claros como es el de EA Sports. En FIFA, por ejemplo, utilizan la captura de movimiento para obtener los movimientos más característicos de cada jugador.
Otros ejemplos pueden ser Rockstar Games, Grand Theft Auto IV y Red Dead Redemption, que fueron los primeros en incorporar esta tecnología y la utilizaron con los actores que doblaban las voces para darle una apariencia más acorde a la interpretación del actor.
Casos de éxito con Motion Capture
En el último mes hemos tenido un acontecimiento televisivo que refleja el interés de las grandes compañías en invertir en esta tecnología, el Toy Story Funday Football de ESPN (2023).
ESPN, The Walt Disney Company y la National Football League se unen para emitir el partido de fútbol americano entre los Atlanta Falcons y Los Jacksonville Jaguars en el estadio de Wembley de Londres. En este se recreó en tiempo real la habitación de Andy de Toy Story (1995) utilizando la tecnología de Mocap de última generación para representar a cada jugador, árbitro y demás personal del partido con avatares digitales, que recreaban en tiempo real los movimientos de los jugadores y partidas.
Como imagináis esto es posible gracias a la combinación de varias técnicas. Por una parte están los chips de seguimiento (etiquetas RFID) que cada jugador tiene incorporado en su traje, además del chip en la pelota. Pero también existe un seguimiento de enlace óptico, además de clips de animaciones pregrabadas que se disparan en momentos puntuales como cuando se realiza un touchdown. Esta tecnología ha sido posible gracias a compañías como Epic Games o Ubisoft, que han apostado por su desarrollo a lo largo de las décadas.
Perspectivas de la animación por Motion Capture en la Industria del entretenimiento
La captura de movimiento es una tecnología que se encuentra en plena expansión y cada día tiene mayor uso y comercialización. Ya no solo en el ámbito del entretenimiento si no en otros grandes sectores.
Estudios como Centroid Motion Capture y Goodbye Kansas tienen una impresionante cartera de producciones que han utilizado con éxito la captura de movimiento, desde The Walking Dead hasta Pacific Rim: Uprising.
El futuro de la captura de movimiento es superar el reto o barrera de poder obtener una gran calidad y precisión en los datos sin necesidad de marcadores. Esto será posible implementando herramientas como la Inteligencia Artificial, el aprendizaje automático o la computación cuántica, para reconocer patrones, limpieza y optimización de los datos recogidos.
Cuando ese momento llegue y se pueda procesar la información con una velocidad inimaginable, esta tecnología del Mocap podrá expandirse y ser más accesible a los usuarios.
