Investigadores del grupo de Robótica, Visión por Computador e Inteligencia Artificial (RoPeRT) del Instituto de Investigación en Ingeniería de Aragón (I3A) junto a investigadores de la Universidad de Stanford, han creado CineMPC, un sistema cinematográfico revolucionario que lleva la filmación con drones a nuevas alturas. Un avance tecnológico que no solo controla la posición y orientación del dron, sino también los elementos intrínsecos de la cámara -distancia focal, distancia de enfoque y apertura-, abriendo la puerta a una amplia gama de aplicaciones y que facilitará el trabajo del director (o usuarios aficionados) que podrá incorporar el dron a su equipo de trabajo.
Hasta ahora, todas las soluciones de drones cinematográficos solo controlaban elementos que implican cómo se sitúa respecto a la persona, por ejemplo, grabarla a tres metros, con un ángulo de 45º o desde el lado derecho. El sistema que ha creado este grupo de investigadores es la primera solución que integra de manera autónoma los parámetros internos de la cámara.
“Este sistema no solo sigue las indicaciones para moverse, sino que también ajusta el enfoque, la profundidad de campo y el zoom para capturar imágenes según diferentes preferencias artísticas”, indica Pablo Pueyo, investigador del I3A. Además, señala cómo CineMPC reoptimiza la trayectoria en cada paso en respuesta a las condiciones cambiantes de la escena en tiempo real. “La percepción del sistema rastrea múltiples objetivos, incluso en situaciones desafiantes, como movimientos rápidos o condiciones de iluminación difíciles.”
Pablo Pueyo reconoce que “en robótica existe un gran número de soluciones que se crean y son funcionales para la simulación. Lo verdaderamente desafiante es implantar esas soluciones en robots reales, con todos los problemas que estos sistemas, y particularmente en el campo de los drones, pueden conllevar”. El investigador afirma que al realizar experimentos en simulación “se pueden tomar grabaciones en entornos más desafiantes; por otro lado, al implementar la solución en una plataforma robótica real, hemos demostrado que esta plataforma es capaz de funcionar en un dron y, por tanto, es viable”.
Recrear grabaciones muy icónicas del cine es una de las aplicaciones que, como explica Pablo Pueyo, CineMPC puede aportar a creadores de contenido y cineastas, “un ejemplo que siempre nombramos es el Dolly Zoom o Vértigo Effect, introducido por Alfred Hitchcock en la película de 1958 “Vértigo”. Este efecto se consigue gracias al control de los intrínsecos de la cámara -en concreto, la distancia focal- Sin este control, el efecto no es reproducible en una plataforma de drones cinematográficos.” Asimismo, este sistema permite realizar grabaciones teniendo en cuenta otras filmaciones, aplicando los parámetros de estas.
Más allá del cine
No obstante, los investigadores se plantean el uso de este control de los elementos internos de la cámara para otros campos que no sean solo cine, por ejemplo, la vigilancia de animales en espacios naturales. “Es difícil utilizar drones para el seguimiento de la vida silvestre desde puntos de vista cercanos. Los drones suelen ser muy ruidosos, por lo que, si el dron se acerca demasiado a los animales, estos se asustan. Gracias al control automático del zoom de la cámara podemos grabarles desde muy lejos, tomando grabaciones de los mismos desde puntos de vista cercanos sin necesidad de acercarnos físicamente a ellos.”, comenta Pablo Pueyo.
Mirando al futuro, el principal desafío que los investigadores se plantean es la democratización del uso de estos drones a través de interfaces más user friendly. De hecho, uno de sus últimos trabajos presentados1 es para introducir una interfaz a la plataforma que sea capaz de extraer diferentes estilos y características de un vídeo que aporte el usuario, y esta le envíe las instrucciones al dron. “Si estás viendo una película y te gusta un determinado corte, puedes introducir esa grabación en el sistema, que se encarga de extraer la información relevante y enviar las instrucciones al dron, el cual se mueve y se controla para recrear estos efectos”, describe Pablo Pueyo.
Aparte de este punto, un buen reto para los investigadores es el uso de varios drones a la vez, grabar a una persona desde diferentes perspectivas y que los drones automáticamente decidan cuál es la mejor coordinándose entre ellos. “Eso sería una extensión a multirobot que nos estamos planteando.”
Compatibilidad con AirSim y ROS (Sistema Operativo Robótico)
El código de CineMPC puede ejecutarse en el simulador AirSim, ofreciendo una experiencia fotorrealista para probar y perfeccionar las técnicas de filmación antes de llevarlas al mundo real. El investigador argumenta que este sistema aporta esa flexibilidad, “la simulación te permite probar más cosas y en escenarios más difíciles de conseguir con un dron real”.
Por su parte ROS, el sistema operativo que se usa en robótica, como expone Pablo Pueyo, “la mayoría de los robots que podemos ver, al menos en el campo de la investigación, utilizan ROS. Que CineMPC tenga compatibilidad con este sistema lo hace más versátil, ya que no tiene que estar adaptado a una plataforma o a un dron en particular”.
Junto a Pablo Pueyo, Juan Dendarieta, Eduardo Montijano, Ana Cristina Murillo y Mac Schwager, son los investigadores que han desarrollado este sistema cinematográfico.
1Artículo: CineTransfer: Controlling a Robot to Imitate Cinematographic Style from a Single Example. https://ieeexplore.ieee.org/abstract/document/10342280
Artículo en Tech Xplore: A fully autonomous drone system for cinematography and wildlife monitoring: https://techxplore.com/news/2024-01-fully-autonomous-drone-cinematography-wildlife.html
Vídeo con los experimentos: CineMPC: Experiments with real drones and simulations
Fotografía: Eduardo Montijano, Pablo Pueyo y Juan Dendarieta.
