En los últimos años, los avances en Inteligencia Artificial han impactado significativamente la visión por computadora, permitiendo soluciones para tareas complejas como la predicción de fotogramas de video. Esta tarea tiene aplicaciones críticas en dominios como los vehículos autónomos, la predicción meteorológica y la compresión de video. Si bien el Aprendizaje Profundo ha demostrado ser eficaz en el modelado espaciotemporal, las arquitecturas actuales a menudo presentan compromisos entre la precisión de la predicción y la eficiencia computacional. Para abordar este desafío, este estudio evalúa modelos híbridos ligeros de aprendizaje profundo que operan a nivel de mapa de características, utilizando autoencoders para la codificación espacial y el modelado de secuencias temporales a través de Memoria a Largo y Corto Plazo Convolucional (ConvLSTM), Redes Neuronales Convolucionales 3D (3D CNN) y arquitecturas temporales relacionadas. Las soluciones propuestas se prueban en términos de rendimiento, latencia y consumo de energía en tres conjuntos de datos de complejidad variable, que abarcan escenas sintéticas y del mundo real, así como imágenes en escala de grises y en color. Los resultados muestran que las arquitecturas basadas en 3D CNN y ConvLSTM superan a otros enfoques en conjuntos de datos del mundo real de baja complejidad. Además, los modelos propuestos reducen significativamente el tiempo de inferencia y el consumo de energía, ventajas clave para su implementación práctica en escenarios como la transmisión de vídeo o los sistemas de visión embebidos.
In recent years, advances in Artificial Intelligence have significantly impacted computer vision, enabling solutions to complex tasks such as video frame prediction. This task has critical applications in domains like autonomous cars, weather forecasting, and video compression. While Deep Learning has proven effective in spatiotemporal modeling, current architectures often face trade-offs between prediction accuracy and computational efficiency. To address this challenge, this study evaluates lightweight hybrid deep learning models that operate at the feature-map level, using autoencoders for spatial encoding and temporal sequence modeling through Convolutional Long Short-Term Memory (ConvLSTM), 3D Convolutional Neural Networks (3D CNNs), and related temporal architectures. The proposed solutions are tested in terms of performance, latency and energy consumption on three datasets of varying complexity, encompassing synthetic and real-world scenes, as well as grayscale and color imagery. Results show that architectures based on 3D CNNs and ConvLSTMs outperform other approaches on low-complexity real-world datasets. Moreover, the proposed models significantly reduce inference time and energy consumption, key advantages for practical deployment in scenarios such as video streaming or embedded vision systems.
Publicado por nuestro investigador, José Manuel Sánchez Velázquez, antiguos compañeros del CEIEC como Alberto Nogales y Andrew Coney y junto a nuestro querido Álvaro García Tejedor, cuyo compromiso, rigor y dedicación representan fielmente los valores que definen nuestro trabajo investigador.
