Investigadores de la UGR mejoran la eficiencia de los modelos de lenguaje basados en IA para que se puedan usar en más dispositivos

Un equipo de investigadores de la Universidad de Granada ha desarrollado una innovadora metodología para reducir el tamaño y hacer más accesibles los modelos de lenguaje basados en BERT, que es un sistema que utiliza el aprendizaje automático para procesar el lenguaje natural.

El enfoque diseñado en la UGR se denomina 'Persistent BERT Compression and Explainability (PBCE)' y utiliza homología persistente para identificar y eliminar neuronas redundantes, logrando una reducción del tamaño del modelo de hasta un 47% en BERT Base y un 42% en BERT Large, sin afectar significativamente la precisión de las tareas de procesamiento del lenguaje natural que este sistema logra.

BERT se usa, por ejemplo, en los buscadores como Google para clasificar los resultados de búsqueda, entender mejor las consultas de los usuarios y ofrecer respuestas adecuadas.

Los grandes modelos de lenguaje (LLM) como BERT han revolucionado el campo de la inteligencia artificial, pero su elevado consumo de recursos limita su uso en dispositivos con menor capacidad, como por ejemplo los móviles. Además, son esencialmente modelos de caja negra, difíciles de explicar e interpretar. Por ello, los investigadores de la UGR han dado un paso hacia la 'IA verde': mejorar la eficiencia de los modelos sin aumentar su huella de carbono.

«Este método no solo reduce el tamaño del modelo, sino que también mejora la interpretabilidad del comportamiento de las neuronas, acercándonos a redes neuronales más explicables», detalla Luis Balderas, uno de los autores del estudio, quien es investigador de la UGR y del Instituto DaSCI.

La investigación, publicada en la revista Applied Sciences, demuestra que PBCE logra mantener un alto rendimiento en el GLUE Benchmark, un conjunto de pruebas estándar para evaluar modelos de lenguaje. De hecho, en varias tareas clave, el modelo comprimido incluso supera a la versión original de BERT.

Este avance abre nuevas posibilidades para la implementación de modelos de IA en dispositivos móviles y sistemas con recursos limitados, haciendo la inteligencia artificial más accesible y eficiente.