La Universidad de Ciencias ha revelado que ha desarrollado un esquema de red neuronal binarizada (BNN) que utiliza gradientes ternarios para abordar los desafíos computacionales de los dispositivos de borde de Internet de las cosas (IoT).
La universidad dijo que el avance podría allanar el camino hacia potentes dispositivos de IoT capaces de utilizar inteligencia artificial (IA) en mayor medida, algo que tiene implicaciones notables para muchos campos en rápido desarrollo. Citó el ejemplo de los dispositivos portátiles de monitoreo de la salud que podrían volverse más eficientes, más pequeños y confiables sin requerir conectividad en la nube en todo momento para funcionar. Las casas inteligentes podrían realizar tareas más complejas y funcionar de forma más receptiva.
Además, los investigadores dijeron que en estos y todos los demás casos de uso posibles, el diseño propuesto también podría reducir el consumo de energía, contribuyendo así a los objetivos de sostenibilidad.
En el corazón de la innovación estuvo la introducción de una arquitectura de computación en memoria basada en memoria de acceso aleatorio (RAM) magnética que, según el equipo, redujo significativamente el tamaño del circuito y el consumo de energía. Se dice que el diseño logró una precisión casi idéntica y tiempos de entrenamiento más rápidos en comparación con los BNN tradicionales, lo que lo convierte en una oferta prometedora para la implementación eficiente de IA en dispositivos con recursos limitados, como los utilizados en los sistemas de IoT.
Al explicar los antecedentes del proyecto, el equipo de investigación dijo que había dos campos tecnológicos amplios y claros que se han estado desarrollando a un ritmo cada vez más rápido durante la última década: la inteligencia artificial (IA) y la IoT, donde tanto los ingenieros como los investigadores prevén un mundo en el que los dispositivos son omnipresentes y constituyen la base de un mundo altamente interconectado.
Sin embargo, el equipo de investigación advirtió que llevar capacidades de IA a los dispositivos de borde de IoT presenta un desafío importante. Las redes neuronales artificiales (ANN), una de las tecnologías de inteligencia artificial más importantes de las cuales las BNN son un subconjunto, requieren recursos computacionales sustanciales.
Mientras tanto, los dispositivos de borde de IoT son intrínsecamente pequeños, con potencia, velocidad de procesamiento y espacio de circuito limitados. Desarrollar RNA que puedan aprender, implementarse y operar de manera eficiente en dispositivos de borde es un obstáculo importante.
En su último estudio publicado en Acceso IEEETakayuki Kawahara y Yuya Fujiwara de la Universidad de Ciencias de Tokio revelaron cómo están trabajando para encontrar soluciones elegantes a este desafío, introduciendo un algoritmo de entrenamiento para BNN, así como una implementación innovadora de este algoritmo en una computación en memoria (CiM). ) arquitectura adecuada para dispositivos IoT.
“Las BNN son ANN que emplean pesos y valores de activación de sólo -1 y +1, y pueden minimizar los recursos informáticos requeridos por la red al reducir la unidad más pequeña de información a solo un bit”, dijo Kawahara. “Sin embargo, aunque los pesos y los valores de activación se pueden almacenar en un solo bit durante la inferencia, los pesos y los gradientes son números reales durante el aprendizaje, y la mayoría de los cálculos realizados durante el aprendizaje también son cálculos de números reales. Por esta razón, ha sido difícil proporcionar capacidades de aprendizaje a las BNN en el borde de IoT”.
Para superar esto, los investigadores desarrollaron un algoritmo de entrenamiento llamado BNN de gradiente ternario (TGBNN), que presenta tres innovaciones clave. Primero, emplea gradientes ternarios durante el entrenamiento, manteniendo pesos y activaciones binarias. En segundo lugar, mejoraron el estimador directo (STE), mejorando el control de la retropropagación del gradiente para garantizar un aprendizaje eficiente. En tercer lugar, adoptaron un enfoque probabilístico para actualizar los parámetros aprovechando el comportamiento de las celdas de RAM magnética (MRAM).
Posteriormente, el equipo de investigación implementó el algoritmo TGBNN en una arquitectura CiM, un paradigma de diseño moderno donde los cálculos se realizan directamente en la memoria, en lugar de en un procesador dedicado, para ahorrar espacio en el circuito y energía. Para lograrlo, desarrollaron una puerta lógica XNOR completamente nueva como componente básico de una matriz MRAM. Esta puerta utiliza una unión de túnel magnético para almacenar información en su estado de magnetización.
“Los resultados mostraron que nuestro BNN de gradiente ternarizado logró una precisión de más del 88% utilizando el aprendizaje basado en códigos de salida de corrección de errores, al mismo tiempo que igualaba la precisión de los BNN regulares con la misma estructura y lograba una convergencia más rápida durante el entrenamiento”, agregó Kawahara. “Creemos que nuestro diseño permitirá BNN eficientes en dispositivos perimetrales, preservando su capacidad de aprender y adaptarse”.