Los estados que se asemejan a ciclos de sueño en redes neuronales simuladas sofocan la inestabilidad que viene con el autoaprendizaje ininterrumpido en cerebros artificiales.

Nadie puede decir si los androides soñarán con ovejas eléctricas, pero seguramente necesitarán períodos de descanso que ofrezcan beneficios similares a los que el sueño proporciona a los cerebros vivos, según una nueva investigación del Laboratorio Nacional de Alamos.

«Estudiamos las redes neuronales de punta, que son sistemas que aprenden tanto como los cerebros vivos», dijo el científico informático del Laboratorio Nacional de Los Alamos, Yijing Watkins. «Nos fascinó la posibilidad de entrenar un procesador neuromórfico de manera análoga a cómo los humanos y otros sistemas biológicos aprenden de su entorno durante el desarrollo infantil».

Watkins y su equipo de investigación descubrieron que las simulaciones de la red se volvieron inestables después de períodos continuos de aprendizaje sin supervisión. Cuando expusieron las redes a estados análogos a las olas que experimentan los cerebros vivos durante el sueño, se restableció la estabilidad. «Era como si le estuviéramos dando a las redes neuronales de los cerebros artificiales el equivalente a una buena noche de descanso», dijo Watkins.

El descubrimiento se produjo cuando el equipo de investigación trabajó para desarrollar redes neuronales que se aproximan mucho a cómo los humanos y otros sistemas biológicos aprenden a ver. Inicialmente, el grupo tuvo problemas para estabilizar las redes neuronales simuladas que se sometían a un entrenamiento de diccionario sin supervisión, lo que implica clasificar objetos sin tener ejemplos previos para compararlos.

«La cuestión de cómo evitar que los sistemas de aprendizaje se vuelvan inestables en realidad solo surge cuando se intenta utilizar procesadores neuromórficos de punta biológicamente realistas o cuando se trata de entender la biología en sí», dijo el científico informático y coautor del estudio de Los Alamos, Garrett Kenyon. «La gran mayoría de los investigadores de aprendizaje automático, aprendizaje profundo e inteligencia artificial nunca encuentran este problema porque en los sistemas muy artificiales que estudian tienen el lujo de realizar operaciones matemáticas globales que tienen el efecto de regular la ganancia dinámica general del sistema».

Los investigadores caracterizan la decisión de exponer las redes a un análogo artificial del sueño como casi un último esfuerzo para estabilizarlas. Experimentaron con varios tipos de ruido, más o menos comparables con la estática que podría encontrar entre estaciones mientras sintoniza una radio. Los mejores resultados se obtuvieron cuando utilizaron ondas del llamado ruido gaussiano, que incluye una amplia gama de frecuencias y amplitudes. Ellos plantean la hipótesis de que el ruido imita la entrada recibida por las neuronas biológicas durante el sueño de onda lenta. Los resultados sugieren que el sueño de onda lenta puede actuar, en parte, para garantizar que las neuronas corticales mantengan su estabilidad y no alucinen.

El próximo objetivo de los grupos es implementar su algoritmo en el chip neuromórfico Loihi de Intel. Esperan que permitir que Loihi duerma de vez en cuando le permitirá procesar de manera estable la información de una cámara de retina de silicio en tiempo real. Si los hallazgos confirman la necesidad de dormir en cerebros artificiales, probablemente podamos esperar que lo mismo sea cierto para los androides y otras máquinas inteligentes que puedan surgir en el futuro.

Watkins presentará la investigación en el Taller Women in Computer Vision el 14 de junio en Seattle.

Publicación : Uso del ruido sinusoidalmente modulado como sustituto del sueño de onda lenta para lograr un aprendizaje estable y sin supervisión del diccionario en un modelo de codificación dispersa basado en espigas, CVPR Women in Computer Vision Workshop, 2020-06-14 (Seattle, Washington, Estados Unidos)

Financiación : NNSA NA-22, ASC Beyond Moore Program