Comment les réseaux de neurones liquides du MIT peuvent résoudre les problèmes d'IA, de la robotique à l'autonomie

Jul 21, 2023

Rendez-vous sur notre bibliothèque à la demande pour visualiser les sessions de VB Transform 2023. Inscrivez-vous ici

Dans le paysage actuel de l’intelligence artificielle (IA), le buzz autour des grands modèles de langage (LLM) a conduit à une course vers la création de réseaux neuronaux de plus en plus grands. Cependant, toutes les applications ne peuvent pas prendre en charge les exigences de calcul et de mémoire des très grands modèles d’apprentissage profond.

Les contraintes de ces environnements ont conduit à des pistes de recherche intéressantes. Les réseaux de neurones liquides, un nouveau type d'architecture d'apprentissage profond développé par des chercheurs du Laboratoire d'informatique et d'intelligence artificielle du MIT (CSAIL), offrent une solution compacte, adaptable et efficace à certains problèmes d'IA. Ces réseaux sont conçus pour relever certains des défis inhérents aux modèles traditionnels d’apprentissage en profondeur.

Les réseaux de neurones liquides peuvent stimuler de nouvelles innovations en matière d’IA et sont particulièrement intéressants dans les domaines où les modèles traditionnels d’apprentissage en profondeur sont en difficulté, comme la robotique et les voitures autonomes.

"L'inspiration pour les réseaux de neurones liquides a été de réfléchir aux approches existantes de l'apprentissage automatique et de déterminer comment elles s'intègrent au type de systèmes critiques pour la sécurité qu'offrent les robots et les appareils de pointe", a déclaré Daniela Rus, directrice du MIT CSAIL, à VentureBeat. "Sur un robot, vous ne pouvez pas vraiment exécuter un grand modèle de langage car il n'y a pas vraiment la [puissance] de calcul et l'espace [de stockage] pour cela."

VB Transform 2023 à la demande

Avez-vous manqué une session de VB Transform 2023 ? Inscrivez-vous pour accéder à la bibliothèque à la demande pour toutes nos sessions en vedette.

Rus et ses collaborateurs voulaient créer des réseaux neuronaux à la fois précis et efficaces en termes de calcul, afin qu'ils puissent fonctionner sur les ordinateurs d'un robot sans avoir besoin d'être connectés au cloud.

En même temps, ils se sont inspirés des recherches sur les neurones biologiques trouvés dans de petits organismes, comme le ver C. Elegans, qui effectue des tâches complexes avec pas plus de 302 neurones. Le résultat de leurs travaux a été les réseaux de neurones liquides (LNN).

Les réseaux de neurones liquides représentent une rupture significative par rapport aux modèles traditionnels d’apprentissage en profondeur. Ils utilisent une formulation mathématique moins coûteuse en calcul et stabilise les neurones pendant l’entraînement. La clé de l'efficacité des LNN réside dans leur utilisation d'équations différentielles ajustables dynamiquement, qui leur permettent de s'adapter à de nouvelles situations après la formation. Il s’agit d’une capacité que l’on ne trouve pas dans les réseaux neuronaux classiques.

"Fondamentalement, ce que nous faisons est d'augmenter la capacité d'apprentissage des représentations d'un neurone par rapport aux modèles existants de deux manières", a déclaré Rus. «Le premier est une sorte de modèle d’espace d’états qui augmente la stabilité des neurones pendant l’apprentissage. Et puis nous introduisons des non-linéarités sur les entrées synaptiques pour augmenter l’expressivité de notre modèle pendant la formation et l’inférence.

Les LNN utilisent également une architecture de câblage différente des réseaux de neurones traditionnels et permet des connexions latérales et récurrentes au sein d'une même couche. Les équations mathématiques sous-jacentes et la nouvelle architecture de câblage permettent aux réseaux liquides d'apprendre des modèles en temps continu capables d'ajuster leur comportement de manière dynamique.

"Ce modèle est très intéressant car il est capable d'être adapté dynamiquement après une formation en fonction des entrées qu'il détecte", a déclaré Rus. "Et les constantes de temps qu'il observe dépendent des entrées qu'il voit, et nous avons donc beaucoup plus de flexibilité et d'adaptation grâce à cette formulation du neurone."

L’une des caractéristiques les plus frappantes des LNN est leur compacité. Par exemple, un réseau neuronal profond classique nécessite environ 100 000 neurones artificiels et un demi-million de paramètres pour effectuer une tâche telle que maintenir une voiture dans sa voie. En revanche, Rus et ses collègues ont pu entraîner un LNN à accomplir la même tâche avec seulement 19 neurones.

Cette réduction significative de la taille a plusieurs conséquences importantes, a déclaré Rus. Premièrement, cela permet au modèle de s’exécuter sur de petits ordinateurs présents dans les robots et autres appareils de pointe. Deuxièmement, avec moins de neurones, le réseau devient beaucoup plus interprétable. L’interprétabilité est un défi important dans le domaine de l’IA. Avec les modèles traditionnels d’apprentissage profond, il peut être difficile de comprendre comment le modèle est parvenu à une décision particulière.