L’apprentissage dans le cerveau : vision globale
December 7th, 2009 by Francois Rivest
L’aspect le plus fondamental du système nerveux central, c’est que tout comme le reste du corps humain, on peut le décomposer en différents systèmes. Toutefois, ceux-ci, de par leurs interactions, forment un tout qui dépasse la somme des parties. Par exemple, le système digestif est important pour la survie, mais il est inutile si on n’est pas capable d’y mettre de la nourriture. Réciproquement, sans le travail effectué par le système digestif pour transformer la nourriture en énergie nécessaire aux muscles et au système nerveux, il est impossible d’obtenir de la nourriture. Le même principe s’applique pour notre grande capacité d’apprentissage. Il est peu probable que le système nerveux puisse se résumer en une seule et unique formule mathématique répliquée à grande échelle. Certaines composantes du système nerveux sont extrêmement spécialisées, tels que la rétine, la cochlée ou l’hypothalamus, alors que d’autres peuvent jouer des rôles beaucoup plus génériques comme le cortex. Il en est probablement de même pour l’apprentissage. De plus, comme il a été mentionné dans le Chapitre 3, même les régions hautement génériques sont spécialisées et peuvent s’avérer déficientes en isolation.
Bien que le cortex semble le centre de nos capacités cognitives et de nos grandes abstractions, ce dernier a une capacité d’apprentissage limitée sans l’hippocampe. Il est par exemple impossible d’y enregistrer de nouveaux souvenirs (mémoire explicite et épisodique, section 3.1.1) sans ce dernier (section 3.3.3) (Milner, Corkin, & Teuber, 1968). Pourtant, il n’est pas nécessaire pour toutes les formes d’apprentissage. Similairement, les ganglions de la base et la dopamine jouent un rôle important dans plusieurs formes d’apprentissage telles que l’apprentissage procédurale (section 3.1.2) et les conditionnements classique et opérant (sections 3.1.4 et 3.1.5). Malgré les modèles d’apprentissage par renforcement bien établis de ces structures, leur rôle exact dans l’apprentissage reste à préciser (Graybiel, 2008; Zweifel et al., 2009).
Les travaux les plus récents suggèrent différents rôles pour ces différents éléments. Par exemple, l’hippocampe pourrait servir entre autres de mémoire tampon cumulant temporairement de nouveaux exemples pour permettre un transfert ultérieur vers le cortex dans une représentation plus distribuée, ou en transformant ces représentations (Takashima et al., 2009). Les ganglions de la base jouent un rôle dans le conditionnement opérant, dans l’automatisation des processus, et dans l’apprentissage de séquence, etc. (Graybiel, 2008). Il n’est pas cependant pas clair si leur rôle précède celui du cortex, lui succède, ou si cet apprentissage est simplement le résultat d’une coopération permanente entre les deux régions (Laubach, 2005). Le cortex, les ganglions de la base et l’hippocampe jouent sûrement un rôle crucial dans notre grande capacité d’apprentissage, et plusieurs autres, tels que le cervelet et l’amygdale y jouent aussi sûrement un rôle important. Par exemple, le cortex, les ganglions de la base et le cervelet semblent tous pourvoir jouer un rôle dans l’apprentissage d’intervalles de temps (Buhusi & Meck, 2005; Ivry & Schlerf, 2008). La Figure 93 montre quelques-unes de ces structures et de leurs interconnexions.

Figure 93 : Schéma de connectivité simplifiée entre le cortex frontal, les ganglions de la base, l’hippocampe et le cervelet.
Certaines de ces idées ont aussi été portées en modélisation (Doya, 1999; Doya, 2000; O’Reilly & Munakata, 2000; Khamassi, Martinet, & Guillot, 2006; O’Reilly & Frank, 2006). Par exemple, Doya (1999, 2000) a suggéré que mathématiquement, le cortex fasse de l’apprentissage non-supervisé, le cervelet de l’apprentissage supervisé et les ganglions de la base de l’apprentissage par renforcement (Chapitre 2). L’approche systémique est aussi souvent utilisé dans le domaine du développement cognitif robotique (Huang & Weng, 2002). Certains travaux ont démontré l’effet positif sur l’apprentissage de séparer celui-ci en une partie non supervisée générant des représentations plus générales et une partie plus spécialisée sur la tâche en cours, soit en apprentissage supervisé (Hinton, Osindero, & Teh, 2006; Bengio, Lamblin, Popovici, & Larochelle, 2007; Erhan, Manzagol, Bengio, Bengio, & Vincent, 2009; Larochelle, Bengio, Louradour, & Lamblin, 2009) ou en apprentissage par renforcement (Foster & Dayan, 2002; Rivest, Bengio, & Kalaska, 2005; Khamassi et al., 2006). D’autres ont exploré l’utilité de mixer un système d’apprentissage rapide à un système d’apprentissage plus lent (Ans & Rousset, 2000; Rivest & Precup, 2003; Tieleman & Hinton, 2009). Finalement, l’utilité d’un système de détection de nouveauté pour diriger certains systèmes d’apprentissage a aussi fait son chemin en neuroscience (Bevins et al., 2002; Kakade & Dayan, 2002; Sirois & Mareschal, 2004; Lisman & Grace, 2005) comme en apprentissage machine (Huang & Weng, 2002; Singh, Barto, & Chentanez, 2005). Cette dernière hypothèse pourrait très bien être étudiée à l’aide du modèle développé dans cette thèse en ajoutant à la récompense un signal de nouveauté telle que l’erreur de prédiction du modèle cortical.
Bien que ces systèmes soient plus faciles à étudier individuellement, il est nécessaire d’étudier leurs interactions pour découvrir comment peut en émerger une aussi grande capacité d’apprentissage. Pour l’instant, les modèles les plus avancés pour ce genre d’études semblent ceux dérivés des travaux de O’Reilly (O’Reilly, 1998; O’Reilly & Munakata, 2000). La venue, ces dernières années, d’enregistrements neurophysiologiques dans ces différentes régions du cerveau, sur une même tâche et dès le début de l’entraînement de l’animal, apportera sûrement des informations essentielles à la compréhension de l’apprentissage dans le cerveau et à l’évolution des représentations dans le cortex (Jog et al., 2002; Barnes, Kubota, Hu, Jin, & Graybiel, 2005; Miller & Wilson, 2008). Pour l’instant, le présent modèle se limite aux ganglions de la base, au cortex et à leurs interactions. C’est un bon début.
Bibliographie
Ans, B. & Rousset, S. (2000). Neural networks with a self-refreshing memory: knowledge transfer in sequential learning tasks without catastrophic forgetting. Connection Science, 12, 1-19.
Barnes, T. D., Kubota, Y., Hu, D., Jin, D. Z., & Graybiel, A. M. (2005). Activity of striatal neurons reflects dynamic encoding and recoding of procedural memories. Nature, 437, 1158-1161.
Bengio, Y., Lamblin, P., Popovici, D., & Larochelle, H. (2007). Greedy layer-wise training of deep networks. In B. Scholkopf, J. Platt, & T. Hoffman (Eds.), Neural Information Processing Systems (pp. 153-165). Cambridge, MA: MIT Press.
Bevins, R. A., Besheer, J., Palmatier, M. I., Jensen, H. C., Pickett, K. S., & Eurek, S. (2002). Novel-object place conditioning: behavioral and dopaminergic processes in expression of novelty reward. Behav.Brain Res., 129, 41-50.
Buhusi, C. V. & Meck, W. H. (2005). What makes us tick? Functional and neural mechanisms of interval timing. Nat.Rev.Neurosci., 6, 755-765.
Doya, K. (1999). What are the computations of the cerebellum, the basal ganglia and the cerebral cortex? Neural Netw., 12, 961-974.
Doya, K. (2000). Complementary roles of basal ganglia and cerebellum in learning and motor control. Curr.Opin.Neurobiol., 10, 732-739.
Erhan, D., Manzagol, P.-A., Bengio, Y., Bengio, S., & Vincent, P. (2009). The Difficulty of Training Deep Architectures and the effect of Unsupervised Pre-Training. In International Conference on Artificial Intelligence and Statistics (AISTATS 2009).
Foster, D. & Dayan, P. (2002). Structure in the space of value functions. Machine Learning, 49, 325-346.
Graybiel, A. M. (2008). Habits, rituals, and the evaluative brain. Annu.Rev.Neurosci., 31, 359-387.
Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A fast learning algorithm for deep belief nets. Neural Comput., 18, 1527-1554.
Huang, X. & Weng, J. (2002). Novelty and reinforcement learning in the value system of developmental robots. In Second International Workshop on Epigenetic Robotics: Modeling Cognitive Development in Robotic Systems.
Ivry, R. B. & Schlerf, J. E. (2008). Dedicated and intrinsic models of time perception. Trends Cogn Sci., 12, 273-280.
Jog, M. S., Connolly, C. I., Kubota, Y., Iyengar, D. R., Garrido, L., Harlan, R. et al. (2002). Tetrode technology: advances in implantable hardware, neuroimaging, and data analysis techniques. J.Neurosci.Methods, 117, 141-152.
Kakade, S. & Dayan, P. (2002). Dopamine: generalization and bonuses. Neural Netw., 15, 549-559.
Khamassi, M., Martinet, L. E., & Guillot, A. (2006). Combining self-organizing maps with mixtures of experts: Application to an actor-critic model of reinforcement learning in the basal ganglia. From Animals to Animats 9, Proceedings, 4095, 394-405.
Larochelle, H., Bengio, Y., Louradour, J., & Lamblin, P. (2009). Exploring Strategies for Training Deep Neural Networks. Journal of Machine Learning Research, 10, 1-40.
Laubach, M. (2005). Who’s on first? What’s on second? The time course of learning in corticostriatal systems. Trends Neurosci., 28, 508-511.
Lisman, J. E. & Grace, A. A. (2005). The hippocampal-VTA loop: controlling the entry of information into long-term memory. Neuron, 46, 703-713.
Miller, E. K. & Wilson, M. A. (2008). All my circuits: using multiple electrodes to understand functioning neural networks. Neuron, 60, 483-488.
Milner, B., Corkin, S., & Teuber, H. L. (1968). Further Analysis of the Hippocapal Amnesic Syndrome: 14-Year Follow-up Study of H.M. Neuropsychologia, 6, 215-234.
O’Reilly, R. C. (1998). Six Principles for Biologically Based Computational Models of Cortical Cognition. Trends in Cognitive Sciences, 2, 455-462.
O’Reilly, R. C. & Frank, M. J. (2006). Making working memory work: a computational model of learning in the prefrontal cortex and basal ganglia. Neural Comput., 18, 283-328.
O’Reilly, R. C. & Munakata, Y. (2000). Computational Explorations in Cognitive Neuroscience: Understanding the Mind by Simulating the Brain. Cambridge, MA: MIT Press.
Rivest, F., Bengio, Y., & Kalaska, J. F. (2005). Brain Inspired Reinforcement Learning. In L. K. Saul, Y. Weiss, & L. Bottou (Eds.), Neural Information Processing Systems (pp. 1129-1136). Cambridge, MA: The MIT Press.
Rivest, F. & Precup, D. (2003). Combining TD-learning with Cascade-correlation Networks. In Twentieth International Conference on Machine Learning (pp. 632-639). AAAI Press.
Singh, S., Barto, A. G., & Chentanez, N. (2005). Intrinsically Motivated Reinforcement Learning. In L. K. Saul, Y. Weiss, & L. Bottou (Eds.), Neural Information Processing Systems (pp. 1281-1288). Cambridge, MA: MIT Press.
Sirois, S. & Mareschal, D. (2004). An interacting systems model of infant habituation. J.Cogn Neurosci., 16, 1352-1362.
Takashima, A., Nieuwenhuis, I. L., Jensen, O., Talamini, L. M., Rijpkema, M., & Fernandez, G. (2009). Shift from hippocampal to neocortical centered retrieval network with consolidation. J.Neurosci., 29, 10087-10093.
Tieleman, T. & Hinton, G. (2009). Using Fast Weights to Improve Persistent Contrastive Divergence. In L. Bottou & M. Littman (Eds.), 26th International Conference on Machine Learning (pp. 1033-1040). Omnipress.
Zweifel, L. S., Parker, J. G., Lobb, C. J., Rainwater, A., Wall, V. Z., Fadok, J. P. et al. (2009). Disruption of NMDAR-dependent burst firing by dopamine neurons provides selective assessment of phasic dopamine-dependent behavior. Proc.Natl.Acad.Sci.U.S A, 106, 7281-7288.
Computational Neuroscience (and Programming) Blog
Cet article est intéressant, et m’amène a me poser une question. Es-ce qu’il existe un modèle artificiel complet du cerveau humain?
Il existe plusieurs modèles de plusieurs systèmes et ce, à différents niveaux d’abstractions, mais je ne crois pas que nous ayons quoique ce soit qui ressemble à un modèle artificiel complet du cerveau (autrement, ma thèse aurait bien peu d’utilité
).