Feed on
Posts
Comments

Pensée du jour

“De vrais problèmes, il y en a peu.” Rémi Trembaly & Diane Bérard, J’ai perdu ma montre au fond du lac.

Pause musicale Manouche

Swing for Ninine

Methods, Neurons, Networks and Behaviors

June 13 - July 2, 2010. Okinawa, Japan

http://www.irp.oist.jp/ocnc/2010

The aim of the Okinawa Computational Neuroscience Course is to provide opportunities for young researchers with theoretical backgrounds to learn the latest advances in neuroscience, and for those with experimental backgrounds to have hands-on experience in computational modeling.
We invite graduate students and postgraduate researchers to participate in the course, held from June 13th through July 2nd, 2010 at an oceanfront seminar house of the Okinawa Institute of Science and Technology.
Applications are through the course web page only; they will open January 4th and close February 15th, 2010. Applicants are required to propose a project at the time of application. Applicants will receive confirmation of acceptance in March.
Like in preceding years, OCNC will be a comprehensive three-week course covering single neurons, networks, and behaviors with ample time for student projects. The first week will focus exclusively on methods with hands-on tutorials during the afternoons, while the second and third weeks will have lectures by international experts. We invite those who are interested in integrating experimental and computational approaches at each level, as well as in bridging different levels of complexity.
The sponsor will provide lodging and meals during the course and support travel for those without funding. We hope that this course will be a good opportunity for theoretical and experimental neuroscientists to meet each other and to explore the attractive nature and culture of Okinawa, the southernmost island prefecture of Japan.
Invited faculty:

  • Amari, Shun-Ichi
  • Arbuthnott, Gordon
  • Brette, Romain
  • Dayan, Peter
  • De Schutter, Erik
  • Doya, Kenji
  • Izhikevich, Eugene
  • Kawato, Mitsuo
  • Knöpfel, Thomas
  • Kotaleski, Jeanette
  • Nicolelis, Miguel
  • Obermayer, Klaus
  • Sharpee, Tatyana
  • Spruston, Nelson
  • Stiefel, Klaus
  • Thomson, Alex
  • More to be announced…

JUNE 13-25, 2010

FIRST ANNOUNCEMENT

We are pleased to announce the 4th summer School in Computational Neuroscience, which will be held from Sunday June 13, 2010 until Friday June 25, 2010 inclusively. It is organized by the Center for Neural Dynamics at the University of Ottawa. This highly pedagogical course is directed at graduate students and postdoctoral fellows from the physical sciences (e.g. physics, applied mathematics, engineering, computer science) and the life sciences (e.g. neuroscience, biology, physiology, human kinetics) who wish to develop their skills in neural data analysis and in mathematical modeling of neural activity. The topics will range from cellular to systems neuroscience, with a focus on sensory and motor systems. There is no tuition fee for participants from academic institutions, and further, there is support for travel and accommodation based on need.

The course will consist of 3 hours of lectures in the mornings, followed by 3-hour MATLAB-based computer laboratories in the afternoons. Participants will pair up for these laboratories, and an effort will be made to pair someone from the life sciences with someone from the physical sciences. All classes and laboratories will be held on the main downtown campus of the University of Ottawa. The School will be held in English. All participants must also do a research project and 15-minute presentation. The course can also be taken for official credits, since it is a University of Ottawa three-credit graduate course (NSC8104). The mark for the course will be based on work done in the computer laboratories, on the presentation of a research project by the end of the course, plus a write-up to follow within a week. The first day of the school (Sunday June 13th) will consist of a refresher on linear differential equations, linear algebra and probability theory open to all participants, as well as an introduction to MATLAB. 

Enrollment in the course will be limited to 40 participants. Apart from enjoying the capitol city, there will also be opportunities to hike or swim in the Gatineau hills nearby or to go white-water rafting down the world-class Ottawa river.

MATH PRE-REQUISITES: Calculus I and II, first-year university level Linear Algebra  and Probability and Statistics.  

LIFE SCIENCES PRE-REQUISITES: first-year university level life science courses for students in the physical sciences.

FACULTY

  • Prof. Maurice Chacron, Center for Nonlinear Dynamics, Dept. Physiology, McGill
  • Prof. John Lewis, Biology, University of Ottawa
  • Prof. Tim Lewis, Mathematics, University of California at Davis
  • Prof. André Longtin, Physics, Cellular and Molecular Medicine, University of Ottawa
  • Prof. Len Maler, Cellular and Molecular Medicine, University of Ottawa
  • Prof. John Milton, Keck Science Center, Claremont Colleges, California, USA
  • Prof. Jonathan Rubin, Mathematics, University of Pittsburgh, USA

TUITION

None for participants from academia.

See the application form at:   http://www.neurodynamic.uottawa.ca/summer.html

ACCOMMODATION

Accommodation will be available at the Marchand Residence of the University of Ottawa, a few minutes walk away from the lecture hall and computer lab, cafeterias and downtown Ottawa with its restaurants, museums etc… Accommodation consists of a single room (with desk and internet access), with communal kitchen and living area and shared bathroom. The cost is approximately $28 CAN per night per person, taxes included.

FINANCIAL SUPPORT

Partial financial support is available for those demonstrating the need.  

IMPORTANT DATES

February 1st , 2010: Application, including a letter of recommendation sent to compneuro09@uottawa.ca

February 15, 2010: Notification of acceptance and level of financial support.

March 1st, 2010: Notification of acceptance by the participant.

Accommodation: as soon as possible after notification of acceptance, participants can reserve their accommodation online at reserve@uottawa.ca or by phoning 1-888-564-4545.

REGISTER AT: www.neurodynamic.uottawa.ca/summer.html   

CONTACT US: compneuro10@uottawa.ca  

SYLLABUS

1) Introduction to Linear and Nonlinear Dynamical Systems

  • -solutions of linear differential equations
  • -qualitative analysis of nonlinear differential equations

2) Single Neuron Models

  • -ionic models
  • -simplified deterministic models
  • -stochastic models

3) Neural Spike Train Analysis and Modeling

  • -basic statistics
  • -autocorrelation, spectrum
  • -information theory toolbox

4) Sensory Coding

  • -artificial and naturalistic stimuli
  • -modeling activity along the afferent pathways
  • -modeling feedback
  • -population coding and information theory

5) Computational and Dynamical Approaches to Motor Control

  • -posture control and equilibrium point approaches
  • -movement adaptation to force fields
  • -timing and rhythmic movements
  • -computational approaches to movement pathologies

6) Synaptic Plasticity

  • -short term depression and facilitation
  • -long term plasticity    
  • -implications for information processing

7) Coupled Neurons

  • -gap junction
  • -excitatory and inhibitory synaptic coupling
  • -effect of coupling on neural population behavior

8) Waves of Activity in Neural Networks

  • -neural field models
  • -traveling waves
  • -spiral waves

SFN 2008 Poster

Rivest, Bengio & Kalaska
Learning timing in reinforcement learning model of dopamine responses in appetitive fixed-delay classical conditioning.
The temporal difference (TD) learning algorithm is now a common choice when modeling dopaminergic neuron activity in learning. When time is an important component of the experiment however, most models use timing elements, such as delay lines, that are not very biologically plausible for intervals in the range of seconds. The interval timing literature provides several alternative models, but most require explicit start and stop signals, leaving the credit-assignment problem unsolved. In this paper, we present a general learning model that learns a time representation when needed based on long short-term memory (LSTM) networks. Using a naïve network learning its environment in conjunction with TD, we reproduce dopaminergic neuron activity in appetitive fixed-delay classical trace conditioning, including probe trials of unexpected delays. The proposed model learns a natural time representation and also solves the credit assignment problem in an adaptive biologically plausible framework. The response profiles of elements in the LSTM network suggest that time may be learned and represented in a wide-spread cortical network, without need of pre-set delay lines, pacemaker circuits or other explicit timing mechanisms.
SfN2008Poster.pdf

Conclusion

Enfin, comprendre, modéliser, ou reproduire la grande capacité d’apprentissage du cerveau demandera bien plus que le seul savoir des neurosciences, des sciences cognitives ou de l’intelligence artificielle. Il faudra intégrer les outils et les indices apportés par toutes ces disciplines pour élucider ce mystère. Dans cet ouvrage, les outils mathématiques issus de l’apprentissage machine ont été utilisés en combinaison aux données neuroanatomiques et neurophysiologiques existantes pour tenter de faire un pas en avant dans notre compréhension des bases computationnelles neurobiologiques de l’apprentissage, en particulier du développement de représentation dans le contexte de l’apprentissage par renforcement (récompenses). Afin de mieux comprendre l’interaction entre les ganglions de la base et le cortex dans le développement de représentations en apprentissage par renforcement, un nouveau modèle a été développé. Ce modèle contribue à expliquer comment les représentations temporelles pourraient émerger dans une mémoire de travail corticale. Il montre comment l’information de ces représentations pourrait être intégrée par le striatum et expliquer l’activité dopaminergique. Finalement, le modèle suggère une façon par laquelle la dopamine pourrait affecter positivement l’apprentissage dans le cortex en plus de faire de nombreuses prédictions sur l’activité corticale et dopaminergique dans différentes versions du conditionnement classique. Il reste cependant encore beaucoup de chemin à parcourir pour comprendre cet apprentissage dans le cerveau.

L’aspect le plus fondamental du système nerveux central, c’est que tout comme le reste du corps humain, on peut le décomposer en différents systèmes. Toutefois, ceux-ci, de par leurs interactions, forment un tout qui dépasse la somme des parties. Par exemple, le système digestif est important pour la survie, mais il est inutile si on n’est pas capable d’y mettre de la nourriture. Réciproquement, sans le travail effectué par le système digestif pour transformer la nourriture en énergie nécessaire aux muscles et au système nerveux, il est impossible d’obtenir de la nourriture. Le même principe s’applique pour notre grande capacité d’apprentissage. Il est peu probable que le système nerveux puisse se résumer en une seule et unique formule mathématique répliquée à grande échelle. Certaines composantes du système nerveux sont extrêmement spécialisées, tels que la rétine, la cochlée ou l’hypothalamus, alors que d’autres peuvent jouer des rôles beaucoup plus génériques comme le cortex. Il en est probablement de même pour l’apprentissage. De plus, comme il a été mentionné dans le Chapitre 3, même les régions hautement génériques sont spécialisées et peuvent s’avérer déficientes en isolation.

Bien que le cortex semble le centre de nos capacités cognitives et de nos grandes abstractions, ce dernier a une capacité d’apprentissage limitée sans l’hippocampe. Il est par exemple impossible d’y enregistrer de nouveaux souvenirs (mémoire explicite et épisodique, section 3.1.1) sans ce dernier (section 3.3.3) (Milner, Corkin, & Teuber, 1968). Pourtant, il n’est pas nécessaire pour toutes les formes d’apprentissage. Similairement, les ganglions de la base et la dopamine jouent un rôle important dans plusieurs formes d’apprentissage telles que l’apprentissage procédurale (section 3.1.2) et les conditionnements classique et opérant (sections 3.1.4 et 3.1.5). Malgré les modèles d’apprentissage par renforcement bien établis de ces structures, leur rôle exact dans l’apprentissage reste à préciser (Graybiel, 2008; Zweifel et al., 2009).

Les travaux les plus récents suggèrent différents rôles pour ces différents éléments. Par exemple, l’hippocampe pourrait servir entre autres de mémoire tampon cumulant temporairement de nouveaux exemples pour permettre un transfert ultérieur vers le cortex dans une représentation plus distribuée, ou en transformant ces représentations (Takashima et al., 2009). Les ganglions de la base jouent un rôle dans le conditionnement opérant, dans l’automatisation des processus, et dans l’apprentissage de séquence, etc. (Graybiel, 2008). Il n’est pas cependant pas clair si leur rôle précède celui du cortex, lui succède, ou si cet apprentissage est simplement le résultat d’une coopération permanente entre les deux régions (Laubach, 2005). Le cortex, les ganglions de la base et l’hippocampe jouent sûrement un rôle crucial dans notre grande capacité d’apprentissage, et plusieurs autres, tels que le cervelet et l’amygdale y jouent aussi sûrement un rôle important. Par exemple, le cortex, les ganglions de la base et le cervelet semblent tous pourvoir jouer un rôle dans l’apprentissage d’intervalles de temps (Buhusi & Meck, 2005; Ivry & Schlerf, 2008). La Figure 93 montre quelques-unes de ces structures et de leurs interconnexions.

Figure 93 : Schéma de connectivité simplifiée entre le cortex frontal, les ganglions de la base, l’hippocampe et le cervelet.

Certaines de ces idées ont aussi été portées en modélisation (Doya, 1999; Doya, 2000; O’Reilly & Munakata, 2000; Khamassi, Martinet, & Guillot, 2006; O’Reilly & Frank, 2006). Par exemple, Doya (1999, 2000) a suggéré que mathématiquement, le cortex fasse de l’apprentissage non-supervisé, le cervelet de l’apprentissage supervisé et les ganglions de la base de l’apprentissage par renforcement (Chapitre 2). L’approche systémique est aussi souvent utilisé dans le domaine du développement cognitif robotique (Huang & Weng, 2002). Certains travaux ont démontré l’effet positif sur l’apprentissage de séparer celui-ci en une partie non supervisée générant des représentations plus générales et une partie plus spécialisée sur la tâche en cours, soit en apprentissage supervisé (Hinton, Osindero, & Teh, 2006; Bengio, Lamblin, Popovici, & Larochelle, 2007; Erhan, Manzagol, Bengio, Bengio, & Vincent, 2009; Larochelle, Bengio, Louradour, & Lamblin, 2009) ou en apprentissage par renforcement (Foster & Dayan, 2002; Rivest, Bengio, & Kalaska, 2005; Khamassi et al., 2006). D’autres ont exploré l’utilité de mixer un système d’apprentissage rapide à un système d’apprentissage plus lent (Ans & Rousset, 2000; Rivest & Precup, 2003; Tieleman & Hinton, 2009). Finalement, l’utilité d’un système de détection de nouveauté pour diriger certains systèmes d’apprentissage a aussi fait son chemin en neuroscience (Bevins et al., 2002; Kakade & Dayan, 2002; Sirois & Mareschal, 2004; Lisman & Grace, 2005) comme en apprentissage machine (Huang & Weng, 2002; Singh, Barto, & Chentanez, 2005). Cette dernière hypothèse pourrait très bien être étudiée à l’aide du modèle développé dans cette thèse en ajoutant à la récompense un signal de nouveauté telle que l’erreur de prédiction du modèle cortical.

Bien que ces systèmes soient plus faciles à étudier individuellement, il est nécessaire d’étudier leurs interactions pour découvrir comment peut en émerger une aussi grande capacité d’apprentissage. Pour l’instant, les modèles les plus avancés pour ce genre d’études semblent ceux dérivés des travaux de O’Reilly (O’Reilly, 1998; O’Reilly & Munakata, 2000). La venue, ces dernières années, d’enregistrements neurophysiologiques dans ces différentes régions du cerveau, sur une même tâche et dès le début de l’entraînement de l’animal, apportera sûrement des informations essentielles à la compréhension de l’apprentissage dans le cerveau et à l’évolution des représentations dans le cortex (Jog et al., 2002; Barnes, Kubota, Hu, Jin, & Graybiel, 2005; Miller & Wilson, 2008). Pour l’instant, le présent modèle se limite aux ganglions de la base, au cortex et à leurs interactions. C’est un bon début.

Bibliographie

Ans, B. & Rousset, S. (2000). Neural networks with a self-refreshing memory: knowledge transfer in sequential learning tasks without catastrophic forgetting. Connection Science, 12, 1-19.

Barnes, T. D., Kubota, Y., Hu, D., Jin, D. Z., & Graybiel, A. M. (2005). Activity of striatal neurons reflects dynamic encoding and recoding of procedural memories. Nature, 437, 1158-1161.

Bengio, Y., Lamblin, P., Popovici, D., & Larochelle, H. (2007). Greedy layer-wise training of deep networks. In B. Scholkopf, J. Platt, & T. Hoffman (Eds.), Neural Information Processing Systems (pp. 153-165). Cambridge, MA: MIT Press.

Bevins, R. A., Besheer, J., Palmatier, M. I., Jensen, H. C., Pickett, K. S., & Eurek, S. (2002). Novel-object place conditioning: behavioral and dopaminergic processes in expression of novelty reward. Behav.Brain Res., 129, 41-50.

Buhusi, C. V. & Meck, W. H. (2005). What makes us tick? Functional and neural mechanisms of interval timing. Nat.Rev.Neurosci., 6, 755-765.

Doya, K. (1999). What are the computations of the cerebellum, the basal ganglia and the cerebral cortex? Neural Netw., 12, 961-974.

Doya, K. (2000). Complementary roles of basal ganglia and cerebellum in learning and motor control. Curr.Opin.Neurobiol., 10, 732-739.

Erhan, D., Manzagol, P.-A., Bengio, Y., Bengio, S., & Vincent, P. (2009). The Difficulty of Training Deep Architectures and the effect of Unsupervised Pre-Training. In International Conference on Artificial Intelligence and Statistics (AISTATS 2009).

Foster, D. & Dayan, P. (2002). Structure in the space of value functions. Machine Learning, 49, 325-346.

Graybiel, A. M. (2008). Habits, rituals, and the evaluative brain. Annu.Rev.Neurosci., 31, 359-387.

Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A fast learning algorithm for deep belief nets. Neural Comput., 18, 1527-1554.

Huang, X. & Weng, J. (2002). Novelty and reinforcement learning in the value system of developmental robots. In Second International Workshop on Epigenetic Robotics: Modeling Cognitive Development in Robotic Systems.

Ivry, R. B. & Schlerf, J. E. (2008). Dedicated and intrinsic models of time perception. Trends Cogn Sci., 12, 273-280.

Jog, M. S., Connolly, C. I., Kubota, Y., Iyengar, D. R., Garrido, L., Harlan, R. et al. (2002). Tetrode technology: advances in implantable hardware, neuroimaging, and data analysis techniques. J.Neurosci.Methods, 117, 141-152.

Kakade, S. & Dayan, P. (2002). Dopamine: generalization and bonuses. Neural Netw., 15, 549-559.

Khamassi, M., Martinet, L. E., & Guillot, A. (2006). Combining self-organizing maps with mixtures of experts: Application to an actor-critic model of reinforcement learning in the basal ganglia. From Animals to Animats 9, Proceedings, 4095, 394-405.

Larochelle, H., Bengio, Y., Louradour, J., & Lamblin, P. (2009). Exploring Strategies for Training Deep Neural Networks. Journal of Machine Learning Research, 10, 1-40.

Laubach, M. (2005). Who’s on first? What’s on second? The time course of learning in corticostriatal systems. Trends Neurosci., 28, 508-511.

Lisman, J. E. & Grace, A. A. (2005). The hippocampal-VTA loop: controlling the entry of information into long-term memory. Neuron, 46, 703-713.

Miller, E. K. & Wilson, M. A. (2008). All my circuits: using multiple electrodes to understand functioning neural networks. Neuron, 60, 483-488.

Milner, B., Corkin, S., & Teuber, H. L. (1968). Further Analysis of the Hippocapal Amnesic Syndrome: 14-Year Follow-up Study of H.M. Neuropsychologia, 6, 215-234.

O’Reilly, R. C. (1998). Six Principles for Biologically Based Computational Models of Cortical Cognition. Trends in Cognitive Sciences, 2, 455-462.

O’Reilly, R. C. & Frank, M. J. (2006). Making working memory work: a computational model of learning in the prefrontal cortex and basal ganglia. Neural Comput., 18, 283-328.

O’Reilly, R. C. & Munakata, Y. (2000). Computational Explorations in Cognitive Neuroscience: Understanding the Mind by Simulating the Brain. Cambridge, MA: MIT Press.

Rivest, F., Bengio, Y., & Kalaska, J. F. (2005). Brain Inspired Reinforcement Learning. In L. K. Saul, Y. Weiss, & L. Bottou (Eds.), Neural Information Processing Systems (pp. 1129-1136). Cambridge, MA: The MIT Press.

Rivest, F. & Precup, D. (2003). Combining TD-learning with Cascade-correlation Networks. In Twentieth International Conference on Machine Learning (pp. 632-639). AAAI Press.

Singh, S., Barto, A. G., & Chentanez, N. (2005). Intrinsically Motivated Reinforcement Learning. In L. K. Saul, Y. Weiss, & L. Bottou (Eds.), Neural Information Processing Systems (pp. 1281-1288). Cambridge, MA: MIT Press.

Sirois, S. & Mareschal, D. (2004). An interacting systems model of infant habituation. J.Cogn Neurosci., 16, 1352-1362.

Takashima, A., Nieuwenhuis, I. L., Jensen, O., Talamini, L. M., Rijpkema, M., & Fernandez, G. (2009). Shift from hippocampal to neocortical centered retrieval network with consolidation. J.Neurosci., 29, 10087-10093.

Tieleman, T. & Hinton, G. (2009). Using Fast Weights to Improve Persistent Contrastive Divergence. In L. Bottou & M. Littman (Eds.), 26th International Conference on Machine Learning (pp. 1033-1040). Omnipress.

Zweifel, L. S., Parker, J. G., Lobb, C. J., Rainwater, A., Wall, V. Z., Fadok, J. P. et al. (2009). Disruption of NMDAR-dependent burst firing by dopamine neurons provides selective assessment of phasic dopamine-dependent behavior. Proc.Natl.Acad.Sci.U.S A, 106, 7281-7288.

Au cours de ces travaux sur le développement de représentations dans le cortex, un élément s’est avéré très important à la lumière des modèles et des données existantes : le temps. En effet, aucun modèle des ganglions de la base ne modélisait l’apprentissage de représentations temporelles (section 4.4.3.a) alors que les neurones dopaminergiques (Hollerman & Schultz, 1998; Morris, Arkadir, Nevet, Vaadia, & Bergman, 2004) montrent très bien que le délai interstimuli est bel et bien appris. Gallistel et Gibbon (2000) suggèrent même que la durée de visibilité des stimuli soit un facteur critique en apprentissage, même dans le simple conditionnement classique.

Bien que l’on ait parfois l’impression de percevoir le temps aussi bien que l’on perçoit une pomme, il n’y a pas d’organe de la transduction du temps de connu pour l’ordre des secondes comme l’Å“il pour la vision (Buhusi & Meck, 2005). En fait, le temps est constant. Il passe toujours à la même vitesse. Mais les neurones ont un temps de réaction minimum, ce sont des systèmes dynamiques subissant les forces des entrées sensorielles. Par conséquent, le passage du temps peut tout simplement être perçu en fonction de la vitesse relative des stimuli et de leur effet sur les neurones.

Autant le cortex, sous forme de mémoire de travail ou d’accumulation d’activité (sections 3.2.3 et 3.3.1), le striatum (lignes de délai, détecteur de coïncidence) que le cervelet, montrent des signes d’un lien avec l’apprentissage d’intervalles de temps (Buhusi & Meck, 2005; Ivry & Schlerf, 2008). L’arrivée de modèles neurophysiologiques adaptatifs de la perception du temps indépendants des lignes de délai est toute récente (Dragoi, Staddon, Palmer, & Buhusi, 2003; Reutimann, Yakovlev, Fusi, & Senn, 2004; Buonomano, 2005). Deux de ces modèles adaptatifs se proposent pour les intervalles de l’ordre des secondes et sont basés sur l’idée de neurones augmentant leur activité en fonction du temps qui passe (Dragoi et al., 2003; Reutimann et al., 2004). L’idée que les représentations temporelles soient acquises là où elles sont nécessaires n’est toujours qu’une hypothèse, mais on observe des augmentations d’activité corrélées au passage du temps partout dans le cerveau (section 3.2.3) (Ivry & Schlerf, 2008) dont certaines qui s’adaptent clairement au délai (Komura et al., 2001; Leon & Shadlen, 2003; Reutimann et al., 2004). Une contribution importante de cette thèse est de proposer, à l’aide des LSTM, un nouveau modèle dans cette direction (Chapitre 7 et Chapitre 8) (Rivest, Kalaska, & Bengio, 2009a; Rivest, Kalaska, & Bengio, 2009b). Le modèle montre comment une forme de mémoire de travail et des augmentations d’activités peuvent apprendre à représenter le passage du temps et l’évaluation d’intervalles de temps spécifiques.

Néanmoins, les algorithmes actuels comme TD (sections 2.3.3 et suivantes) et les réseaux de neurones artificiels récurrents (sections 2.1.3 et 2.1.4) sont relativement déficients pour apprendre des propriétés temporelles. TD est totalement dépendant de la représentation des entrées qui lui sont fournies. Il n’a de temporel que le fait qu’il propage vers l’état précédent l’estimation des récompenses à recevoir à partir de l’état présent. Quant aux réseaux de neurones récurrents, leurs architectures limitent mathématiquement leur capacité à faire le lien entre différents éléments éloignés dans le temps (Bengio, Simard, & Frasconi, 1994; Hochreiter & Schmidhuber, 1997). Même les LSTM se sont avérés relativement mauvais s’ils ne pouvaient observer les deux stimuli ayant une relation temporelle à des moments contigus (Chapitre 7) (Rivest et al., 2009a), alors que les animaux semblent apprendre les délais très rapidement (Balsam, Drew, & Yang, 2002). Une des raisons possibles de cette difficulté est que ces algorithmes sont entrainés de façon à prédire ce qui doit arriver au temps t, et non à prédire quand un évènement x doit arriver. Par exemple, TD doit apprendre à prédire la somme des récompenses futures (intemporelle) pour l’état courant observé. En prédiction de séries temporelles, le système doit prédire quelles seront les entrées aux temps t+1 en fonction des entrées aux temps t, t-1, …. Bref, il minimise l’erreur de prédiction de la variable x au temps t, et non l’erreur de prédiction du temps t auquel devrait arriver un évènement x. Une telle réorientation du problème d’apprentissage le long de l’axe temporel permettrait certainement de développer de meilleurs modèles pour les situations où le temps est une variable importante. Elle permettrait aussi certainement de nouvelles avancées en apprentissage machine, tout particulièrement dans les situations ou les entrées et sorties doivent être traitées en temps continue, comme dans le cas des séries temporelles (sections 2.1.3 et 2.2.5).

Bibliographie

Balsam, P. D., Drew, M. R., & Yang, C. (2002). Timing at the start of associative learning. Learning and Motivation, 33, 141-155.

Bengio, Y., Simard, P., & Frasconi, P. (1994). Learning long-term dependencies with gradient descent is difficult. IEEE Transactions in Neural Networks, 5, 157-166.

Buhusi, C. V. & Meck, W. H. (2005). What makes us tick? Functional and neural mechanisms of interval timing. Nat.Rev.Neurosci., 6, 755-765.

Buonomano, D. V. (2005). A learning rule for the emergence of stable dynamics and timing in recurrent networks. J.Neurophysiol., 94, 2275-2283.

Dragoi, V., Staddon, J. E., Palmer, R. G., & Buhusi, C. V. (2003). Interval timing as an emergent learning property. Psychol.Rev., 110, 126-144.

Gallistel, C. R. & Gibbon, J. (2000). Time, rate, and conditioning. Psychol.Rev., 107, 289-344.

Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Comput., 9, 1735-1780.

Hollerman, J. R. & Schultz, W. (1998). Dopamine neurons report an error in the temporal prediction of reward during learning. Nat.Neurosci., 1, 304-309.

Ivry, R. B. & Schlerf, J. E. (2008). Dedicated and intrinsic models of time perception. Trends Cogn Sci., 12, 273-280.

Komura, Y., Tamura, R., Uwano, T., Nishijo, H., Kaga, K., & Ono, T. (2001). Retrospective and prospective coding for predicted reward in the sensory thalamus. Nature, 412, 546-549.

Leon, M. I. & Shadlen, M. N. (2003). Representation of time by neurons in the posterior parietal cortex of the macaque. Neuron, 38, 317-327.

Morris, G., Arkadir, D., Nevet, A., Vaadia, E., & Bergman, H. (2004). Coincident but distinct messages of midbrain dopamine and striatal tonically active neurons. Neuron, 43, 133-143.

Reutimann, J., Yakovlev, V., Fusi, S., & Senn, W. (2004). Climbing neuronal activity as an event-based cortical representation of time. J.Neurosci., 24, 3295-3303.

Rivest, F., Kalaska, J. F., & Bengio, Y. (2009a). Alternative Time Representation in Dopamine Models. Journal of Computational Neuroscience.

Rivest, F., Kalaska, J. F., & Bengio, Y. (2009b). Conditioning and Time Representation in the Long Short-term Memory Networks.

L’idée de représentation distribuée évoque deux éléments importants. Premièrement, qu’aucun neurone seul ne puisse donner une information complète ou précise sur une variable spécifique. Il n’y a pas un neurone spécifique qui répond uniquement au concept « grand-maman » et qui peut à lui seul nous indiquer la présence ou l’absence de grand-maman à notre esprit. À l’opposé, si un neurone se résume à une sommation pondérée de ses afférences et une non-linéarité comme une sigmoïde, il n’y aurait pas non plus suffisamment de neurones pour encoder toutes les combinaisons possibles de stimuli permettant de détecter grand-maman et tous les autres objets sur une seule couche (Cybenko, 1989). Une variation d’éclairage, un chandail neuf, et hop, on ne reconnaîtrait plus grand-maman! Mais la représentation de l’information dans le cortex n’est pas non plus sans structure, c’est le deuxième élément.

Les représentations ont aussi une certaine hiérarchie. Par exemple, un neurone de V1 ne couvre qu’une toute petite partie du champ visuel et ne peut donc pas dire grand-chose sur l’objet présent. Sa fenêtre sur le monde n’est pas suffisamment grande. Les couches suivantes intègrent l’information de plusieurs neurones. Elles ont ainsi un plus grand champ visuel et cumulent un plus grand nombre de non-linéarités. C’est ce qui leur permet de détecter des stimuli plus complexes. Alors que des populations de neurones se consacreront plutôt aux textures, d’autres se consacreront aux formes, aux visages ou aux positions des objets qui nous entourent. Certaines représentations seront presque insensibles à la position des objets ou à leur couleur, alors que d’autres seront particulièrement sensibles à cette information, si elle est nécessaire à la tâche. Hiérarchiser les couches représente un avantage computationnel important (Bengio, 2007, 2009). Mais, cette hiérarchie n’est pas purement pyramidale. Certaines informations sont d’abord intégrées pour ensuite être redistribuées à différents systèmes, et ce, même vers le bas (Figure 92). Dans un système récurrent comme le cortex où il existe probablement un chemin entre chaque neurone, il devient parfois difficile de parler de traitement séquentiel de l’information. Même les premières couches du système visuel sont influencées par le traitement des couches supérieures et les attentes de l’individu. Il est aussi difficile d’isoler pourquoi une population de neurones X se spécialise selon une dimension de l’information plutôt qu’une autre. D’une certaine façon, le cortex semble arriver à démêler les facteurs importants des entrées brutes en les recombinant dans de nouvelles représentations distribuées plus utiles et efficaces.

Figure 92 : Exemple fictif d’interaction entre différentes représentations.

Comment le cortex ou un quelconque système d’apprentissage pourrait apprendre de telles représentations reste encore à élucider, mais ce domaine de recherche est en pleine évolution (Bengio, 2007, 2009). Il y a bien des modèles de l’apprentissage pour les couches corticales primaires (par exemple, Doi, Inui, Lee, Wachtler, & Sejnowski, 2003; Hyvarinen, Gutmann, & Hoyer, 2005) et plusieurs autres régions (par exemple, Rougier, Noelle, Braver, Cohen, & O’Reilly, 2005; O’Reilly & Frank, 2006), mais c’est bien peu lorsque l’on considère l’ensemble du développement cognitif du cortex et la grande variété de représentations que l’on y retrouve. Bien que le modèle cortical utilisé dans cette thèse (le LSTM) apprend une représentation abstraite de la tâche, il ne fait aucune avancée importante dans la construction de représentations distribuées au-delà de suggérer un rôle de la rétroaction dopaminergique mésocorticale. Le modèle s’avère même plus facile à analyser lorsque le nombre de blocs mémoires est petit, quoique le nombre de blocs mémoires semble avoir peu d’influence sur les résultats dopaminergiques reproduits.

Un autre facteur important dans le succès du cortex à développer des représentations est probablement la chronologie de son développement. Toutes les régions du cerveau n’apprennent pas nécessairement au même rythme au cours d’une vie. Par exemple, les neurones du cortex auditif primaire chez le rat (A1) ont une très courte période critique pendant laquelle la plasticité est beaucoup plus grande (de Villers-Sidani, Chang, Bao, & Merzenich, 2007). La sensibilité de certains neurones de V1 pourrait être le résultat du développement du système nerveux combiné à un apprentissage prénatal dû à des signaux spontanés en provenance de la rétine (Thivierge & Marcus, 2006), ainsi que d’un raffinement important suivant la naissance (Singer & Tretter, 1976). Chez l’humain, la résolution spatiale et la profondeur de champ du système visuel prennent jusqu’à un an avant d’atteindre leur pleine capacité; un autre phénomène pouvant avoir un effet positif sur l’apprentissage dans le système visuel (Dominguez & Jacobs, 2001). Le langage est une autre faculté pour laquelle il semble y avoir une période critique. Si les stimuli adéquats ne sont pas présents pendant cette période, par exemple si un enfant n’est pas suffisamment exposé à un langage avant l’âge de treize ans, alors il est peu probable qu’il arrive à parler et comprendre convenablement des phrases complètes un jour (Goldin-Meadow, 1978). Selon Piaget (1952), nous ne naîtrions pas avec toutes les représentations dont nous avons besoins, mais nous les développerions avec l’expérience. Le développement cognitif chez les enfants suggère d’ailleurs une évolution des compétences par étapes ou par niveau (Shultz, 2003). Il en est de même pour la perception, l’évaluation et l’utilisation dans nos actions du passage du temps. Bien que des signes de l’évaluation du temps apparaissent très tôt chez le nourrisson, ce n’est que vers l’âge de six ans que l’on semble pouvoir utiliser le plein potentiel de nos différentes représentations temporelles (Droit-Volet, 2000). De la chronologie du développement moléculaire à l’ordre de présentation des concepts (Krueger & Dayan, 2009), il reste beaucoup de chemin à parcourir pour arriver à comprendre, modéliser ou reproduire la grande capacité d’apprentissage du cortex.

Bibliographie

Bengio, Y. (2007). On the Challenge of Learning Complex Functions. In P.Cisek, T. Drew, & J. F. Kalaska (Eds.), Computational Neuroscience: Theoritical Insights into Brain Function, 165 ( Elsevier.

Bengio, Y. (2009). Learning Deep Architectures for AI. Foundations and Trends in Machine Learning, 2.

Cybenko, G. (1989). Approximation by Superpositions of a Sigmoidal Function. Mathematics of Control, Signals, and Systems, 2, 303-314.

de Villers-Sidani, E., Chang, E. F., Bao, S., & Merzenich, M. M. (2007). Critical period window for spectral tuning defined in the primary auditory cortex (A1) in the rat. J.Neurosci., 27, 180-189.

Doi, E., Inui, T., Lee, T. W., Wachtler, T., & Sejnowski, T. J. (2003). Spatiochromatic receptive field properties derived from information-theoretic analyses of cone mosaic responses to natural scenes. Neural Comput., 15, 397-417.

Dominguez, M. & Jacobs, R. A. (2001). Visual Development and the Acquisition of Binocular Disparity Sensitivities. In C. E. Brodley & A. P. Danyluk (Eds.), Eighteenth International Conference on Machine Learning (pp. 114-121). San Francisco, CA: Morgan Kaufmann.

Droit-Volet, S. (2000). L’estimation du temps : perspective développementale. L’année psychologique, 100, 443-464.

Goldin-Meadow, S. (1978). A Study in Human Capacities. Science, 200, 649-651.

Hyvarinen, A., Gutmann, M., & Hoyer, P. O. (2005). Statistical model of natural stimuli predicts edge-like pooling of spatial frequency channels in V2. BMC.Neurosci., 6, 12.

Krueger, K. A. & Dayan, P. (2009). Flexible shaping: how learning in small steps helps. Cognition, 110, 380-394.

O’Reilly, R. C. & Frank, M. J. (2006). Making working memory work: a computational model of learning in the prefrontal cortex and basal ganglia. Neural Comput., 18, 283-328.

Piaget, J. (1952). The Origins of Intelligence in Children. New York, NY: International University Press.

Rougier, N. P., Noelle, D. C., Braver, T. S., Cohen, J. D., & O’Reilly, R. C. (2005). Prefrontal cortex and flexible cognitive control: rules without symbols. Proc.Natl.Acad.Sci.U.S.A, 102, 7338-7343.

Shultz, T. R. (2003). Computational Developmental Psychology. Cambridge, MA: MIT Press.

Singer, W. & Tretter, F. (1976). Unusually large receptive fields in cats with restricted visual experience. Exp.Brain Res., 26, 171-184.

Thivierge, J.-P. & Marcus, G. F. (2006). Computational Developmental Neuroscience: Exploring the Interactions Between Genetics and Neural Activity. In IEEE Press (Ed.), International Joint Conference on Neural Networks, 2006. (pp. 4630-4637).

Malgré les avancées majeures reliées aux modèles informatiques de l’apprentissage par renforcement, dont les nombreuses données dopaminergiques reproduites à l’aide de ses modèles (voir section 4.4, Chapitre 7 et Chapitre 8) , plusieurs questions restent à éclaircir au niveau des ganglions de la base et du système dopaminergique qui permettrait le développement de modèles plus complets et plus précis.

Plusieurs détails sur l’implémentation d’un algorithme du style TD par les ganglions de la base restent à éclaircir. Premièrement, seule la moitié des neurones dopaminergiques enregistrés dans le VTA seraient réellement des neurones produisant de la dopamine (Margolis, Lock, Hjelmstad, & Fields, 2006). Les implications que le signal d’erreur de prédiction de récompense ne soit pas codé par les neurones dopaminergiques ou qu’il soit aussi codé par un second groupe de neurone n’ont pas encore été étudiées. Si les neurones dopaminergiques encodent réellement le signal d’erreur de prédiction de récompense, alors il reste à déterminer précisément comment le calcul de la différence temporelle est implémenté par les neurones dopaminergiques et leurs afférences (sections 4.1.6 et 4.4.2.b). La source d’inhibition pourrait provenir du striatum (section 4.4.2.b) autant que de l’habénula (Matsumoto & Hikosaka, 2007). Le rôle des projections corticales vers les neurones dopaminergiques reste lui aussi incertain (sections 4.1.6 et 4.4.2.b). La question suivante est : quel algorithme les ganglions de la base implémentent-ils (section 4.4.2.d)? Certaines expériences visant à élucider cette question favorisent une combinaison acteur-critique (Roesch, Calu, & Schoenbaum, 2007) alors que d’autres suggèrent plutôt un algorithme comme SARSA ou Q-learning (Morris, Nevet, Arkadir, Vaadia, & Bergman, 2006). Le rôle exact des autres éléments comme le STN (noyau sous-thalamique) dans ces modèles, s’il y en a un, reste lui aussi à déterminer (sections 4.1). Par exemple, les voies de sorties passant par le globus pallidus (GP) reçoivent aussi la dopamine et sont probablement aussi sujettes à la plasticité synaptique (sections 4.1). Ces voies de sorties pourraient très bien jouer un rôle important dans l’apprentissage des bonnes actions ou d’autres détails moteurs (section 4.4.2.c). Le modèle développé dans cette thèse s’arrête pour l’instant à une seule unité linéaire (p) représentant un groupe de neurones possiblement striataux ainsi qu’à un signal d’erreur de récompense (δ) corrélant les réponses typiques d’une majorité de neurones dopaminergiques.

Un autre problème intéressant à résoudre est le lien entre drogue, dopamine, et apprentissage. Le modèle TD tel que présenté ici expliquerait bien les problèmes de dépendances liés à la consommation de cocaïne si celle-ci affectait le signal dopaminergique phasique (variation rapide suite à un stimulus) et la plasticité corticostriatale. En supposant que la drogue a l’effet d’un signal d’erreur positif dans TD, alors l’estimé de la récompense associée à la consommation de drogue augmente à chaque fois. De la même façon, les actions menant à sa consommation sont toujours renforcées. Cependant, la cocaïne affecte principalement le niveau tonique de la dopamine (niveau dopaminergique de base sur une plus longue intervalle de temps) et son effet de dépendance passe principalement par la plasticité au niveau du VTA et non du striatum (Kalivas & Alesdatter, 1993). De plus, le niveau tonique de la dopamine ne semble pas être lié à l’apprentissage en générale (Zweifel et al., 2009). Les signaux toniques et phasiques pourraient aussi être reliés à la saillance incitative (Berridge & Robinson, 1998; Montague, Hyman, & Cohen, 2004), c’est-à-dire qu’ils pourraient inciter à agir (voir section 4.4.6). Ce rôle possible de la dopamine sur les actes n’a pas non plus été considéré dans cette thèse, en particulier parce que le modèle présenté ici (à l’exception de celui du Chapitre 6) est passif (il n’agit pas). Quoi qu’il en soit, bien qu’il y ait un lien certain entre les signaux dopaminergiques toniques et phasiques, les problèmes de consommation et la théorie de l’apprentissage (TD), la nature exacte de ce lien reste à déterminer.

D’autre part, la dopamine pourrait aussi affecter la perception du temps (Meck, 1996). D’ailleurs, le striatum est souvent présenté comme une structure où des liens entre certains évènements et le passage du temps seraient établis (Brown, Bullock, & Grossberg, 1999; Buhusi & Meck, 2005). Cependant, l’approche présentée ici est plutôt que les ganglions de la base intègrent l’information relative au temps en provenance d’autres sources (Ivry & Spencer, 2004), et non que le passage du temps y soit localement mesuré. Le débat sur la perception du temps est toutefois loin d’être terminé (Ivry & Schlerf, 2008). Le cervelet, les ganglions de la base et le cortex semblent tous pouvoir y jouer un rôle important.

Afin d’améliorer notre compréhension des ganglions de la base et du système dopaminergique dans un modèle unique, détaillé, et mieux structuré, il pourrait être avantageux de rassembler les données anatomiques et neurophysiologiques dans une seule et unique base de données. En effet, il est actuellement difficile d’effectuer des travaux de modélisation détaillés à partir des enregistrements rapportés dans la littérature. Les articles bien que rapportant avec précision les éléments les plus importants ne permettent pas toujours de se faire une idée claire de la distribution des réponses neurales enregistrées. De plus, d’une structure à l’autre (striatum, SNc et VTA, GP, etc.), les enregistrements sont souvent effectués sur des tâches bien différentes, rendant encore plus compliquée l’intégration de ces différents éléments dans un seul et même modèle. En apprentissage machine, il est commun d’avoir des répertoires complets de données sur lesquels les performances des algorithmes peuvent être comparées. De la même façon, il serait certainement profitable de rassembler les distributions de profils de réponses des différents groupes de neurones dans une seule et même base de données pouvant servir à évaluer les différents modèles. Ceci permettrait une évaluation plus rapide des nouveaux modèles, des données qu’ils permettent d’expliquer, et surtout d’isoler rapidement celles qu’ils n’expliquent pas. L’existence d’une quantité suffisante de données pour chaque structure des ganglions de la base sur des tâches suffisamment similaires pourrait même permettre d’inférer des modèles à partir de ces données et des informations neuroanatomiques disponibles. Une analyse automatique des données et des modèles pourrait aussi suggérer des expériences permettant d’acquérir des informations manquantes au développement d’un bon modèle. Développer une telle base de données ne serait cependant pas une tâche simple, mais de telles approches ont de plus en plus d’importance en génomique par exemple (Herrgard et al., 2008; Thorisson, Muilu, & Brookes, 2009). Évidemment, les réponses des neurones d’une même structure comme le striatum peuvent, elles aussi, varier beaucoup en fonction de leur localisation précise (plutôt dorsale ou plutôt ventrale par exemple). Bien que cela puisse laisser croire qu’inférer le modèle à partir des données soit impossible, c’est pourtant ce que l’on fait à plus petite échelle, à chaque fois que l’on tente d’expliquer le rôle de ces neurones et le fonctionnement de ces structures cérébrales à partir de la littérature et de nouvelles expériences.

Bibliographie

Berridge, K. C. & Robinson, T. E. (1998). What is the role of dopamine in reward: hedonic impact, reward learning, or incentive salience? Brain Res.Brain Res.Rev., 28, 309-369.

Brown, J., Bullock, D., & Grossberg, S. (1999). How the basal ganglia use parallel excitatory and inhibitory learning pathways to selectively respond to unexpected rewarding cues. J.Neurosci., 19, 10502-10511.

Buhusi, C. V. & Meck, W. H. (2005). What makes us tick? Functional and neural mechanisms of interval timing. Nat.Rev.Neurosci., 6, 755-765.

Herrgard, M. J., Swainston, N., Dobson, P., Dunn, W. B., Arga, K. Y., Arvas, M. et al. (2008). A consensus yeast metabolic network reconstruction obtained from a community approach to systems biology. Nat.Biotechnol., 26, 1155-1160.

Ivry, R. B. & Schlerf, J. E. (2008). Dedicated and intrinsic models of time perception. Trends Cogn Sci., 12, 273-280.

Ivry, R. B. & Spencer, R. M. (2004). The neural representation of time. Curr.Opin.Neurobiol., 14, 225-232.

Kalivas, P. W. & Alesdatter, J. E. (1993). Involvement of N-methyl-D-aspartate receptor stimulation in the ventral tegmental area and amygdala in behavioral sensitization to cocaine. J.Pharmacol.Exp.Ther., 267, 486-495.

Margolis, E. B., Lock, H., Hjelmstad, G. O., & Fields, H. L. (2006). The ventral tegmental area revisited: is there an electrophysiological marker for dopaminergic neurons? J.Physiol, 577, 907-924.

Matsumoto, M. & Hikosaka, O. (2007). Lateral habenula as a source of negative reward signals in dopamine neurons. Nature, 447, 1111-1115.

Meck, W. H. (1996). Neuropharmacology of timing and time perception. Brain Res.Cogn Brain Res., 3, 227-242.

Montague, P. R., Hyman, S. E., & Cohen, J. D. (2004). Computational roles for dopamine in behavioural control. Nature, 431, 760-767.

Morris, G., Nevet, A., Arkadir, D., Vaadia, E., & Bergman, H. (2006). Midbrain dopamine neurons encode decisions for future action. Nat.Neurosci., 9, 1057-1063.

Roesch, M. R., Calu, D. J., & Schoenbaum, G. (2007). Dopamine neurons encode the better option in rats deciding between differently delayed or sized rewards. Nat.Neurosci., 10, 1615-1624.

Thorisson, G. A., Muilu, J., & Brookes, A. J. (2009). Genotype-phenotype databases: challenges and solutions for the post-genomic era. Nat.Rev.Genet., 10, 9-18.

Zweifel, L. S., Parker, J. G., Lobb, C. J., Rainwater, A., Wall, V. Z., Fadok, J. P. et al. (2009). Disruption of NMDAR-dependent burst firing by dopamine neurons provides selective assessment of phasic dopamine-dependent behavior. Proc.Natl.Acad.Sci.U.S A, 106, 7281-7288.

« Prev - Next »