Le développement de représentations temporelles
December 7th, 2009 by Francois Rivest
Au cours de ces travaux sur le développement de représentations dans le cortex, un élément s’est avéré très important à la lumière des modèles et des données existantes : le temps. En effet, aucun modèle des ganglions de la base ne modélisait l’apprentissage de représentations temporelles (section 4.4.3.a) alors que les neurones dopaminergiques (Hollerman & Schultz, 1998; Morris, Arkadir, Nevet, Vaadia, & Bergman, 2004) montrent très bien que le délai interstimuli est bel et bien appris. Gallistel et Gibbon (2000) suggèrent même que la durée de visibilité des stimuli soit un facteur critique en apprentissage, même dans le simple conditionnement classique.
Bien que l’on ait parfois l’impression de percevoir le temps aussi bien que l’on perçoit une pomme, il n’y a pas d’organe de la transduction du temps de connu pour l’ordre des secondes comme l’Å“il pour la vision (Buhusi & Meck, 2005). En fait, le temps est constant. Il passe toujours à la même vitesse. Mais les neurones ont un temps de réaction minimum, ce sont des systèmes dynamiques subissant les forces des entrées sensorielles. Par conséquent, le passage du temps peut tout simplement être perçu en fonction de la vitesse relative des stimuli et de leur effet sur les neurones.
Autant le cortex, sous forme de mémoire de travail ou d’accumulation d’activité (sections 3.2.3 et 3.3.1), le striatum (lignes de délai, détecteur de coïncidence) que le cervelet, montrent des signes d’un lien avec l’apprentissage d’intervalles de temps (Buhusi & Meck, 2005; Ivry & Schlerf, 2008). L’arrivée de modèles neurophysiologiques adaptatifs de la perception du temps indépendants des lignes de délai est toute récente (Dragoi, Staddon, Palmer, & Buhusi, 2003; Reutimann, Yakovlev, Fusi, & Senn, 2004; Buonomano, 2005). Deux de ces modèles adaptatifs se proposent pour les intervalles de l’ordre des secondes et sont basés sur l’idée de neurones augmentant leur activité en fonction du temps qui passe (Dragoi et al., 2003; Reutimann et al., 2004). L’idée que les représentations temporelles soient acquises là où elles sont nécessaires n’est toujours qu’une hypothèse, mais on observe des augmentations d’activité corrélées au passage du temps partout dans le cerveau (section 3.2.3) (Ivry & Schlerf, 2008) dont certaines qui s’adaptent clairement au délai (Komura et al., 2001; Leon & Shadlen, 2003; Reutimann et al., 2004). Une contribution importante de cette thèse est de proposer, à l’aide des LSTM, un nouveau modèle dans cette direction (Chapitre 7 et Chapitre
(Rivest, Kalaska, & Bengio, 2009a; Rivest, Kalaska, & Bengio, 2009b). Le modèle montre comment une forme de mémoire de travail et des augmentations d’activités peuvent apprendre à représenter le passage du temps et l’évaluation d’intervalles de temps spécifiques.
Néanmoins, les algorithmes actuels comme TD (sections 2.3.3 et suivantes) et les réseaux de neurones artificiels récurrents (sections 2.1.3 et 2.1.4) sont relativement déficients pour apprendre des propriétés temporelles. TD est totalement dépendant de la représentation des entrées qui lui sont fournies. Il n’a de temporel que le fait qu’il propage vers l’état précédent l’estimation des récompenses à recevoir à partir de l’état présent. Quant aux réseaux de neurones récurrents, leurs architectures limitent mathématiquement leur capacité à faire le lien entre différents éléments éloignés dans le temps (Bengio, Simard, & Frasconi, 1994; Hochreiter & Schmidhuber, 1997). Même les LSTM se sont avérés relativement mauvais s’ils ne pouvaient observer les deux stimuli ayant une relation temporelle à des moments contigus (Chapitre 7) (Rivest et al., 2009a), alors que les animaux semblent apprendre les délais très rapidement (Balsam, Drew, & Yang, 2002). Une des raisons possibles de cette difficulté est que ces algorithmes sont entrainés de façon à prédire ce qui doit arriver au temps t, et non à prédire quand un évènement x doit arriver. Par exemple, TD doit apprendre à prédire la somme des récompenses futures (intemporelle) pour l’état courant observé. En prédiction de séries temporelles, le système doit prédire quelles seront les entrées aux temps t+1 en fonction des entrées aux temps t, t-1, …. Bref, il minimise l’erreur de prédiction de la variable x au temps t, et non l’erreur de prédiction du temps t auquel devrait arriver un évènement x. Une telle réorientation du problème d’apprentissage le long de l’axe temporel permettrait certainement de développer de meilleurs modèles pour les situations où le temps est une variable importante. Elle permettrait aussi certainement de nouvelles avancées en apprentissage machine, tout particulièrement dans les situations ou les entrées et sorties doivent être traitées en temps continue, comme dans le cas des séries temporelles (sections 2.1.3 et 2.2.5).
Bibliographie
Balsam, P. D., Drew, M. R., & Yang, C. (2002). Timing at the start of associative learning. Learning and Motivation, 33, 141-155.
Bengio, Y., Simard, P., & Frasconi, P. (1994). Learning long-term dependencies with gradient descent is difficult. IEEE Transactions in Neural Networks, 5, 157-166.
Buhusi, C. V. & Meck, W. H. (2005). What makes us tick? Functional and neural mechanisms of interval timing. Nat.Rev.Neurosci., 6, 755-765.
Buonomano, D. V. (2005). A learning rule for the emergence of stable dynamics and timing in recurrent networks. J.Neurophysiol., 94, 2275-2283.
Dragoi, V., Staddon, J. E., Palmer, R. G., & Buhusi, C. V. (2003). Interval timing as an emergent learning property. Psychol.Rev., 110, 126-144.
Gallistel, C. R. & Gibbon, J. (2000). Time, rate, and conditioning. Psychol.Rev., 107, 289-344.
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Comput., 9, 1735-1780.
Hollerman, J. R. & Schultz, W. (1998). Dopamine neurons report an error in the temporal prediction of reward during learning. Nat.Neurosci., 1, 304-309.
Ivry, R. B. & Schlerf, J. E. (2008). Dedicated and intrinsic models of time perception. Trends Cogn Sci., 12, 273-280.
Komura, Y., Tamura, R., Uwano, T., Nishijo, H., Kaga, K., & Ono, T. (2001). Retrospective and prospective coding for predicted reward in the sensory thalamus. Nature, 412, 546-549.
Leon, M. I. & Shadlen, M. N. (2003). Representation of time by neurons in the posterior parietal cortex of the macaque. Neuron, 38, 317-327.
Morris, G., Arkadir, D., Nevet, A., Vaadia, E., & Bergman, H. (2004). Coincident but distinct messages of midbrain dopamine and striatal tonically active neurons. Neuron, 43, 133-143.
Reutimann, J., Yakovlev, V., Fusi, S., & Senn, W. (2004). Climbing neuronal activity as an event-based cortical representation of time. J.Neurosci., 24, 3295-3303.
Rivest, F., Kalaska, J. F., & Bengio, Y. (2009a). Alternative Time Representation in Dopamine Models. Journal of Computational Neuroscience.
Rivest, F., Kalaska, J. F., & Bengio, Y. (2009b). Conditioning and Time Representation in the Long Short-term Memory Networks.
Computational Neuroscience (and Programming) Blog