Feed on
Posts
Comments

Parmi les revues de littérature sur le sujet, mentionnons (Brown, Bullock, & Grossberg, 1999; Gillies & Arbuthnott, 2000) qui font une relativement bonne revue des modèles de l’époque, ainsi que (Joel, Niv, & Ruppin, 2002; Suri, 2002). (Horgan & Cummins, 2006) comparent les modèles à représentation temporelle (seulement Suri, 2001) et les modèles à représentation abstraite (Daw, Courville, & Touretzky, 2006). Finalement, pour une revue des modèles des ganglions de la base, en particulier sur l’apprentissage de séquence et la relation entre ces modèles et les connaissances biophysiques des ganglions de la base, voir (Worgotter & Porr, 2005).

Pour une bonne introduction au modèle TD des noyaux gris centraux à tous les niveaux, voir (Montague, Hyman, & Cohen, 2004). Pour un résumé de l’état actuel des modèles, voir (Daw & Doya, 2006). Pour une liste des questions et réponses fréquentes, voir (Niv & Schoenbaum, 2008).

En conclusion, la modélisation de l’apprentissage dans les ganglions de la base a connu un essor considérable avec l’arrivée des modèles TD. Par exemple, une grande partie des données dopaminergiques a été reproduite d’une façon ou d’une autre à l’aide de ses modèles. Cependant, le problème de l’apprentissage d’abstraction temporelle (séquence d’actions) et surtout structurale (de représentation) n’est pas résolu par les ganglions de la base seuls. Ceux-ci y jouent pourtant un rôle important : soit par leur interaction directe avec le cortex frontal dans l’acquisition d’habitude, par les projections dopaminergiques ou par l’exploration. Cependant, rares sont les modèles neurophysiologiques (pas nécessairement biophysiques) adressant le problème de l’apprentissage intégré entre le cortex et les ganglions de la base. En fait, bien peu de modèles regardent réellement le développement d’abstractions. La grande majorité des modèles fonctionnent grâce aux représentations implémentées par les expérimentateurs. De plus, si le cerveau développe une représentation de la dynamique de l’environnement, alors il doit pouvoir apprendre à gérer le passage du temps, ce qu’aucun modèle ne fait de façon satisfaisante.

Bibliographie

Brown, J., Bullock, D., & Grossberg, S. (1999). How the basal ganglia use parallel excitatory and inhibitory learning pathways to selectively respond to unexpected rewarding cues. J.Neurosci., 19, 10502-10511.

Daw, N. D., Courville, A. C., & Touretzky, D. S. (2006). Representation and timing in theories of the dopamine system. Neural Comput., 18, 1637-1677.

Daw, N. D. & Doya, K. (2006). The computational neurobiology of learning and reward. Curr.Opin.Neurobiol..

Gillies, A. & Arbuthnott, G. (2000). Computational models of the basal ganglia. Mov Disord., 15, 762-770.

Horgan, P. & Cummins, F. (2006). Modeling Dopamine Activity by Reinforcement Learning Methods: Implications from Two Recent Models. Artif.Intell.Rev., 26, 49-62.

Joel, D., Niv, Y., & Ruppin, E. (2002). Actor-critic models of the basal ganglia: new anatomical and computational perspectives. Neural Netw., 15, 535-547.

Montague, P. R., Hyman, S. E., & Cohen, J. D. (2004). Computational roles for dopamine in behavioural control. Nature, 431, 760-767.

Niv, Y. & Schoenbaum, G. (2008). Dialogues on prediction errors. Trends Cogn Sci., 12, 265-272.

Suri, R. E. (2001). Anticipatory responses of dopamine neurons and cortical neurons reproduced by internal model. Exp.Brain Res., 140, 234-240.

Suri, R. E. (2002). TD models of reward predictive responses in dopamine neurons. Neural Netw., 15, 523-533.

Worgotter, F. & Porr, B. (2005). Temporal sequence learning, prediction, and control: a review of different models and their relation to biological mechanisms. Neural Comput., 17, 245-319.

Trackback URI | Comments RSS

Leave a Reply