Autres modèles
June 11th, 2009 by Francois Rivest
Un élément important qui ne vient pas du tout de TD mais que certains modèles utilisent est relié au concept de la saillance incitative (traduction libre de l’anglais incentive saliency) (Berridge & Robinson, 1998). La question générale est toute simple : quel est le rôle de la dopamine? La dopamine a-t-elle simplement un rôle d’apprentissage? Sert-elle à indiquer la présence de quelque chose que l’on aime (parce que c’est associé à une récompense par exemple)? Ou sert-elle à motiver la recherche de ce quelle chose (vouloir)? Par exemple, un rat placé dans un labyrinthe peut avoir appris qu’il y a une récompense à l’autre bout, mais si l’on bloque le signal dopaminergique, il ne partira pas à sa recherche (Ikemoto & Panksepp, 1996). Ce qui n’est pas compatible du rôle de la dopamine dans les modèles TD où il ne sert qu’à l’apprentissage. La façon la plus simple de réconcilier le pouvoir motivationnel de la dopamine au modèle TD, est de faire jouer un second rôle au signal δ en lui permettant d’influencer les probabilités de prendre une action dans un acteur de type softmax (sections 2.1.2 et 2.3.5) par exemple (Montague, Dayan, & Sejnowski, 1996; Egleman & Person, 1998; McClure, Daw, & Montague, 2003). Pour une discussion approfondie du sujet, voir (Berridge, 2007). Le modèle de (Redish, 2004) utilise aussi une variante de ce concept. δ jouait aussi un rôle direct sur le changement d’action dans (Schultz, Dayan, & Montague, 1997) et joue un rôle similaire sur l’attention dans (Alexander & Sporns, 2006; Alexander, 2007).
Un autre concept important et relativement peu regardé est le concept de la nouveauté. La nouveauté peut faire office de récompense, et lorsque c’est le cas, elle dépend du système dopaminergique pour son conditionnement (Bevins et al., 2002). Kakade et Dayan ont proposé deux modèles d’utilisation de la nouveauté pour expliquer la réponse dopaminergique à celle-ci et le rôle de la nouveauté sur l’exploration (Kakade & Dayan, 2002). Le premier suppose un signal direct de nouveauté faisant office de récompense. Lisman et Grace ont proposé des voies anatomiques d’acheminement d’un tel signal en provenance possible de l’hippocampus (Lisman & Grace, 2005). Le second modèle plus mathématique est basé sur la surévaluation de tout nouvel état, favorisant ainsi leur exploration. Mentionnons les résultats récents dans d’enregistrements dans le striatum (Barnes, Kubota, Hu, Jin, & Graybiel, 2005) où celui-ci semble partiellement se désactiver avec le surentraîné (exploitation), mais reprend une activité plus variée pendant l’extinction (exploration). Redgrave et Gurney discutent aussi du rôle possible du signal de nouveauté dopaminergique dans la découverte de nouvelles actions (Redgrave & Gurney, 2006). Le lien possible entre les ganglions de la base, la dopamine, la nouveauté et les actes, bien que non adressé dans cette thèse, pourrait s’avérer très important pour le développement de représentations. Une grande part de notre apprentissage se faisant par les jeux et l’exploration, cette exploration, sous un contrôle possible des ganglions de la base, pourrait fournir au cortex les informations nécessaires à la construction d’abstractions.
Finalement, il y a un certain nombre d’autres modèles mathématiques des ganglions de la bases seul ou en incorporant d’autres régions du cerveau qui ne sont pas basés sur TD. Il y a tout d’abord le modèle de (Beiser & Houk, 1998) dans lequel il n’y a aucun apprentissage, le modèle de (Dominey & Arbib, 1992; Arbib & Dominey, 1995) dans lequel il y a plusieurs régions du cerveau, mais un seul ensemble de poids adaptatifs (cortico-striatals) sur la base du renforcement, les modèles de (Brown, Bullock, & Grossberg, 1999; Contreras-Vidal & Schultz, 1999) qui reproduisent des données dopaminergiques en utilisant une forme de ligne de délais et sans apprentissage de représentations, et les modèles de (Berns & Sejnowski, 1998; Gurney, Prescott, & Redgrave, 2001a; Gurney, Prescott, & Redgrave, 2001b; Gurney, Humphries, Wood, Prescott, & Redgrave, 2004) concentrés sur les voie de sorties et la sélection d’action.
Bibliographie
Alexander, W. H. (2007). Shifting attention using a temporal difference prediction error and high-dimensional input. Adaptive Behavior, 15, 121-133.
Alexander, W. H. & Sporns, O. (2006). Temporal Difference Learning with Learned Attention Shifts. In Fifth International Conference on Development and Learning.
Arbib, M. A. & Dominey, P. F. (1995). Modeling the Roles of Basal Ganglia in Timing and Sequencing Saccadic Eye Movements. In J.C.Houk, J. L. Davis, & D. G. Beiser (Eds.), Models of Information Processing in the Basal Ganglia (pp. 149-162). The MIT Press.
Barnes, T. D., Kubota, Y., Hu, D., Jin, D. Z., & Graybiel, A. M. (2005). Activity of striatal neurons reflects dynamic encoding and recoding of procedural memories. Nature, 437, 1158-1161.
Beiser, D. G. & Houk, J. C. (1998). Model of cortical-basal ganglionic processing: encoding the serial order of sensory events. J.Neurophysiol., 79, 3168-3188.
Berns, G. S. & Sejnowski, T. J. (1998). A computational model of how the basal ganglia produce sequences. J.Cogn Neurosci., 10, 108-121.
Berridge, K. C. (2007). The debate over dopamine’s role in reward: the case for incentive salience. Psychopharmacology (Berl), 191, 391-431.
Berridge, K. C. & Robinson, T. E. (1998). What is the role of dopamine in reward: hedonic impact, reward learning, or incentive salience? Brain Res.Brain Res.Rev., 28, 309-369.
Bevins, R. A., Besheer, J., Palmatier, M. I., Jensen, H. C., Pickett, K. S., & Eurek, S. (2002). Novel-object place conditioning: behavioral and dopaminergic processes in expression of novelty reward. Behav.Brain Res., 129, 41-50.
Brown, J., Bullock, D., & Grossberg, S. (1999). How the basal ganglia use parallel excitatory and inhibitory learning pathways to selectively respond to unexpected rewarding cues. J.Neurosci., 19, 10502-10511.
Contreras-Vidal, J. L. & Schultz, W. (1999). A predictive reinforcement model of dopamine neurons for learning approach behavior. J.Comput.Neurosci., 6, 191-214.
Dominey, P. F. & Arbib, M. A. (1992). A cortico-subcortical model for generation of spatially accurate sequential saccades. Cereb.Cortex, 2, 153-175.
Egleman, D. M. & Person, C. M. P. R. (1998). A Computational Role for Dopamine Delivery in Human Decision-Making. J.Cogn Neurosci., 10, 623-630.
Gurney, K., Prescott, T. J., & Redgrave, P. (2001a). A computational model of action selection in the basal ganglia. I. A new functional anatomy. Biol.Cybern., 84, 401-410.
Gurney, K., Prescott, T. J., & Redgrave, P. (2001b). A computational model of action selection in the basal ganglia. II. Analysis and simulation of behaviour. Biol.Cybern., 84, 411-423.
Gurney, K. N., Humphries, M., Wood, R., Prescott, T. J., & Redgrave, P. (2004). Testing computational hypotheses of brain systems function: a case study with the basal ganglia. Network., 15, 263-290.
Ikemoto, S. & Panksepp, J. (1996). Dissociations between appetitive and consummatory responses by pharmacological manipulations of reward-relevant brain regions. Behav.Neurosci., 110, 331-345.
Kakade, S. & Dayan, P. (2002). Dopamine: generalization and bonuses. Neural Netw., 15, 549-559.
Lisman, J. E. & Grace, A. A. (2005). The hippocampal-VTA loop: controlling the entry of information into long-term memory. Neuron, 46, 703-713.
McClure, S. M., Daw, N. D., & Montague, P. R. (2003). A computational substrate for incentive salience. Trends Neurosci., 26, 423-428.
Montague, P. R., Dayan, P., & Sejnowski, T. J. (1996). A Framework for Mesencephalic Dopamine Systems Based on Predictive Hebbian Learning. The Journal of Neuroscience, 16, 1936-1947.
Redgrave, P. & Gurney, K. (2006). The short-latency dopamine signal: a role in discovering novel actions? Nat.Rev.Neurosci., 7, 967-975.
Redish, A. D. (2004). Addiction as a computational process gone awry. Science, 306, 1944-1947.
Schultz, W., Dayan, P., & Montague, P. R. (1997). A neural substrate of prediction and reward. Science, 275, 1593-1599.
Computational Neuroscience (and Programming) Blog