Feed on
Posts
Comments

Archive for June, 2009

Littérature et conclusion

Parmi les revues de littérature sur le sujet, mentionnons (Brown, Bullock, & Grossberg, 1999; Gillies & Arbuthnott, 2000) qui font une relativement bonne revue des modèles de l’époque, ainsi que (Joel, Niv, & Ruppin, 2002; Suri, 2002). (Horgan & Cummins, 2006) comparent les modèles à représentation temporelle (seulement Suri, 2001) et les modèles à représentation […]

Autres modèles

Un élément important qui ne vient pas du tout de TD mais que certains modèles utilisent est relié au concept de la saillance incitative (traduction libre de l’anglais incentive saliency) (Berridge & Robinson, 1998). La question générale est toute simple : quel est le rôle de la dopamine? La dopamine a-t-elle simplement un rôle d’apprentissage? Sert-elle […]

Doya (Doya, 1999; Doya, 2000) a développé une théorie générale sur l’apprentissage dans le cerveau dont le présent ouvrage est grandement inspiré. Dans cette théorie, les régions anatomiques importantes sont considérées comme effectuant différents types d’apprentissage. Par exemple, le cortex pourrait faire de l’apprentissage non supervisé, les ganglions de la base de l’apprentissage par renforcement […]

Un certain nombre de modèles sont basés sur l’idée qu’il puisse y avoir plusieurs modules TD en parallèle (Nakahara, Doya, & Hikosaka, 2001; Baldassarre, 2002; Redish, 2004; Khamassi, Lacheze, Girard, Berthoz, & Guillot, 2005; Khamassi, Martinet, & Guillot, 2006; Bertin, Schweighofer, & Doya, 2007; Khamassi, Mulder, Tabuchi, Douchamps, & Wiener, 2008; Moustafa & Maida, 2007). […]

La modélisation du signal dopaminergique par le signal d’erreur δ des modèles TD n’est cependant pas le simple résultat de l’Équation 41. Elle dépend entièrement de la forme de la fonction V et surtout de la structure de l’espace d’états S, c’est-à-dire de la représentation des états ou des entrées. Il y a principalement deux […]

Le modèle est principalement basé sur le fait que le signal phasique d’une majorité de neurones dopaminergiques mésencéphaliques (A8, A9 et A10) se comporte comme le signal d’erreur de prédiction de récompense δ dans les algorithmes de style TD (chapitre 2.3.3 et suivants) (Houk, Adams, & Barto, 1995; Montague, Dayan, & Sejnowski, 1996; Schultz, Dayan, […]

Historique

Les modèles TD sont un excellent exemple de situation ou l’apprentissage machine, la modélisation en psychologie de l’apprentissage animale et les modèles informatiques des ganglions de la base se regroupent au travers d’un même cadre théorique. Sutton tentait à l’époque de développer un modèle mathématique de style neural de l’apprentissage animale (Sutton & Barto, 1981). […]

Il y a probablement plus d’une centaine de modèles informatiques adaptatifs des ganglions de la base, donc la grande majorité depuis 1995 sont basés sur l’algorithme TD. Une revue exhaustive de tous ces articles serait non seulement longue, mais peu utile. À la place, cette section traitera des éléments constitutifs clefs les plus importants. Après […]