Feed on
Posts
Comments

L’idée de représentation distribuée évoque deux éléments importants. Premièrement, qu’aucun neurone seul ne puisse donner une information complète ou précise sur une variable spécifique. Il n’y a pas un neurone spécifique qui répond uniquement au concept « grand-maman » et qui peut à lui seul nous indiquer la présence ou l’absence de grand-maman à notre esprit. À l’opposé, si un neurone se résume à une sommation pondérée de ses afférences et une non-linéarité comme une sigmoïde, il n’y aurait pas non plus suffisamment de neurones pour encoder toutes les combinaisons possibles de stimuli permettant de détecter grand-maman et tous les autres objets sur une seule couche (Cybenko, 1989). Une variation d’éclairage, un chandail neuf, et hop, on ne reconnaîtrait plus grand-maman! Mais la représentation de l’information dans le cortex n’est pas non plus sans structure, c’est le deuxième élément.

Les représentations ont aussi une certaine hiérarchie. Par exemple, un neurone de V1 ne couvre qu’une toute petite partie du champ visuel et ne peut donc pas dire grand-chose sur l’objet présent. Sa fenêtre sur le monde n’est pas suffisamment grande. Les couches suivantes intègrent l’information de plusieurs neurones. Elles ont ainsi un plus grand champ visuel et cumulent un plus grand nombre de non-linéarités. C’est ce qui leur permet de détecter des stimuli plus complexes. Alors que des populations de neurones se consacreront plutôt aux textures, d’autres se consacreront aux formes, aux visages ou aux positions des objets qui nous entourent. Certaines représentations seront presque insensibles à la position des objets ou à leur couleur, alors que d’autres seront particulièrement sensibles à cette information, si elle est nécessaire à la tâche. Hiérarchiser les couches représente un avantage computationnel important (Bengio, 2007, 2009). Mais, cette hiérarchie n’est pas purement pyramidale. Certaines informations sont d’abord intégrées pour ensuite être redistribuées à différents systèmes, et ce, même vers le bas (Figure 92). Dans un système récurrent comme le cortex où il existe probablement un chemin entre chaque neurone, il devient parfois difficile de parler de traitement séquentiel de l’information. Même les premières couches du système visuel sont influencées par le traitement des couches supérieures et les attentes de l’individu. Il est aussi difficile d’isoler pourquoi une population de neurones X se spécialise selon une dimension de l’information plutôt qu’une autre. D’une certaine façon, le cortex semble arriver à démêler les facteurs importants des entrées brutes en les recombinant dans de nouvelles représentations distribuées plus utiles et efficaces.

Figure 92 : Exemple fictif d’interaction entre différentes représentations.

Comment le cortex ou un quelconque système d’apprentissage pourrait apprendre de telles représentations reste encore à élucider, mais ce domaine de recherche est en pleine évolution (Bengio, 2007, 2009). Il y a bien des modèles de l’apprentissage pour les couches corticales primaires (par exemple, Doi, Inui, Lee, Wachtler, & Sejnowski, 2003; Hyvarinen, Gutmann, & Hoyer, 2005) et plusieurs autres régions (par exemple, Rougier, Noelle, Braver, Cohen, & O’Reilly, 2005; O’Reilly & Frank, 2006), mais c’est bien peu lorsque l’on considère l’ensemble du développement cognitif du cortex et la grande variété de représentations que l’on y retrouve. Bien que le modèle cortical utilisé dans cette thèse (le LSTM) apprend une représentation abstraite de la tâche, il ne fait aucune avancée importante dans la construction de représentations distribuées au-delà de suggérer un rôle de la rétroaction dopaminergique mésocorticale. Le modèle s’avère même plus facile à analyser lorsque le nombre de blocs mémoires est petit, quoique le nombre de blocs mémoires semble avoir peu d’influence sur les résultats dopaminergiques reproduits.

Un autre facteur important dans le succès du cortex à développer des représentations est probablement la chronologie de son développement. Toutes les régions du cerveau n’apprennent pas nécessairement au même rythme au cours d’une vie. Par exemple, les neurones du cortex auditif primaire chez le rat (A1) ont une très courte période critique pendant laquelle la plasticité est beaucoup plus grande (de Villers-Sidani, Chang, Bao, & Merzenich, 2007). La sensibilité de certains neurones de V1 pourrait être le résultat du développement du système nerveux combiné à un apprentissage prénatal dû à des signaux spontanés en provenance de la rétine (Thivierge & Marcus, 2006), ainsi que d’un raffinement important suivant la naissance (Singer & Tretter, 1976). Chez l’humain, la résolution spatiale et la profondeur de champ du système visuel prennent jusqu’à un an avant d’atteindre leur pleine capacité; un autre phénomène pouvant avoir un effet positif sur l’apprentissage dans le système visuel (Dominguez & Jacobs, 2001). Le langage est une autre faculté pour laquelle il semble y avoir une période critique. Si les stimuli adéquats ne sont pas présents pendant cette période, par exemple si un enfant n’est pas suffisamment exposé à un langage avant l’âge de treize ans, alors il est peu probable qu’il arrive à parler et comprendre convenablement des phrases complètes un jour (Goldin-Meadow, 1978). Selon Piaget (1952), nous ne naîtrions pas avec toutes les représentations dont nous avons besoins, mais nous les développerions avec l’expérience. Le développement cognitif chez les enfants suggère d’ailleurs une évolution des compétences par étapes ou par niveau (Shultz, 2003). Il en est de même pour la perception, l’évaluation et l’utilisation dans nos actions du passage du temps. Bien que des signes de l’évaluation du temps apparaissent très tôt chez le nourrisson, ce n’est que vers l’âge de six ans que l’on semble pouvoir utiliser le plein potentiel de nos différentes représentations temporelles (Droit-Volet, 2000). De la chronologie du développement moléculaire à l’ordre de présentation des concepts (Krueger & Dayan, 2009), il reste beaucoup de chemin à parcourir pour arriver à comprendre, modéliser ou reproduire la grande capacité d’apprentissage du cortex.

Bibliographie

Bengio, Y. (2007). On the Challenge of Learning Complex Functions. In P.Cisek, T. Drew, & J. F. Kalaska (Eds.), Computational Neuroscience: Theoritical Insights into Brain Function, 165 ( Elsevier.

Bengio, Y. (2009). Learning Deep Architectures for AI. Foundations and Trends in Machine Learning, 2.

Cybenko, G. (1989). Approximation by Superpositions of a Sigmoidal Function. Mathematics of Control, Signals, and Systems, 2, 303-314.

de Villers-Sidani, E., Chang, E. F., Bao, S., & Merzenich, M. M. (2007). Critical period window for spectral tuning defined in the primary auditory cortex (A1) in the rat. J.Neurosci., 27, 180-189.

Doi, E., Inui, T., Lee, T. W., Wachtler, T., & Sejnowski, T. J. (2003). Spatiochromatic receptive field properties derived from information-theoretic analyses of cone mosaic responses to natural scenes. Neural Comput., 15, 397-417.

Dominguez, M. & Jacobs, R. A. (2001). Visual Development and the Acquisition of Binocular Disparity Sensitivities. In C. E. Brodley & A. P. Danyluk (Eds.), Eighteenth International Conference on Machine Learning (pp. 114-121). San Francisco, CA: Morgan Kaufmann.

Droit-Volet, S. (2000). L’estimation du temps : perspective développementale. L’année psychologique, 100, 443-464.

Goldin-Meadow, S. (1978). A Study in Human Capacities. Science, 200, 649-651.

Hyvarinen, A., Gutmann, M., & Hoyer, P. O. (2005). Statistical model of natural stimuli predicts edge-like pooling of spatial frequency channels in V2. BMC.Neurosci., 6, 12.

Krueger, K. A. & Dayan, P. (2009). Flexible shaping: how learning in small steps helps. Cognition, 110, 380-394.

O’Reilly, R. C. & Frank, M. J. (2006). Making working memory work: a computational model of learning in the prefrontal cortex and basal ganglia. Neural Comput., 18, 283-328.

Piaget, J. (1952). The Origins of Intelligence in Children. New York, NY: International University Press.

Rougier, N. P., Noelle, D. C., Braver, T. S., Cohen, J. D., & O’Reilly, R. C. (2005). Prefrontal cortex and flexible cognitive control: rules without symbols. Proc.Natl.Acad.Sci.U.S.A, 102, 7338-7343.

Shultz, T. R. (2003). Computational Developmental Psychology. Cambridge, MA: MIT Press.

Singer, W. & Tretter, F. (1976). Unusually large receptive fields in cats with restricted visual experience. Exp.Brain Res., 26, 171-184.

Thivierge, J.-P. & Marcus, G. F. (2006). Computational Developmental Neuroscience: Exploring the Interactions Between Genetics and Neural Activity. In IEEE Press (Ed.), International Joint Conference on Neural Networks, 2006. (pp. 4630-4637).

2 Responses to “Le cortex : représentation distribuée et hiérarchique”

  1. on 13 Dec 2009 at 9:28 am PETIT

    Bravo. Votre analyse est intéressante et exprimée simplement.
    Si Piaget vous intéresse, j’ai développé et déposé un modèle cybernétique du comportement sensori-moteur du nourrisson selon la théorie de l’apprentissage de Jean Piaget.
    Mon site est en http://www.regispetit.com
    Bien cordialement
    Régis Petit

  2. on 13 Dec 2009 at 9:41 am Francois Rivest

    Merci beaucoup. Je vais jeter un oeil à votre site.

Trackback URI | Comments RSS

Leave a Reply