Evolution of decision-making and learning under fluctuating social environments

The capacity to learn to associate sensory perceptions with appropriate motor actions underlies the success of many animal species, from insects to humans. The evolutionary significance of learning has long been a subject of interest for evolutionary biologists who emphasize the bene¬fit yielded by learning under changing environmental conditions, where it is required to flexibly switch from one behavior to another. However, two unsolved questions are particularly impor¬tant for improving our knowledge of the evolutionary advantages provided by learning, and are addressed in the present work. First, because it is possible to learn the wrong behavior when a task is too complex, the learning rules and their underlying psychological characteristics that generate truly adaptive behavior must be identified with greater precision, and must be linked to the specific ecological problems faced by each species. A framework for predicting behavior from the definition of a learning rule is developed here. Learning rules capture cognitive features such as the tendency to explore, or the ability to infer rewards associated to unchosen actions. It is shown that these features interact in a non-intuitive way to generate adaptive behavior in social interactions where individuals affect each other's fitness. Such behavioral predictions are used in an evolutionary model to demonstrate that, surprisingly, simple trial-and-error learn¬ing is not always outcompeted by more computationally demanding inference-based learning, when population members interact in pairwise social interactions. A second question in the evolution of learning is its link with and relative advantage compared to other simpler forms of phenotypic plasticity. After providing a conceptual clarification on the distinction between genetically determined vs. learned responses to environmental stimuli, a new factor in the evo¬lution of learning is proposed: environmental complexity. A simple mathematical model shows that a measure of environmental complexity, the number of possible stimuli in one's environ¬ment, is critical for the evolution of learning. In conclusion, this work opens roads for modeling interactions between evolving species and their environment in order to predict how natural se¬lection shapes animals' cognitive abilities. - La capacite d'apprendre a associer des sensations perceptives a des actions motrices appropriees est sous-jacente au succes evolutif de nombreuses especes, depuis les insectes jusqu'aux etres hu¬mains. L'importance evolutive de l'apprentissage est depuis longtemps un sujet d'interet pour les biologistes de l'evolution, et ces derniers mettent l'accent sur le benefice de l'apprentissage lorsque les conditions environnementales sont changeantes, car dans ce cas il est necessaire de passer de maniere flexible d'un comportement a l'autre. Cependant, deux questions non resolues sont importantes afin d'ameliorer notre savoir quant aux avantages evolutifs procures par l'apprentissage. Premierement, puisqu'il est possible d'apprendre un comportement incorrect quand une tâche est trop complexe, les regles d'apprentissage qui permettent d'atteindre un com¬portement reellement adaptatif doivent etre identifiees avec une plus grande precision, et doivent etre mises en relation avec les problemes ecologiques specifiques rencontres par chaque espece. Un cadre theorique ayant pour but de predire le comportement a partir de la definition d'une regle d'apprentissage est developpe ici. Il est demontre que les caracteristiques cognitives, telles que la tendance a explorer ou la capacite d'inferer les recompenses liees a des actions non ex¬perimentees, interagissent de maniere non-intuitive dans les interactions sociales pour produire des comportements adaptatifs. Ces predictions comportementales sont utilisees dans un modele evolutif afin de demontrer que, de maniere surprenante, l'apprentissage simple par essai-et-erreur n'est pas toujours battu par l'apprentissage base sur l'inference qui est pourtant plus exigeant en puissance de calcul, lorsque les membres d'une population interagissent socialement par pair. Une deuxieme question quant a l'evolution de l'apprentissage concerne son lien et son avantage relatif vis-a-vis d'autres formes plus simples de plasticite phenotypique. Apres avoir clarifie la distinction entre reponses aux stimuli genetiquement determinees ou apprises, un nouveau fac¬teur favorisant l'evolution de l'apprentissage est propose : la complexite environnementale. Un modele mathematique permet de montrer qu'une mesure de la complexite environnementale - le nombre de stimuli rencontres dans l'environnement - a un role fondamental pour l'evolution de l'apprentissage. En conclusion, ce travail ouvre de nombreuses perspectives quant a la mo¬delisation des interactions entre les especes en evolution et leur environnement, dans le but de comprendre comment la selection naturelle faconne les capacites cognitives des animaux.