Category Archives: Academe

Dynamic Programming in Distributional Reinforcement Learning

Last summer, I supervised a summer intern, Cédric Odin, student at Ecole Normale in Ker Lann, France, on Dynamic Programming in Distributional Reinforcement Learning. A state-of-the-art is now available online https://hal.archives-ouvertes.fr/hal-03168889

The classic approach to reinforcement learning is limited in that it only predicts the expected return. The specialized literature has long tried to remedy this problem by studying risk-sensitive models, but the distributional approach will not emerge until 2017. Since the seminal article Bellemare, Dabney, and Munos 2017 and the state-of-the-art performance of the C51 algorithm in the ATARI 2600 suite of benchmark tasks (Bellemare, Naddaf, et al. 2013), research has focused on understanding the behaviour of distributional algorithms. In this paper we place Bellemare’s original results in distributional dynamic programming in parallel with the classic results.

Soutenances de mémoires, à Brest

Ce matin (heure de Montréal), après mon exposé au séminaire Big Data et Économétrie à AMSE, Lariosse Kouakou et Molly James ont défendu leur mémoire de maîtrise, à Brest. Lariosse a présenté son travail sur assurance collaborative et réseaux, ou comment optimiser un modèle de franchise collaborative en assurance IARD. Lariosse avait fait son stage tout l’été sous ma supervision, et on mettra bientôt en ligne une version plus courte de son travail.

(Lariosse est à la recherche d’un poste, idéalement d’une thèse cifre, et je ne peux que recommander sa candidature).

Molly James avait travaillé l’été dernier avec moi, sur le risque inondation (l’article en lien avec son travail est en ligne depuis quelques mois, Insurance against Natural Catastrophes: Balancing Actuarial Fairness and Social Solidarity). Son mémoire porte sur le risque de subsidence, et je l’ai suivie de loin, tout l’été…

Insurance, Actuarial Science, Data and Models

Next week, we will have our two-day conference in Paris, on Insurance, Actuarial Science, Data and Models.

Enora (who started her PhD under my supervision last September) will present a poster on agregated data (in the context of anonymity, GDPR, etc) with two focus: econometric regression on compositional data (when an explanatory variable is defined on the simplex, and classical Euclidean geometry cannot be used) and ecological inference.

Ewen (who is enjoying a postdoc position with me) will present a poster also, on our recent work on genealogical data

De la communication scientifique…

Vendredi dernier, j’étais convié à une matinée de discussion autour de la communication scientifique, par des universitaires, à destination des doctorants de la région. Muriel Lefebvre a fait une présentation captivante sur la communication scientifique, et comme promis, je vais mettre par écrit quelques notes prises (je pourrais préciser que j’ai rajouté des réflexions personnelles, mélées à mes notes, car je n’ai pas réussi à déméler). L’idée était de questionner la communication scientifique, et ses pratiques diverses. Le premier point était de noter la variété des formes, la variété des objectifs (écrire permet de réfléchir, de communiquer, de valider, etc), et la variété des publics. En effet, on peut écrire pour soi, pour les pairs (présents, mais aussi passés, en revisitant des études), et pour d’autres sphères. Pour illustrer ce dernier point, Muriel Lefebvre a proposé de revenir sur la rose des vents proposée par Callon, Courtial & Penan (1993), que je reprends sommairement

(bon, le géomètre qui est en moi bout, car une rose des vents est une étoile à 32 directions, pour les 32 directions du vent, car 32=25 or ici on n’a que 5 branches…. mais peu importe). La “communication scientifique” est un objet difficile à identifier parce qu’elle est confrontée à ces 5 axes, qui sont de nature très différente.

En haut à gauche, on retrouve les deux branches classiques du monde académique : la communication liée à l’enseignement, et celle liée à la recherche académique. Dans ces deux sphères, l’enseignant-chercheur est légitime parce que c’est dans son nom : il est enseignant et chercheur. Le terme “média” est à entendre au sens large, il s’agit de toucher un grand public. La “sphère économique” est liée à d’autres termes importants aujourd’hui, comme l’innovation, ou la valorisation. Pour ce dernier, si on pense naturellement aux applications industrielles, on peut toutefois rajouter des activités commerciales au sens large, comme cela peut se voir en droit. Enfin, les “institutions” pourrait être un terme fourre-tour, dès lors que l’enseignant-chercheur est appelé à partager son expertise (par exemple dans des discussions en lien avec la bioéthique).

Il y a aussi une confusion sur les termes, où les termes de publication, de médiation, de vulgarisation, sont utilisés dans tous les sens. Historiquement, la communication scientifique passe par l’écriture, qui légitime le travail. La publication permet de diffuser des travaux, tout en servant d’instrument de validation, d’assurer la paternité d’une découverte, de valoriser un travail, et elle sert aujourd’hui de base pour évaluer la recherche. Cette publication scientifique passe par un processus éditorial et une évaluation par les pairs. La chaîne de l’écriture scientifique est un processus non linéaire, largement décrit par Hans Reichenbach et Karl Popper, mais qui historiquement, restait dans la sphère académique. La vulgarisation (du latin vulgaris) vise à transmettre un contenu (scientifique) d’une manière aisément compréhensible par un large public. Son apogée a été au XIXème siècle, et a été basé sur une relation fondamentalement hiérarchique, du savant vers l’ignorant, du sacré vers le profane. La transmission est alors unidirectionnelle. Ce terme a aujourd’hui une connotation négative, on lui préferera celui d’instruction, ou d’éducation populaire. Cette vulgarisation n’est alors pas une fin en soi, mais une méthode. Puis dans les années 60/70, on voit arriver l’idée de médiation scientifique. Il s’agit alors de mettre du lien, de dialoguer, dans une époque qui remet en question l’autorité de la science, qui n’associe plus science et progrès aussi aisément. Ce dialogue qui doit être rétabli entre science et société se retrouve plus généralement entre la culture et la société. C’est l’époque des maisons de la culture, nées de l’idée d’ouvrir et de rentre accessible l’art (et la culture) à tout le monde. Par la suite, dans les années 80, la notion de culture va s’élargir, en reconnaissant des formes plurielles et diverses. Et la science va bénéficier de ce mouvement. C’est l’idée de “(re)mettre la science en culture“. La culture scientifique est alors une sous partie de la culture commune.

Ces changements vont se traduire par des nouvelles formes de publicisation de la science, pour reprendre la terminologie de Jürgen Habermas. Il s’agit pour le scientifique de rendre public ses travaux, d’être visible. La publicisation se fait par les revues savantes traditionnelles, mais aussi les revues électroniques, les archives ouvertes (hal, arxiv, etc), les réseaux sociaux académiques (research gate, academia, etc), qui restent tous dans la sphère académique traditionnelle. Mais il y a aujourd’hui également de la publicisation vers un publique non-académique, qui peut être atteint par les carnets et blogs de recherche, ou par des chaînes youtube. Depuis 1982, et la redéfinition du rôle de l’enseignant-chercheur, l’importance de la diffusion n’a cessé d’augmenter.

Les expériences de vulgarisation/médiation ne cessent de se multiplier, allant de la fête de la science, à la nuit européenne des chercheurs ou MT180. L’objectif n’est plus très clair, même si les institutions académiques semblent valoriser ces activités, allant d’un souhait de partager des savoirs à une forme d’injonction de visibilité. Pour conclure, Muriel Lefebvre est longuement revenue sur cette double injonction, de qualité et de visibilité. Les fontières semblent se brouiller, Il y a une demande d’humanisation (voire une personnalisation) de la recherche.

On a ensuite eu une table ronde, et ma prise de notes en a pâti (on s’est un peu écouté parler). Il y a eu de nombres interrogations sur la légitimité pour faire de la médiation, et sur l’ouverture des revues savantes. Mais une intervention a aussi souligné l’émergence d’un nouvel acteur depuis quelques années dans la médiation : les associations. Le point de départ semble avoir été les associations en lien avec les personnes malades, atteintes du HIV, dans les années 80, qui ont voulu comprendre. Ces associations peuvent jouer un rôle important dans la médiation. L’histoire amusante est un article de Muriel Lefebvre, intitulé The Circulation of Scientific Articles in the Sphere of Web-Based Media: Citation Practices, Communities of Interests and Local Ties. Dans cet article, elle s’interroge sur la vie d’un article paru en 2012, dans PLoS, intitulé “Freshwater Killer Whales”: Beaching Behavior of an Alien Fish to Hunt Land Birds, et plus particulièrement qui mentionne cet article. Pour information, cet article étudie un gros poisson, la silure (Silurus glanis)

et ce poisson semble avoir tendance à manger des oiseaux, comme ces pigeons (Columbia livia). L’article illustre avec quelques photos (les plus courageux pour aussi trouver en ligne des vidéos).

La question n’était pas de savoir qui dans les revues scientifiques citent cet article (comme peut le faire la bibliométrie traditionnelle) mais plutôt de comprendre au sens large qui a pu mentionner cette étude (publiée en accès ouvert). En fait, cet article a été énormément mentionné sur des sites internet d’associations de pêcheurs (comme seriouslyfish), qui peuvent relayer une information publiée par des chercheurs, pour la diffuser auprès d’un public beaucoup plus large. En fait, le processus de la production scientifique est complexe, car ces associations peuvent aussi faire remonter un problème auprès de scientifiques, qui prendront alors le temps de creuser, et de comprendre. Il s’agit alors véritablement d’échanges. Plus généralement aujourd’hui, on retrouvera beaucoup d’association de malades, qui tentent de comprendre la recherche, mais qui tentent aussi de sensibiliser (et donc de financer). Il n’y a plus de hiérarchie, entre sachants et profanes, mais au contraire une vraie médiation jouée par le chercheur.