Ce lundi, je participerais (en visio, je serai rentré sur Montréal) à la formation Data Science de l’Institut des Actuaires, pour parler d’équité. Les slides sont en ligne ici.
Monthly Archives: March 2023
Présentation au Comité Scientifique d’AIvidence
Cet après-midi, je participais au Comité Scientifique d’AIvidence, où je parlais de calibration, d’explicabilité et d’équité.
Quand on marche sur des œufs avec Chat-GPT
Avec la sortie de GPT4, et pour faire suite à mon article La société du bullshit, quelques nouvelles de GPT. Alors que je parlais de “bullshit”, on voit ressortir ces derniers temps l’idée d'”hallucinations”, définies proprement dans Hallucinations in Neural Machine Translation, voilà déjà 5 ans. Un récent article en reparlait cette semaine. Pour illustrer, inspiré de discussions avec Louis Abraham, lors de ma visite parisienne, j’ai tenté d’avoir des conseils culinaires
J’ai tenté d’autres types d’œufs, de lapin
ou de baleine,
Louis me faisait remarquer que GPT3 pouvait facilement être induit en erreur, contrairement à ChatGPT… alors j’ai tenté,
que ce soit des œufs de lapin ou de beluga, ChatGPT donne des conseils étranges
Et il ne s’arrête pas
je ne peux m’empêcher de partager cette petite conclusion
Sur le moment, je me suis demandé s’il n’était pas pris dans mon délire absurde…
J’ai même tenté les œufs de cochon
J’ai fini par lui poser la question franchement,
et c’était fini, il avait quitté mon délire, impossible de jouer davantage….
Je me suis aussi amusé à poser des questions sur la connaissance des relations familiales. Et c’est assez facile de piéger GPT3
Impossible d’avoir un “je ne sais pas”. Ici, il va prendre le seule prénom féminin qui ait été mentionné… Bref, il n’y a aucune représentation de ce qu’une famille peut être, ce qui sera une étape indispensable pour que l’outil fonctionne bien.
Semaine parisienne
Après une soirée à l’École Nationale d’Assurance, à parler du futur de l’assurance, et des modèles, je commencer ma semaine parisienne. Demain matin, exposé à l’Institut Henri Poincaré
Optimal Transport for Counterfactual Estimation: A Method for Causal Inference
For those who wish to reproduce the techniques proposed in our paper, Optimal Transport for Counterfactual Estimation: A Method for Causal Inference, Ewen Gallic has put online some nice pages, with the application mentioned in the paper (both univariate and bivariate, including confidence intervals with bootstrap), as well as simpler examples, which I use in the slides, to present the method
http://egallic.fr/Recherche/Transport_Counterfactual/
I will present this work at the Bachelier Seminar, in Paris, at the end of the week. Slides are online here.
Many problems ask a question that can be formulated as a causal question: “what would have happened if…?” For example, “would the person have had surgery if he or she had been Black?” To address this kind of questions, calculating an average treatment effect (ATE) is often uninformative, because one would like to know how much impact a variable (such as skin color) has on a specific individual, characterized by certain covariates. Trying to calculate a conditional ATE (CATE) seems more appropriate. In causal inference, the propensity score approach assumes that the treatment is influenced by x, a collection of covariates. Here, we will have the dual view: doing an intervention, or changing the treatment (even just hypothetically, in a thought experiment, for example by asking what would have happened if a person had been Black) can have an impact on the values of x. We will see here that optimal transport allows us to change certain characteristics that are influenced by the variable we are trying to quantify the effect of. We propose here a mutatis mutandis version of the CATE, which will be done simply in dimension one by saying that the CATE must be computed relative to a level of probability, associated to the proportion of x (a single covariate) in the control population, and by looking for the equivalent quantile in the test population. In higher dimension, it will be necessary to go through transport, and an application will be proposed on the impact of some variables on the probability of having an unnatural birth (the fact that the mother smokes, or that the mother is Black).
Montréal
