Category Archives: Jury

Contribution of machine learning in modeling rare values and imbalanced data

This morning (Montréal time), Samuel Stocksieker defended his PhD thesis entitled “contribution of machine learning in modeling rare values and imbalanced data“. Cécile Capponi, Marianne Clausel, Julie Josse, Frédéric Planchet and  Anne Sabourin, Christian-Yann Robert and Stéphane Loisel were in the jury,

the work is structured around major axes: Imbalanced Features and Imbalanced Regression. The first axis addresses the issue of feature imbalance, that is, when it concerns the attributes and not the variable to be explained. The first solution involves adjusting the distribution of a continuous covariate relative to a given target distribution. It proposes to combine weighted resampling and synthetic data generators. This strategy notably allows to deal with selection bias: when the distribution of the covariate in the training sample is significantly different from that of the population. A second solution is proposed in the context of multi-supervised learning, particularly with autoencoders. It relies on a new metric aimed at balancing the influence of variables during learning and is applicable not only to supervised and unsupervised models, but also to generative models such as variational autoencoders. The second part deals with the issue of regression from imbalanced data. Various preprocessing solutions, including synthetic data generation, are proposed. Initially, we propose to explore the initial data space by introducing new generators and methodologies to address the specific case of regression. We then propose to immerse the data in a latent space in order to provide a more conducive framework for synthetic data generation.

Il est trop nul ce prof…

Que celui qui n’a jamais pensé ca une fois dans sa scolarité me jette la première pierre…

Cela dit, il y a ceux qui le pensent, et ceux qui l’affirment haut et fort, genre sur des sites comme rate my professors. J’ai toujours eu du mal avec ce genre de sites (et plus généralement extraire une information utile des évaluations des élèves) car on ne connaît pas les motivations des élèves. Quand on lit “l’examen final est impossible” puis le commentaire d’après “l’examen, c’est juste des exercices vus en classe, c’est vraiment trop facile“, on finit par être perplexe. Oui, assez souvent une classe est composée d’éléments très hétérogènes, et il est impossible de contenter tout le monde. Le plus étonnant quand on enseigne, c’est l’équilibre qui peut en résulter. Le même cours peut être une réussite, et le semestre suivant un fiasco, alors que le contenu et la forme peuvent être identiques. Je me souviens quand j’étais étudiant de ce prof, annoncé par la promo précédante comme le meilleur prof au monde, que je trouvais finalement so-so.

Et puis un jour, certains d’entre nous décident d’aller un cran plus loin, de sauter le pas, de passer d’élève à prof. Sans pour autant que ce soit une vocation, juste un concours de circonstances. Pour ma part, j’avais travaillé en salle de marché, puis comme actuaire à Hong Kong, avant de revenir à la Fédération Francaise des Assurances sur Paris. Et juste avant les vacances de Noël (il y a maintenant une quinzaine d’années) on me propose de donner un cours trois semaines plus tard, au retour des vacances (prof qui lâche son cours au dernier moment, impossible de trouver un remplacant). Je pensais faire de la recherche en entreprise, et j’ai découvert l’enseignement.

Et je n’ai pas arrêté depuis. Avec toutes sortes de formats, toutes sortes de publics… En particulier, j’ai fait beaucoup de formation continue. Et j’en profite pour la minute culturelle du blog : en avril 1792, l’Assemblée législative nationale discute de l’organisation générale de l’instruction publique en France, et Jean Antoine Nicolas Caritat, plus connu sous le nom de marquis de Condorcet, fait un discours très avant-gardiste

Nous avons observé que l’instruction ne devait pas abandonner les individus au moment où il sortent des écoles ; qu’elle devait embrasser tous les âges ; qu’il n’y en avait aucun où il ne fût utile et possible d’apprendre, et que cette seconde instruction est d’autant plus nécessaire, que celle de l’enfance a été resserrée dans des bornes plus étroites. (…) En continuant l’instruction pendant toute la durée de la vie, on empêchera les connaissances acquises dans les écoles de s’effacer promptement de la mémoire, on entretiendra dans les esprits l’activité utile (…), on pourra montrer enfin l’art de s’instruire par soi-même

Or justement, il y a plusieurs mois, le centre de formation Caritat (dédié au monde de l’actuariat de l’assurance et de la protection sociale) lancait un prix pédagogique. L’idée est intéressante : vous pensez qu’il manque de formation sur tel ou tel thème ? et vous pensez pouvoir animer une telle formation ? eh bien, lancez-vous ! on vous monte ce cours sur mesure ! Quand le prix a été lancé, on m’a demandé de faire partie du jury, et j’ai tout de suite accepté. Il s’agissait, pour des personnes sans aucune expérience dans le domaine de la formation (continue) de proposer un plan pour une journée de 7 heures, sur un sujet, avec un fil rouge, de préparer quelques slides. On en a sélectionné certains, et on les a convié pour un oral, en fin d’année… et la remise des prix aura lieu cette semaine. Les vainqueurs pourront se jeter à l’eau dans quelques mois, et monter leur formation, leur cours, pour de vrai. Je trouve l’idée merveilleuse, et j’espère qu’on aura d’autres candidatures intéressantes pour la prochaine édition ! A suivre donc..

Antisélection en Assurance Automobile et Impact des Jours de Carence sur les Arrêts Maladies

Cet après midi, je suis à Paris-Jourdan pour la soutenance de thèse d’Alexandre Godzinski , sur Three empirical essays on moral hazard identification in insurance, supervisée par Pierre-Yves Geoffard.

Pour l’anecdote, le premier chapitre (Effects of the one-day waiting period for sick leave on health-related absences in the French central civil service) pour sur le jour de carence pour l’assurance maladie (sujet qui fait couler de l’encre ces jours-ci).

Ce jour de carence a été introduit au 1er janvier 2012 et supprimé
au 1er janvier 2014. Durant ces deux années d’application, le premier jour d’arrêts maladie était non rémunéré. Il y avait un groupe de contrôle (le secteur privé) et un groupe test (le secteur public). Le jour de carence conduit à une baisse plus de 50 % de la prévalence des absences de 2 jours,

mais aussi une hausse de 25 % de la prévalence des absences de 1 semaine à 3 mois

Aucun effet n’est trouvé sur la prévalence totale pour la population globale. Les agents ne sont donc ni plus ni moins absents pour raison de santé…

Amsterdam, PhD defense

http://freakonometrics.hypotheses.org/files/2013/01/Capture-d%E2%80%99e%CC%81cran-2013-01-21-a%CC%80-09.14.31.png

Last week, I was involved in the PhD defense of Julien Tomas, with Rob Kaas (promotor), Frédéric Planchet (co-promotor), Katrien AntonioMarc Goovaerts, Ann De Schepper and Michel Vellekoop. The PhD thesis – untitled quantifying biometric life insurance risks with non-parametric smoothing methods – can be dowloaded on http://dare.uva.nl/… and on http://tel.archives-ouvertes.fr/.

http://freakonometrics.hypotheses.org/files/2013/01/Capture-d%E2%80%99e%CC%81cran-2013-01-21-a%CC%80-09.13.07.png

The R codes will be available soon on my blog (and on Julien’s new website http://www.likelihood.me/).

http://freakonometrics.hypotheses.org/files/2013/01/Capture-d%E2%80%99e%CC%81cran-2013-01-21-a%CC%80-09.13.29.png http://freakonometrics.hypotheses.org/files/2013/01/Capture-d%E2%80%99e%CC%81cran-2013-01-21-a%CC%80-09.15.01.png http://freakonometrics.hypotheses.org/files/2013/01/Capture-d%E2%80%99e%CC%81cran-2013-01-21-a%CC%80-09.13.45.png

Amsterdam

I will be in Amsterdam for the end of this week. I will be in the jury of the PhD defense of Julien Tomas, entitled “Quantifying Biometric Life Insurance Risks With Non-Parametric Smoothing Methods” (the thesis will probably be online soon). But before, I will give a talk at the actuarial seminar at UvA. My visit last time was a real pleasure, and it should be the same this time too. I will give a talk this Thursday on “R for actuarial science“. The slides can be downloaded from here.

PhD defense on copulas

This Wednesday I will be at Université Paris 1 Sorbonne as a member of the jury of the PhD thesis of Pierre-André Maugis, on conditional correlation and vine copula.

Vine copulas were born in 2002 with thepaper of Tim Bedford and Roger M. CookeVines–a new graphical model for dependent random variables. The idea is to use the following decomposition for a multivariate density

(from Bayes formula, with synthetic notations). Then using the relationship between a bivariate density and its copula (density)

thus

Using again Bayes formula,

and we can write

Since  and , the previous expression becomes

or to stress on the most important part (as I see it)

It is common then to assume that this conditional copula does not depend on the conditioning parameter. The more detailed expression of that joint trivariate density is

The (parametric) inference algorithm is defined in Cooke, Joe and Aas (2010) as follows

The important assumption in vine copula models is that conditional copulas are constant. And this assumption might be relevant in some cases. For instance, in the Gaussian case (the observations have a Gaussian joint distribution – or at least copula – and we fit a vine model with Gaussian bivariate copulas).

The code to fit a vine copula is the following,

> library(CDVine)
> library(mnormt)
> SIGMA=matrix(c(1,.6,.7,.6,1,.8,.7,.8,1),3,3)
> X=rmnorm(n=100000,varcov=SIGMA)
> CDVineSeqEst(dat=X, family = c(1,1,1),
+ type = 1, method = "mle")
$par
[1] 0.6001505 0.7023699 0.6698215
 
$par2
[1] 0 0 0

Note that it is consistent with the following algorithm where conditional copulas are fitted. In the following, for all values of the given component, we wit a Gaussian copula for the conditional remaining pair,

> U=pnorm(X)
> U1U2=U[,1:2]
> U1U3=U[,c(1,3)]
> GaussCop = normalCopula(param=.5, dim = 2)
> U1U2=U[,1:2]
> U1U3=U[,c(1,3)]
> fit12.mpl = fitCopula(GaussCop, U1U2, method="mpl")@estimate
> fit13.mpl = fitCopula(GaussCop, U1U3, method="mpl")@estimate
> fit12.mpl
[1] 0.5984932
> fit13.mpl
[1] 0.7005185
> fit23a=fit23b=rep(NA,99)
> for(i in 4:96){
+ x=i/100
+ C12=pcopula(normalCopula(param=fit12.mpl, dim = 2),U1U2)
+ C13=pcopula(normalCopula(param=fit13.mpl, dim = 2),U1U3)
+ U12=rank(C12)/(nrow(U)+1)
+ U13=rank(C13)/(nrow(U)+1)
+ U23=cbind(U12[abs(U[,1]-x)<.02],U13[abs(U[,1]-x)<.02])
+ V23=cbind(rank(U23[,1])/(nrow(U23)+1),
+ rank(U23[,2])/(nrow(U23)+1))
+ fit23.mpl = fitCopula(GaussCop, V23, method="mpl")@estimate
+ fit23a[i]=fit23.mpl
+ }
> plot(X,fit23a,col="red")

It looks like assuming the conditional copula as constant was a valid assumption here

But note that if the true distribution is not Gaussian, then assuming the conditional copula as constant is not valid anymore (here a trivariate Clayton copula was generated)

Copules et processus empiriques

Tarek Zari a soutenu sa thèse au début du mois, présentant une “contribution  à l’étude du processus empirique de copule“, et sa thèse est en ligne ici. Je mets aussi une copie des slides de la soutenance . Historiquement, il semble que Frits Ruymgaart a été le premier a parler de processus empirique de copules, en 1973 (sa thèse est en ligne ici).

Paul Deheuvels avait également introduit la notion en copule empirique dès 1979 sous le nom de “fonction de dépendance empirique“. A la même époque, Ludger Rüschendorf proposait également une étude asymptotique des processus empiriques de copules (ici en 1976), ou encore Gäenssler et Stute dans leur seminar on empirical processes et Winfried Stute dans les années 80 (). Une revue de la littérature sur les processus empiriques multivariés a été publié à cette époque, en ligne . Depuis Jean-David Fermanian a publié un papier ici sur la convergence faible, et Paul Deheuvels ou Ludger Rüschendorf ont publié énormément de choses, en particulier sur la vitesse de convergence…

Copules et processus empiriques

Tarek Zari a soutenu sa thèse au début du mois, présentant une “contribution  à l’étude du processus empirique de copule“, et sa thèse est en ligne ici. Je mets aussi une copie de ses slides . Historiquement, il semble que Frits Ruymgaart a été le premier a parler de processus empirique de copules, en 1973 (sa thèse est en ligne ici).

Paul Deheuvels avait également introduit la notion en copule empirique dès 1979 sous le nom de “fonction de dépendance empirique“. A la même époque, Ludger Rüschendorf proposait également une étude asymptotique des processus empiriques de copules (ici en 1976), ou encore Gäenssler et Stute dans leur seminar on empirical processes et Winfried Stute dans les années 80 (). Une revue de la littérature sur les processus empiriques multivariés a été publié à cette époque, en ligne . Depuis Jean-David Fermanian a publié un papier ici sur la convergence faible, et Paul Deheuvels ou Ludger Rüschendorf ont publié énormément de choses, en particulier sur la vitesse de convergence…