Soutenances de mémoires, à Brest

Ce matin (heure de Montréal), après mon exposé au séminaire Big Data et Économétrie à AMSE, Lariosse Kouakou et Molly James ont défendu leur mémoire de maîtrise, à Brest. Lariosse a présenté son travail sur assurance collaborative et réseaux, ou comment optimiser un modèle de franchise collaborative en assurance IARD. Lariosse avait fait son stage tout l’été sous ma supervision, et on mettra bientôt en ligne une version plus courte de son travail.

(Lariosse est à la recherche d’un poste, idéalement d’une thèse cifre, et je ne peux que recommander sa candidature).

Molly James avait travaillé l’été dernier avec moi, sur le risque inondation (l’article en lien avec son travail est en ligne depuis quelques mois, Insurance against Natural Catastrophes: Balancing Actuarial Fairness and Social Solidarity). Son mémoire porte sur le risque de subsidence, et je l’ai suivie de loin, tout l’été…

Big data, the tech giants, and insurance

Since 2010, the tech giants—particularly the “3As” (Amazon, Apple, and Alphabet [Google’s parent company])—have begun to expand their horizons in pursuit of new business opportunities. From retail to the automotive sector, these companies have learned to use the colossal competitive advantages built on data analysis, user relationships, and the skills of innovative computer engineers to bring about a profound transformation of certain markets. It was only a matter of time before they began to turn their thoughts to insurance and take their first steps in that world. Here, we will be looking at the specific cases of health, motoring, and home insurance, demonstrating how new partnerships are striving to come up with innovative solutions. We will also be exploring the consequences of these changes, which invite us to reevaluate the role of data, now once again at the core of the insurance profession. Finally, we will consider whether this innovation could in fact be seen as a return to the roots of the very concept of insurance: the pooling and distribution of risk… (to be continued on cairn-int.info)

Trees and forests

For my ACT6100 weekly quiz, I usually generate some datasets, and then ask students to compare various predictive algorithms. Last week, it was about classification trees and random forests. And students were surprised to have such differences (they had to estimate the probability to have a specific label, for the barycenter of the covariates).

Usually, I use the following to generate some (here 12) covariates that could be correlated

library(FactoMineR)
n=279
library(clusterGeneration)
library(mnormt)
k=12
S=genPositiveDefMat("unifcorrmat",dim=k)
X=round(rmnorm(n,varcov=S$Sigma)+8,2)
rownames(X)=1:n
colnames(X)=LETTERS[1:k]

Then I need to generate some data, based on some covariates (5 out of 12), with various strengths

idx = sample(1:k,size=5)
u = sample(c(-(4:1),1:4),5)
beta = rep(0,k)
beta[idx] = u
U = X%*%beta
U = U-min(U)
U = U/max(U)*6-3
p = exp(( U))/(1+exp((U )))
Y = rbinom(n,size=1,prob=p)
df = data.frame(Y=as.factor(Y),X)
levels(df$Y)=levels=c("blue","red")

We can run a classification tree

library(rpart)
arbre = rpart(Y~., data=df)

and a random forest,

library(randomForest)
set.seed(1)
arbres = randomForest(Y~., data=df)

Here are the partial plots for 4 of the explanatory variables that actually have an impact

partialPlot(arbres,pred.data = df, x.var = "A")


Predictions for the “average” point of the dataset is here

(parbre = predict(arbre,newdata=data.frame(t(apply(df[,-1],2,mean))),type = "prob"))
       blue       red
1 0.8064516 0.1935484
(parbres = predict(arbres,newdata=data.frame(t(apply(df[,-1],2,mean))),type = "prob"))
   blue   red
1 0.422 0.578
attr(,"class")
[1] "matrix" "votes"

and there is a substantial difference, with a probability of 19% with a single tree, 58% with 500 trees (the default value of the function).

To understand why we can have such a difference, we should not only focus on the bagging stratgy, but look at the variability of the predictions, obtained with trees,

B=1e4
parbres = rep(NA,B)
m=data.frame(t(apply(df[,-1],2,mean)))
for(b in 1:B){
  idx = sample(1:nrow(df),size=nrow(df),replace=TRUE)
  arbre = rpart(Y~., data=df[idx,])
  parbres[b] = predict(arbre,newdata=m,type = "prob")[2]
}
hist(parbres)

Surprisingly, we have here a bimodal function for \hat{y} which is either very small for some trees, of very large for others. On average, we have a value close to 55%… I think I will use more that generative algorithm for future quiz…

GLM, STT5100

Dernière ligne droite dans le cours STT5100 de modèles linéaires appliqués. Les supports de cours sont en ligne sur https://github.com/freakonometrics/STT5100. Cette session étant en distanciel, le cours est asynchrone, et je poste régulièrement des capsules vidéos. Les capsules en lien avec les modèles linéaires généralisés (GLM) sont maintenant en ligne,

  1. introduction générale video pdf (10:15)
  2. lois de Bernoulli, binomiale, multnomiale video pdf (29:23)
  3. régression logistique (Bernoulli) video pdf (23:04)
  4. régression multinomiale video pdf (21:45)
  5. régression logistique sur variables catégorielles video pdf (30:24)
  6. régression logistique sur variables continues video pdf (21:35)
  7. analyse discriminante et courbe ROC video pdf (56:53)
  8. modèles de comptage et loi de Poisson video pdf (19:28)
  9. régression de Poisson video pdf (25:38)
  10. régression de Poisson et interprétations video pdf (40:15)
  11. régression de Poisson et méthode des marges video pdf (25:29)
  12. régression de Poisson et application en assurance video pdf (36:23)
  13. famille exponentielle video pdf (30:01)
  14. famille exponentielle et GLM video pdf (41:02)
  15. loi et lien video video pdf (36:05)
  16. déviance et résidus video pdf (15:10)
  17. modèle Tweedie et poids video pdf (29:33)
  18. surdispersion video pdf (21:01)
  19. tests et GLM video pdf (19:41)
  20. GLM en petite dimension video pdf (23:34)
  21. méthode stepwise video pdf (17:57)
  22. Poisson vs. Binomiale, application en démographie video pdf (22:25)
  23. Exemple (1) video + pdf

ACT6100, analyse supervisée

On avance dans le cours ACT6100 d’analyse des données en actuariat. Les supports de cours sont en ligne sur https://github.com/freakonometrics/ACT6100. Les capsules présentant les principales méthodes d’analyse supervisée sont maintenant en ligne

  1. Risque video pdf (45:06)
  2. Validation Croisée video pdf (32:00)
  3. Fonction de perte video pdf (20:04)
  4. Règle de Bayes et analyse discriminante video pdf (37:23)
  5. Dimension de Vapnik-Chervonenkis video pdf
  6. Régularisation et pénalisation video pdf (27:17)
  7. Régularisation – Ridge video pdf (36:46)
  8. Régularisation – Lasso (1) video pdf (41:23)
  9. Régularisation – Lasso (2) video pdf (32:24)
  10. Régularisation – GLM (Ridge et Lasso) video pdf (20:57)
  11. Régularisation – SVM video pdf (38:25)
  12. Simulations et monte carlo video pdf (50:29)
  13. Simulations et bootstrap video pdf (36:03)
  14. Arbres (1) video pdf (44:15)
  15. Arbres (2) video pdf (39:35)
  16. Arbres (3) video pdf (37:30)
  17. Interprétabilité video pdf (36:14)
  18. Méthode d’ensembles video pdf (41:17)
  19. Stacking & bagging video pdf (40:15)
  20. Forêts aléatoires video pdf (31:55)
  21. Agrégation séquentielle et boosting (1) video pdf (17:46)
  22. Agrégation séquentielle et boosting (2) video pdf (46:06)
  23. Réseaux de neurones (1) video pdf (45:43)
  24. Réseaux de neurones (2) video pdf (32:40)
  25. Réseaux de neurones (3) video pdf (31:44)
  26. Réseaux de neurones (4) video pdf (35:54)

Si les liens des vidéos ne marchent pas, je renvoie vers l’ensemble des capsules du cours, ici.

Insurance Data Science Conference 2021 (online)

The Insurance Data Science Conference returns in 2021 for an on-line global event. The conference will run over three half-days (afternoons in Europe & Africa / mornings in the Americas). The conference brings together academics and practitioners in areas including data science, analytics, machine learning, artificial intelligence, computational statistics and software, as applied in the insurance industry. For more information, see https://insurancedatascience.org/

Insurance against Natural Catastrophes: Balancing Actuarial Fairness and Social Solidarity

Our research paper, Insurance against Natural Catastrophes: Balancing Actuarial Fairness and Social Solidarity, with Molly James and Laurence Barry, is now available.

Natural disasters offer a special case for the study of private and public insurance mix. Indeed, the experience accumulated over the past decades has made it possible to transform poorly known hazards, long considered uninsurable, into risks that can be assessed with some precision. They exemplify however the limits of the risk-based premiums method, as it might imply unaffordability for some. The French scheme reflects such ideas and offers a wide coverage for moderate premiums to all, but is shaken by climate change: we show that some wealthier areas, that were not perceived as “at risk” in the past, have become exposed to submersion risk in the future. This singularly makes some well-off properties the potential main beneficiaries of a scheme that was historically thought to protect the worst-off. Acknowledging that some segmentation might become desirable, we examine several models for flood risk and the disparity in premiums they entail.

Intervention au séminaire TransNum de Sciences Po

Vendredi, j’interviendrai avec les collègues de la chaire PARI au séminaire TransNum à Sciences Po, à Paris, sur le thème Des risques individualisables ? Enjeux et limites pour le secteur assurantiel. 

Depuis la fin du XVIIIe siècle, l’industrie assurantielle repose sur un principe de mutualisation : tous (ou en tout cas un grand nombre) cotisent pour se couvrir contre un risque qui ne frappera que quelques-uns. La différence entre les sommes cotisées et celles qui sont versées rémunèrent les assureurs, dont le modèle économique repose sur la mobilisation d’outils mathématiques – les probabilités – dont le développement accompagne celui de cette industrie. L’arrivée des données massives est-elle susceptible de remettre en cause ce modèle ? La discussion sera menée d’un triple point de vue : historique, épistémologique et économique.

Les slides de mon intervention sont en ligne.

Moindres carrés, STT5100

On avance dans le cours STT5100 de modèles linéaires appliqués. Les supports de cours sont en ligne sur https://github.com/freakonometrics/STT5100. Cette session (mais aussi celle d’hiver) étant en distanciel, le cours est asynchrone, et je poste régulièrement des capsules vidéos. Les capsules en lien avec les moindres carrés sont en ligne

  1. Régressions video + pdf (40:01)
  2. Régression simple sur variable continue (1) video + pdf (41:33)
  3. Régression simple sur variable continue (2) video + pdf (30:26)
  4. Régression simple sur variable continue (3) video + pdf (30:39)
  5. Régression simple sur variable factorielle video + pdf (39:59)
  6. Régression multiple (1) video + pdf (45:56)
  7. Régression multiple (2) video + pdf (37:40)
  8. Modèle Gaussien et tests video + pdf (55:43)
  9. Bootstrap video + pdf (45:37)
  10. Diagnostique video + pdf (50:08)
  11. ANOVA (1) video + pdf (37:52)
  12. ANOVA (2) video + pdf (28:28)
  13. ANOVA (3) video + pdf (16:42)
  14. Régression pondérée video + pdf (16:33)
  15. Multicolinéarité (1) video + pdf (43:25)
  16. Sélection de variables video + pdf (44:13)
  17. MCG & hétéroscédasticité video + pdf (21:30)
  18. Multicolinéarité (2) video + pdf (25:05)
  19. ANOVA (4) pdf (hors programme)
  20. Transformations video + pdf (13:20)
  21. Lissage, non-linéarités video + pdf (34:51)
  22. Discontinuités video + pdf (21:36)
  23. Exemple video + pdf (40:24)
  24. Exemple video + pdf (28:17)

An Open Lab-Notebook Experiment

Search OpenEdition Search

You will be redirected to OpenEdition Search