Quand peu d’information donne énormément d’information

Une petite histoire empruntée à Alfred (et Nicolas1) suite au repas de mardi, à l’X. Un explorateur débarque un jour sur une petite île, perdue au milieu des mers. Cette île est un peu particulière: elle est peuplée de personnes ayant soit les yeux bleu, soit les yeux noirs (et tout le monde sait qu’il n’y a pas d’autre alternative). Et sous aucun prétexte personne ne doit connaître la couleur de ses propres yeux, sinon la légende dit qu’il doit se suicider avant le coucher du soleil (du jour où il l’apprend). Et s’ils ne le font pas, ils se retrouvent maudit jusqu’à la huitième génération. Cette île vivait en parfaite harmonie depuis plusieurs siècles, lorsque un explorateur débarqua. Il y avait alors 60 habitants sur cette île.

Bref, comme le veut la coutume, notre explorateur doit tenir un discours devant ses hôtes. Ne sachant trop que dire, il ne trouve rien d’autre à dire que de s’étonner de voir à l’autre bout du monde un île avec des habitants aux yeux bleus comme les siens (la légende lui avait racontée auparavant, de manière à éviter toute gaffe).
Deux mois plus tard, tous les habitants de l’île sont morts !
Quoi de plus étrange n’est-ce pas… ? Il n’a pourtant pas dit grand chose, si ce n’est une trivialité, à savoir qu’il y a des personnes aux yeux bleus sur l’île (ce que tout le monde devait savoir car s’ils ne connaissaient pas leur propre couleur d’yeux, ils pouvaient observer celle des autres). Pourtant cette micro-information semble avoir suffit à ce que les habitants en déduisent la couleur de leurs yeux !
En effet, le lendemain du discours, tout le monde s’est fait la réflexion suivante “d’après le discours de l’explorateur, il y a au moins une personne aux yeux bleus sur l’île. Or s’il était seul, il se serait rendu compte que tout le monde a des yeux noirs, et donc il aurait du se suicider dans la nuit. S’il ne s’est rien passé, c’est qu’il y a au moins deux personnes dans l’île avec des yeux bleu. Si quelqu’un s’est suicidé, c’est que j’ai les yeux noirs, et je dois me suicider avant le coucher du soleil“. Le deuxième jour, si tout le monde est encore en vie, tout le monde se fait la réflexion suivante “comme personne ne s’est suicidé, il y a au moins deux personnes aux yeux bleus sur l’île. Mais s’ils n’étaient que deux, chacun devrait penser que l’autre est le seul, et donc maintenant il sait qu’il est le second. Ils aurait du se suicider dans la nuit. S’il ne s’est rien passé, c’est qu’il y a au moins trois personnes dans l’île avec des yeux bleu. Si deux personnes se sont suicidé, c’est que j’ai les yeux noirs, et je dois me suicider avant le coucher du soleil“. Etc (je dois continuer ?). Bref, au plus tard, on arrive 60 jours après le discours du navigateur, et si tout le monde est encore en vie, c’est que  tout le monde se fait la réflexion suivante “comme personne ne s’est suicidé, il y a au moins soixante personnes aux yeux bleus sur l’île, c’est à dire que tout le monde a les yeux bleu. Je dois donc me suicider ce soir“.
https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso/desproges.jpgPourtant l’explorateur n’a pas franchement donné d’information… et pourtant cette information a suffi à décimer l’île ! Étonnant non ?
1 Nicolas avait raconté une version beaucoup plus connue, que l’on peut retrouvé dans tous les classiques sur les énigmes sous le titre des cocus de Bagdad. L’histoire est assez proche, avec un calife à Bagdad qui, jugeant immoral l’adultère dicte une loi qui stipule que toute femme convaincue d’adultère sera étranglée par son propre mari le lendemain matin même de la découverte par le  mari de la faute. Il faut ajouter que tous les maris voient si leurs voisins sont cocus ou pas, mais ils sont incapables de voir si leur femme les trompe… Et le calife a eu la mauvaise idée de dire que certains hommes étaient cocus… moralité, au bout de quelques jours toutes les femmes qui ont trompé leur mari finissent égorgées. Moralité, il n’y a pas besoin de beaucoup d’information pour agir de manière efficiente…

Happy birthday Arthur !

mais non, ce n’est pas mon anniversaire ! Mais l’occasion était trop belle…

oui, c’est l’anniversaire d’Arthur Guinness (Arth Guinness pour ceux qui ont déjà eu une canette entre les mains…) Et comme je l’ai rappelé lors des rappels de statistiques, l’histoire de la statistique (j’entends par là statistique mathématique) est étroitement liée à Guiness.

Il y fort fort longtemps, il existait une Guiness Brewing Company of Dublin, qui comme son nom l’indique, était une brasserie irlandaise. Et au début du XXème siècle, le propriétaire, qui venait d’hériter de cette entreprise familiale décida d’attirer des jeunes étudiants, formés en chimie à Cambridge, ou Oxford.

En 1899, un  certain William Sealy Gosset, qui avait obtenu un double diplôme, en maths et en chimie, quitta Oxford pour Dublin. Et pour être tout à fait honnête, diplômé en maths signifiait alors qu’il avait étudié les équations différentielles ou l’astronomie. En gros, les maths, ça ne servait à rien chez Guiness, et il était arrivé là grâce à ses compétences en chimie. Et en fait, William s’avérait être en plus un très bon administrateur, mais on sort un peu de notre sujet.

Mais William avait gardé un bon souvenir de ses études en maths, et il se demandait s’il pouvait trouver un problème sur lequel se pencher…. il commença a travailler des études de qualité de fabrication, notant que les conditions varient tellement (température, provenance du houblon, du malt, conditions de fabrication…) que les données homogènes sont peu nombreuses. La “loi des erreurs” classique ne peut pas s’appliquer dans ces conditions, i.e. le théorème central limite.

Bref, Bill (maintenant qu’on se connaît un peu, on va l’appeler Bill) pris beaucoup de mesures, et observa une loi de Poisson, ce qui était pratique car cette loi n’avait qu’un paramètre. Bref, Bill arriva à contrôler la variance, et donc à faire moins de pertes lors de la production de bière…

Une jolie application comme celle là méritait publication dans une revue scientifique… Bon, bien sûr la loi de Poisson était connue depuis longtemps (on était en 1904 et quelques mois auparavant, Von Bortkiewicz avait trouvé d’élégantes applications à cette loi, en particulier sur les accidents de chevaux dans l’armée Prusse). Et à côté, il y avait un soucis de taille que connaissent bien des actuaires travaillant dans les compagnies d’assurance: le contrat de Bill lui interdisait de divulguer des secrets à la concurrence, qui plus est des secrets capables de leur faire gagner de l’argent !

Entre temps, Bill avait rencontré Karl Pearson, qui était alors éditeur de la revue Biometrika, et qui l’encouragea à publier ses résultats. En 1906, Bill qui avait fait gagné beaucoup d’argent à Guiness – et qui avait d’ailleurs montré l’intérêt de faire des maths appliqués – réussi à prendre une année sabbatique pour aller travailler avec Pearson au laboratoire de biométrie de Galton. Et Bill et Karl décidèrent de faire publier les travaux sous un pseudonyme, “Student“. La légende prétend qu’ils avaient aussi hésité à prendre “pupil“.

Et pendant presque 30 ans, “Mr Gosset“, honorable employé de Guinness menait une vie dissolue en publiant dans des revues de statistiques (après son travail dans la brasserie1), toujours sous le pseudonyme de “Student“.

En 1908, on lui doit un remarquable “the probable error of the mean“, qui remarque en tous les cas Ronald Fisher. En fait, Bill trouva qu’il existait une loi assez remarquable, mais qui – comme la loi normale – était délicate à manipuler pour obtenir des intervalles de confiance. Sans ordinateur, il eu malgré tout l’idée d’utiliser des méthodes de monte carlo pour tabuler les quantiles, et construire ses tables. Et il fut un des premiers à se pencher sur le problème des petits échantillons, contrairement à Karl Pearson, qui se plaçait toujours dans le cas asymptotique.

En fait, en regardant son petit échantillon, il vit apparaître au dénominateur des grandeurs très proches de celles que manipulait précisément Karl, en particulier une racine carré de loi du chi-deux. Bon, bien sûr, restait l’hypothèse (fondamentale) de normalité des observations, mais au moins, on avait des résultats à distance finie !

Pour la petite histoire, William Gosset proposa la lettre z pour sa statistique, le ratio entre la moyenne et l’écart-type. Mais quelques années plus tard, les statisticiens prirent l’habitude d’utiliser cette lettre pour des lois normales (autrement dit quand la variance est connue), et la norme devint d’utiliser la lettre t. D’où finalement la dénomination actuelle de “Student-t distribution“.

Une légende (racontée par Harold Hotelling dans ses mémoires) veut que la famille Guinness découvrit cette double vie le jour de la mort de William Gosset, en 1937, lorsque des mathématiciens demandèrent une aide financière pour imprimer un volume des œuvres de leur employé. Mais une autre légende raconte que c’est Guinness qui lui aurait suggéré son pseudo lorsqu’il aurait fait part de ses intentions de publier ses travaux de recherche…

1 et si si, Bill avait une vie de famille… il avait d’ailleurs une femme qui devait le mener à la baguette, puisqu’elle était à l’époque capitaine de l’équipe nationale de Hockey ! il devait pas faire le malin avec ses calculs de loi quand c’était l’heure de faire la vaisselle….

Formation ERM de l’Institut des Actuaires

Intervention jeudi après midi dans le cadre de la formation ERM (Enterprise Risk Management) de l’Institut des Actuaires, sur le thème “everything you wanted to ask about tail dependence in risk management and you’re afraid to ask“.
Comme Anne-Laure Fougères est déjà intervenue sur les extrêmes, et que Stéphane Loisel ont présenté les copules, le cours sera une discussion autour des diverses recommandations du Groupe Consultatif, des documents du CEIOPS, et de divers documents qui circulent sur le calcul du SCR (Solvency Capital Requierment) de l’agrégation des risques. Ou “everything you wanted to ask about tail dependence in risk management and you’re afraid to ask“… Les slides sont en ligne ici, et ne contienent que les éléments illustratifs du cours.

Choix multiples et théorie des tests

En poursuivant la première question du QCM de “probabilité & statistiques” (en ligne ici pour l’énoncé, et pour une ébauche de correction), on a l’occasion de voir une application intéressante (ou tout du moins selon mon point de vue) de la théorie des tests.

Je souhaite tester une hypothèse

H0:  la personne a répondu au hasard aux questions

(je spécifierais plus tard l’hypothèse alternative, de toutes les façons, on n’en a pas besoin pour construire la statistique de test.)
En répondant au hasard (i.e. sous l’hypothèse H0), la personne avait 1 chance sur 3 de gagner 1 point, et 2 chances sur 3 de perdre 0,5 point1. Bref, à une transformation affine prêt, pour chaque question, on a une loi de Bernoulli. Plus précisément le nombre de points gagnés (ou perdus) à la question i est

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-1.png

Aussi, la loi du nombre total de points est

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-2.png

or si l’on suppose que l’on réponde au hasard à toutes les questions, on peut suppose les variables indépendantes, et donc

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-3.png

et sans être trop prétentieux, on connaît de cette loi (en particulier sa fonction de répartition et sa fonction quantile, au moins numériquement en tous les cas). Bref, si F est cette fonction de répartition,

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-6.png

ensuite on sait faire: c’est juste trouver la loi d’une transformation croissante de cette variable (linéaire en fait). Aussi

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-7.png

c’est à dire

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-9.png

Ben ça peut se représenter facilement avec R
> X=seq(-10,20,by=.1)
> G = function(x){pbinom((10+x)*2/3,size=20,prob=1/3)}
> Y=G(X)
> plot(X,Y,type=”l”)

Notons que je peux aussi avoir la fonction quantile de cette loi. On cherche q tel que

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-10.png

C’est à dire tel que

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-11.png

i.e.

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-12.png

En  R, on obtient la fonction suivante
> G.inv = function(u){1.5*qbinom(u,size=20,prob=1/3)-10}
Voilà, j’ai donc la loi de la note (qui me servira de statistique de test) sous l’hypothèse H0. Bon, ça suffit presque à construire complètement le test. Il suffit de spécifier l’hypothèse alternative afin de construire les régions critiques. A priori je vois deux formes pour l’hypothèse alternative,

H1:  la personne n’a pas répondu au hasard aux questions

ce qui correspondra à un test bilatéral, incluant ceux qui ont des bonnes notes (et qui sont plus fort que le hasard), et ceux qui ont des très mauvaises notes (et qui sont donc moins fort que le hasard en quelque sorte). L’autre hypothèse alternative, qui a plus de sens à mes yeux serait

H1:  la personne est plus forte que le hasard

ce qui sous-entend qu’elle a un peu travaillé (ou qu’elle a raisonné un minimum).
Dans le premier cas, on cherche les deux seuils de la région de rejet
> (note.inf = G.inv(0.05))
-5.5
> (note.sup=G.inv(.975))
6.5 

ce qui donnera un intervalle d’acceptation à 95%. Dans le second cas, on prendra une région de rejet qui commencera à la note minimal (-10), et on montera jusqu’au quantile à 95% de G, soit
> (note.sup=G.inv(.95))

Moralité, il semblerait que pour 20% des élèves, on accepte l’hypothèse comme quoi ils ont répondu au hasard, et on atteint 30% si on prend l’autre hypothèse alternative. En fait, étrangement, si on regarde les réponses à la première question sur le calcul de la moyenne, presque qu’un tiers des élèves a répondu que s’ils cochaient au hasard, ils auraient 6,6667/20. Or ce tiers a précisément obtenu 6,83/20. Donc il semble qu’un tiers des personnes aient effectivement répondu hasard !
Si j’autorise la personne à choisir (au hasard) l’option de ne pas répondre, je me retrouve avec une loi dite multinomiale. On prendra par la suite la proba de ne pas répondre à la question comme paramètre, afin de voir comme le test évolue avec ce paramètre.
Pour décrire la loi mutinomiale

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/eqn4809-13.png

Bref, là aussi on peut obtenir la fonction de répartition de cette loi, ainsi que sa densité… au moins numériquement, car la somme de lois multinomiales indé
pendantes, ça peut vite devenir un peu compliqué.. Bon, je vais faire du numérique par la suite…
On va commencer par supposer que dans 10% des cas, on ne sait pas répondre, ou plutôt on ne répond rien… Dans ce cas, on note que cela ne change pas trop (au moins sur la région de rejet du test).

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/.rejet-rejet-H0-notes-qcm-x-50_m.jpg

Si par contre on suppose que dans 1/4 des cas, on ne répond pas, la région rétrécit,

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/.rejet-rejet-H0-notes-qcm-x-50_m.jpg

et encore davantage si on suppose qu’on ne répond pas dans 50% des cas…

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/.rejet-rejet-H0-notes-qcm-x-50_m.jpg

1 je ne prends pas en compte la possibilité qu’une personne puisse ne pas répondre…. on verra ça plus tard.

Interpréter la corrélation linéaire (2)

Je vais prendre 10 minutes pour continuer la discussion amorcée ici . Le carré de la corrélation est parfois interprété comme la “proportion de variance de Y expliquée par X“. Pour Rodgers and Nicewander (1988) il s’agit d’une “covariance standardisée” (où on transforme – de manière affine – les variables pour qu’elles soient alors de variance unitaire). J’avais essayé de trouver une interprétation en tant que probabilité de covariation (ou disons de concordance pour être plus juste), ou plutôt comme fonction de cette probabilité (Eisenbach et Falk (1984) notent d’ailleurs que certains étudiants pensent que les deux sont égales pour des variables positivement corrélées). Aujourd’hui je vais plutôt essayer de voir s’il n’existerait pas des interprétations “naturelles” de cette mesure de corrélation.

  • Le cas du vecteur Gaussien et l’interprétation géométrique

Dans le cas du vecteur Gaussien, on avait évoqué que la corrélation (au sens de Pearson) pouvait être reliée à une probabilité de concordance, dans un précédant billet. Mais sinon, si on revient à la construction des vecteurs sphériques (que je devrais évoquer bientôt), on verra que la corrélation apparaissait naturellement, dans la matrice de rotation.
Comme le rappellent Dominque Drouet-Mari et Samuel Kotz, il existe aussi une interprétation géométrique du coefficient de corrélation. Comme nous l’avions rappelé ici, les courbes de niveau de la densité du vecteur Gaussien sont des ellipses (on supposera que l’on s’intéresse à un vecteur centré). Comme le montre la figure ci-dessous, le coefficient de corrélation indique la pente des tangents des courbes de niveaux avec les axes des coordonnées.

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/tangeance-correl.PNG

 

  • La corrélation dans les tableaux de contingence 2×2

Mais c’est surtout dans le cas des tableaux de contingence que l’on devrait voir apparaître la corrélation. L’idée sous-jacente étant que la corrélation est très liée  à l’espérance du produit, qui dans le cas des lois de Bernoulli suit toujours une loi de Bernoulli. Et comme l’espérance est alors interprétée comme une probabilité pour ces variables dichotomiques, on ne devrait pas être surpris de voir apparaître de la corrélation de Pearson apparaître “naturellement“.
Dans le cas de variables qualitatives (disons un couple de variables de Bernoulli), la corrélation vaut

https://perso.univ-rennes1.fr/arthur.charpentier/latex/eqn6882.png

Aussi, on peut montrer facilement que la corrélation est nulle (dans le cas 2×2) si et seulement si les lignes (mais aussi les colonnes) sont proportionnelles, c’est à dire si et seulement les deux variables sont indépendantes.

  • où on voit apparaître des régression,

Comme on le voit en économétrie, le coefficient de corrélation entre X et Y est compris entre la pente de la régression de Y sur X, et celle de la régression de X sur Y. Et plus précisément, on peut montrer (par un rapide calcul) que

https://perso.univ-rennes1.fr/arthur.charpentier/latex/eqn8206.png

ou encore

https://perso.univ-rennes1.fr/arthur.charpentier/latex/eqn7339.png

la signe étant donné par les coefficients de régressions (qui sont forcément de même signe). Autrement dit, comme l’avaient noté Rodgers et Nicewander (1988), la corrélation est la moyenne géométrique des pentes.

  • et où on voit apparaître des probabilités conditionnelles…

Revenons dans le cas 2×2. Dans ce cas, les coefficients de régression (oui, ça peut paraître surprenant de s’intéresser à une régression linéaire pour deux variables dichotomiques, mais c’est pour la simplicité des calculs) s’interprètent comme des différences entre des probabilités conditionnelles, i.e.

https://perso.univ-rennes1.fr/arthur.charpentier/latex/eqn2459.png

soit

https://perso.univ-rennes1.fr/arthur.charpentier/latex/eqn7085.png

ce qui s’écrit enfin

https://perso.univ-rennes1.fr/arthur.charpentier/latex/eqn7599.png

Cette différence entres les probabilités conditionnelles – quand on lit horizontalement dans le tableau de contingence – se lit

https://perso.univ-rennes1.fr/arthur.charpentier/latex/eqn1796.png

Rappelons que ces différences de probabilités ne sont pas encore la corrélation linéaire, mais simplement un des termes dans la moyenne géométrique. Ce qui n’empêche pas de voir une confusion dans certains ouvrages, dont Shweder (1977) qui prétend que la corrélation est “a comparison between two conditional probabilities“, ou encore Ward et Jenkins (1965), pour qui, “perhaps the simplest formulation of contingency which is adequate to the case of unequal marginal frequencies involves a comparison of two conditional probabilities“. Cette idée est aussi évoquée dans Jennings, Amabile et Ross (1982), lorsqu’ils écrivent “one satisfactory method, for example, might involve comparing proportions (i.e., comparing the proportion of diseased people manifesting the particular symptom with the proportion of nondiseased people manifesting that symptom)“.
En fait, cette différence entre les probabilités conditionnelles pourrait davantage être vu comme une mesure causale que comme une mesure de corrélation (mais ça sera l’objet d’un autre billet, qui sera la suite de celui là).
Bref, la corrélation est la moyenne géométique des différences des probabilités conditionelles à la fois en lisant verticalement et horizon
talement le tableau de contingence, i.e.

https://perso.univ-rennes1.fr/arthur.charpentier/latex/eqn7714.png
  • une apparition naturelle de la corrélation, dans un tableau 2×2

Bref, comme je l’évoquais un peu plus haut, il n’est pas surprenant de voir apparaître la corrélation au sens de Personne dans les tableaux de contingence (2×2, ne généralisons pas trop non plus). En fait, on retrouve la notation suivante dans Falk et Well (1996), si on suppose que les deux variables ont la même loi

Y=0 Y=1 total
X=0 r(1-p)+(1-r)(1-p)2 (1-r)p(1-p) 1-p
X=1 (1-r)p(1-p) rp+(1-r)p2 p
total 1-p p 1

et c’est d’ailleurs assez commun de voir cette écriture en épidémiologie. Le coefficient de corrélation est alors parfois appelé “probability of identity by descent“, comme dans Falk (1993).

Les généralités sont généralement fausses

Suite à un commentaire sur un vieux billet (ici), concomitante avec une demande d’intervention pour la formation ERM proposée par l’Institut des Actuaires, je me suis replongé dans les calculs de SCR (solvency capital requierement). Plus je lis la documentation technique, plus je suis surpris par l’importance de l’hypothèse de normalité ! J’ai repris mon Loss Model, qui est le livre de base pour l’examen d’actuariat non-vie dans les pays anglo-saxons, et j’ai vu des dizaines de lois bizarres… mais rien sur la loi normale…

  • de l’hypothèse de normalité dans la formule d’agrégation

Comme je le disais dans un vieux billet (ici), on ne peut montrer la validité de la formule de calcul du SCR que dans le cas Gaussien (ou plus précisément dans le cas elliptique, voire ici). En effet, la preuve est assez simple. Je renvois vers un papier tout chaud de Laurent Devineau et Stéphane Loisel sur le sujet, ici.

  • où l’on continue à entrevoir l’hypothèse de normalité

En fait l’hypothèse de normalité est vraiment partout dans les calculs de SCR. Mais bien sûr, sans le dire. Par exemple dans un papier de la SCOR,

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/.doc14-1_m.jpg

Comme je le disais l’autre jour (ici), le problème des documents “professionels” (par opposition à “académiques“), c’est que comme on veut que le CEO le lise, on évite de parler d’hypothèses, ou pire, de mettre un peu de maths…. Bref, on apprend que “generally” (terme d’une grande rigueur scientifique, que je recaserai un jour dans mes démonstrations), “the expected shortfall[…] at the 99 % level corresponds quite closely to the[…] value-at-risk at a 99.6% level “. Mais on retrouve la même phrase dans un rapport de l’edhec

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/.SCR-edhec_m.jpg

Là aussi, aucune source… Damned ! En creusant un peu, Actuaris m’a mis sur la piste (ici), car on apprend que c’est l'”autorité suisse” qui a énoncé ce résultat que je qualifierais de surprenant1.

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/.actuaris-var_m.jpg

Effectivement, on peut retrouver le document originel,

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/.doc13-1_m.jpg

J’avoue avoir essayé – sans grand succès – de lire l’annexe D. Je n’ai pas tout compris, mais j’y ai lu un “assuming that the distribution functions follows a normal law”,

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso2/.doc13-2_m.jpg

Donc si j’ai bien tout compris, “generally”, “the distribution functions follows a normal law” ! Bon, je crois que je vais pouvoir envoyer un mail à Stuart, Harry et Gordon pour leur expliquer qu’ils peuvent virer des pages à leur livre ! Ou peut-être Jean-Luc Besson (pour lequel j’ai une immense estime !) qui présente beaucoup de lois utiles en assurance dans l’ouvrage qu’il a coécrit avec Christian Partrat…
Mais peut-être a-t-il raison…? On peut se dire qu’en actuariat, on avait l’habitude de présenter l’approximation “normal power“, et peut être que ce résultat est vrai pour d’autres lois….
Regardons vite-fait sur quelques lois….. Par exemple, pour la loi lognormale, si on regarde en fonction de l’écart-type de la loi normale sous-jacente,

Effectivement, on colle au quantile à 99.6%. L’ordonnée est en échelle logarithmique pour que le dessin soit présentable, avec en pointillé la VaR (formule exacte, à 99.6% en rouge, et à 99.8% en bleu), et les ronds sont des estimations de la TVaR à 99%. Par contre, par exemple pour la loi lognormale, si on regarde en fonction de l’écart-type de la loi normale sous-jacente, plus la volatilité est grande, plus l’approximation est mauvaise.

Bon, essayons une loi Gamma (classique en assurance, car c’est une loi de la famille exponentielle, et souvent comparée à la loi lognormale).

Visiblement, là aussi l’approximation semble marcher….  mais rappelons que la loi Gamma est une loi à queue fine… Allons-y franchement, comparons avec le cas d’une loi de Pareto…

cette fois, l’abscisse se lit dans l’autre sens: à gauche, c’est le cas le plus risqué (avec une variance infinie entre 1 et 2). On notera que pour les risques les plus importants, là aussi on sous-estime la TVaR en considérant la VaR (à un seuil plus important). On retrouve d’ailleurs exactement le même type de graphique avec une loi de Student,

Bref, on me dira que je pinaille, n’empêche qu’à mon avis, les compangies sous-estiment “généralement” la TVaR (à supposer que ça soit la mesure de risque qui les intéresse) en prenant une hypothèse de normalité…

1 en tant qu’enseignant, ce genre de conclusion me gêne toujours, car je me fatigue à faire des cours sur la mesure de risque, j’essaye de présenter des notions aussi proprement que possible, en expliquant que les hypothèses c’est important, qu’il faut définir différentes notions de mesures de risques (entre les convexes, les cohérentes, les dynamiques, etc), et là tout d’un coup, on nous apprend que “generally” c’est kif kif….

Le bois et la mine

Petit complément sur le premier exercice, sur « l’apologue du bois et de la mine »
APOLOGUE, subst. masc.

DIDACT. Court récit imaginaire ou parfois réel dont se dégage une vérité morale. Synon. histoire, conte, parabole, fable :

1. Cependant je ne doute point que vous n’ayez lu, dans beaucoup de préfaces de fables, que l’apologue est une instruction déguisée sous l’allégorie d’une action : …
Florian, Fables, De la Fable, 1792, p. 10.
2. Les patriciens envoyèrent au peuple celui des leurs qui lui était le plus agréable, Menenius Agrippa. Il leur adressa l’apologue célèbre des membres et de l’estomac, véritable fragment cyclopéen de l’ancien langage symbolique.
Michelet, Hist. romaine, t. 1, 1831, p. 110.

ÉTYMOL. ET HIST.

I.− xve s. « petit récit d’un fait vrai ou fabuleux, par lequel on veut présenter une vérité instructive » (G. Tardif ds Delb. Rec. ds DG : Le premier apologue ou fable).
II.− 1616-20 « apologiste » (D’Aubigné, Confessions du sieur de Sancy, [dédicace] ds Œuvres, éd. Reaume-de-Caussade, t. 2, p. 236 : un des traducteurs du Tasso, qui a choisi pour son apologue le Prince de Conty); repris par DG où il est qualifié de vieilli.
I empr. au lat. apologus, « id. » Plaute, Stich., 570 ds TLL s.v., 250, 7; cf. Cicéron, Inv. 1, 25, ibid., 249, 83; empr. au gr. ἀπολόγος « récit détaillé, narration » (Platon, Resp. 614a ds Bailly) d’où « fable » (Cependant le mot gr. ne figure pas ds Cicéron, De Orat., 2, 264, éd. Courbaud : Et ad hoc genus ascribamus etiam narrationes apologorum); II dér. de apologie* sur le modèle de analogie/analogue.
Il existe quelques références sur cet apologue, introduit par Gabriel Dessus à la fin des années 40 (sur la tarification des services publiques). Je peux renvoyer vers quelques pages en annexe de la thèse de Frédéric Marty, ici (ou pour la version intégrale des annexes). Pour remettre dans le contexte de l’époque, cet « apologue du bois et de la mine » a permis de préciser les insuffisances d’une tarification au coût moyen par rapport à la tarification au coût marginal. Tout cela est également repris, avec le contexte historique, dans des documents ici, toujours de Frédérci Marty.

Surplus du consommateur et demande compensée

Les exercices traités la semaine dernière et cette semaine sont respectivement en ligne ici et . Je mets également ici les exercices de la semaine prochaine (que je distribuerais tout à l’heure).
Petit complément suite à la PC de la semaine dernière, sur des slides présentés en cours par Pierre Picard. Dans un premier temps, on s’intéressait à une utilité très particulière, quasi-linéaire, de la forme  Dans ce cas très particulier, on peut se ramener à un programme d’optimisation sans contrainte,

max_{x_1} u(x_1)+ R-p_1 x_1

La condition du premier ordre est alors

autrement dit, l’utilité marginale de la consommation de bien 1 est égale à son prix, de telle sorte que la fonction de demande s’écrit tout simplement . Compte tenu de la contrainte budgétaire, on en déduit la demande de produit 2. Et en substituant dans la fonction d’utilité, on en déduit la fonction de demande indirecte,

C’est ce qu’on observe dans les slides

En fait (on rejoint ici un commentaire qui avait été faite dans la première PC), ceci marche à condition que le prix du premier bien n’excède pas notre revenu global !

Si on imagine un individu sans revenu a qui l’on donne un tout petit revenu R. Dans ce cas, son accroissement d’utilité sera

Si cet accroissement dépasse 1, le consommateur n’achète que du bien 1. En fait, il achète du bien 1 tant que l’utilité marginale d’une unité supplémentaire de revenu soit égale à 1. Et tout supplément sera alors consacré à l’achat de bien 2. C’est exactement le commentaire qui avait été fait en classe….
Bref, si les individus ont suffisement d’argent, la demande de bien ne dépend que des prix..
Si l’on s’intéresse au surplus du consommateur, notons tout d’abord que la fonction de demande inverse permet d’écrire

Aussi, on peut obtenir l’utilité associée à un niveau particulier de consommation de bien 1 tout simplement par intégration

Aussi, l’utilité totale (associée à une consommation  de bien 1 sera

On obtient la surface située sous la courbe de demande du bien 1, en retranchant la dépense de bien 1.

Si la fonction d’utilité est quasi-linéaire, l’intégrale de la demande correspond à la fonction d’utilité en équivalent monétaire.

La variation compensée est la différence de revenu minimum qu’il est nécessaire de donner à un agent, suite à une variation, afin de s’assurer un niveau d’utilité constant. On peut alors monter que les variations compensatoires et équivalente coïncident: la fonction de compensation est linéaire par rapport au revenu, aussi, la valeur d’une unité monétaire supplémentaire est indépendante du prix.

En fait, le surplus du compensateur ne correspond à la variation compensatoire que dans le cas où la fonction d’utilitaire est quasi-linéaire. De manière plus générale (et c’est ce qui est abordé dans les slides suivants), on n’a qu’une approximation. Il faut utiliser l’équation de Slutsky pour récupérer le terme supplémentaire

Cette propriété de la fonction d’utilité quasi-linéaire est abordée dans plusieurs documents, comme ici ou . Sinon Hal Varian a aussi publié sur le sujet.

Grippe, cravate et (ré)assureurs

Entendu sur France Info, dans la revue de presse de Jean Christophe Martin, ce matin, ici, “parmi ces conseils, une bonne nouvelle pour les allergiques à la cravate : en plus des recommandations classiques, se laver les mains et se dire bonjour sans bisous, le Parisien signale que le groupe Scor, 5ème société mondiale de réassurance, demande aussi à ses salariés d’éviter de porter une cravate. Une consigne qui a eu un gros succès dans les bureaux de la Défense, au siège du groupe. Et oui, contrairement aux chemises, on ne fait pas souvent nettoyer sa cravate, qui peut se transformer en boîte à postillons et en bouillon de culture… Le nouveau mot d’ordre dans les bureaux : à bas la cravate, vive la grippe A...”. Chez AXA, on apprend que c’est la bise, qui est interdite (ici).

Statistiques en vacances, ou que faire avec ses clés de voiture

Petit souvenir de vacances, avant la rentrée… lorsque nous sommes arrivés à la campagne, j’ai eu le réflexe (que je croyais avoir perdu depuis que j’ai quitté Paris) de fermer à clé les portes de la voiture après avoir vidé le coffre. Et comme toujours, les réflexions n’ont pas tardé, avec un classique “eh, ici c’est pas la ville ! tu peux laisser ta voiture ouverte !“. Ne souhaitant froisser mon hôte, j’ai laissé la voiture ouverte, mais je me suis promis que je poserais la question à Laurent Mucchielli (ici, qui a également lancé son blog), en rentrant. A savoir y-a-t-il vraiment moins de délinquance à la campagne, si on corrige de l’effet population. Et sans tarder, Laurent m’a renvoyé vers les rapports disponibles à la Documentation Française (téléchargeable ici par exemple), en me mettant en garde sur l’interprétation, à savoir ce sont des statistiques de police (“qui ne sont pas des statistiques d’enquête en population générale et dépendent de plusieurs logiques d’enregistrement, à prendre avec beaucoup de précaution“). Bref, si on regarde les statistiques de 2008, il y a un “classement par tranche de population suivant le taux de criminalité globale pour 1 000 habitants“, dont j’ai fait le résumé un peu simpliste suivant, qui semble effectivement confirmer l’intuition de notre hôte….

délits1 population taux de délits
Paris 236,527 2,154,000 10,981 %
plus de 250,000 hab. 536,067 5,685,191 9,298 %
de 100,000 à 250,000 579,949 7,598,189 7,633 %
de 50,000 à 100,000 690,007 9,441,848 7,308 %
de 25,000 à 50,000 336,444 4,819,803 6,980 %
moins de 25,000 103,272 1,574,266 6,560 %

Bref, pour ceux qui ne sont pas convaincus, j’ai fait ce petit dessin avec le taux de délits (pour 100 habitants) en fonction de la population, la base de données étant téléchargeable ici.

Le même dessin ci-dessous en échelle logarithmique pour la population,

En y regardant de plus près, la conclusion est un peu moins claire qu’auparavant, car il semble que pour les “petites” villes, la délinquance puisse être relativement importante…

en particulier dans les villes qui, l’été, voient augmenter fortement leur population (la population au sens de l’insee n’étant pas un bon proxi de la population fréquentant les villes l’été). En effet, si l’on écarte les villes chaudes de la banlieue parisienne, on retrouve dans le top des villes ayant le plus fort taux de délinquance Le Touquet, Agde, Dives sur Mer, Deauville, Cavaillon, Lourdes (bref, des villes dont la population explose l’été).

En fait, étrangement, si je compare par rapport à Rennes (6,615%), où que je parte en vacances, le taux de délinquance semble plus élevé… il semblerait logique que j’inverse mes habitudes, à savoir laisser ma voiture ouverte à Rennes, et la fermer en vacances…

1 selon la terminologie du ministère de l’intérieur, “le total des crimes et délits