Category Archives: Probability

Passer des cassettes aux mp3

Plus le temps passe, plus j’ai l’impression d’être un dinosaure…. Lorsque j’étais jeune, j’écoutais de la musique sur des cassettes1. Je me souviens même avoir été enchanté par l’arrivée du premier walkman réversible: on n’était alors plus obligé de tourner la cassette au bout de 20 minutes. Quand soudain, à la fin des années 80 est arrivé le compact disc, et les lecteurs avec leur fonction Random ou Shuffle..

J’aurais du me douter que je tournerais mal parce que je me souviens avoir joué avec la platine de mes parents, en essayant de voir si la première chanson pouvait passer en premier avec une lecture aléatoire, mais aussi la seconde pouvait passer juste après. Bon, avec le recul, je me rends compte que j’ai du beaucoup user la platine parce qu’avec un disque de 10 titres, il faut 90 (ou 100) essais (en moyenne) pour qu’une lecture aléatoire commence effectivement par 1 et 2. C’est d’ailleurs à ce moment que j’ai aussi découvert les tirages avec et sans remises: avec certaines platines, on ne pouvait pas obtenir deux fois le même titre, alors que d’autres oui.
Puis sont arrivés les lecteurs mp3, où on n’avait plus 10 titres tirés au hasard, mais 200 voire 1000. Et l’autre jour en courant, je me suis posé les mêmes questions que lorsque j’étais tout petit (oui, je suis un dinosaure, mais j’étais jeune à cette époque): si le lecteur propose une fonction random avec remise, combien de chansons dois-je attendre, en moyenne, avant de réentendre une chanson que j’avais déjà entendu ?

  • De la probabilité d’entendre deux fois une chanson ?

Pour faire un peu formel, supposons que mon lecteur contienne https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp301.png chansons.
La probabilité de n’avoir aucune répétition sur https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp302.png lectures (on suppose https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp303.png) est

https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp304.png

qui correspond aussi au nombre d’arrangements de https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp302.png éléments parmi https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp301.png, divisé par https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp305.png, soit

https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp306.png

Si le ratio est faible (ou n est grand), on peut utiliser l’approximation https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp307.png et donc la probabilité s’approche par

https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp308.png

soit tout simplement – toujours en cherchant une approximation – une probabilité de n’avoir aucune répétition de

https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp309.png

Si on se donne une probabilité de n’avoir aucune répétition de https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp310.png, alors

https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp311.png

Avec https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp301.png=200 chansons sur mon lecteur mp3, en jouant 17 titres, j’ai environ 1 chance sur 2 d’avoir au moins un titre joué deux fois. Et 17 chansons, ça correspond à ce que j’écoute en faisant mon jogging…. Bref, le temps de faire mon jogging, j’ai 1 chance sur 2 d’entendre un titre deux fois.
Mais que se passerait-il si je tenais le raisonnement inverse ?

  • Problème dual et jogging interminable….

Autrement dit, combien de temps vais-je courir si je décide de m’arrêter lorsque j’entends (pour la première fois) un titre pour la seconde fois ? En fait, Donald Knuth en parle un peu dans son livre the art of computer programming: on peut montrer que l’espérance du nombre de titres qu’il faudra jouer pour avoir une première répétition parmi n titres est de la forme

https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp312.png

qui admet un développement asymptotique

https://perso.univ-rennes1.fr/arthur.charpentier/latex/mp33333.png

soit, toujours avec 200 titres dans mon lecteur, une vingtaine de titres à jouer, en moyenne. Ce qui rallongera un peu mon jogging, finalement…

> n=200
> sqrt(2*n*log(2))
[1] 16.65109
> 1+sqrt(pi*n/2)-1/3+1/12*sqrt(pi/2*n)-4/135/n
[1] 19.8681

Formellement, le premier correspond à une médiane, alors que le second à une espérance. Ce qui explique la différence.
Notons que si mon jogging classique dure la durée de 17 titres, la probabilité d’avoir un jogging deux fois plus long est quand même d’une chance sur 10,

> k=31
> exp(-k*(k-1)/(2*n))
[1] 0.09778344
> sqrt(2*n*log(1/.01))
[1] 42.91932

autrement dit, j’ai une chance sur 100 (ce qui devrait donc arriver une fois dans l’année, en moyenne) de courir pendant 43 chansons… qui vont me paraître très très longues….

1 je passais mon temps l’oreille sur la radio (car j’ai connu les premières radios libres, comme on disait alors), prêt à enregistrer dès qu’une super chanson passait.. je me souviens avoir guetter des jours durant le passage de you spin me around (ici) que mes élèves (qui n’ont pas connu cette époque) ou les cinéphiles connaissent probablement seulement sous la version right round () qui a abondamment samplé le thème. Oui, je suis un dinosaure..

Le paradoxe de Saint Pétersbourg, partie 1

Pour répondre à une question sur mon précédant billet (ici), je vais revenir sur un paradoxe assez classique, le paradoxe de Saint Petersbourg. Mais avant de parler du paradoxe, et de ses implications en théorie de la décision dans l’incertain, je voulais présenter le jeu, et en profiter pour jouer à faire des dessins puisque j’ai cru remarquer que j’avais des amateurs d’explications géométriques.
Le jeu est simple, c’est un jeu de pile ou face répété, le jeu s’arrêtant à la sortie du premier “face” (et on le verra par la suite, l’idée est de doubler ses gains chaque fois que “pile” sort).
Aussi, le temps d’arrêt du jeu est https://perso.univ-rennes1.fr/arthur.charpentier/latex/stpb-01.png dont la loi est simplement

https://perso.univ-rennes1.fr/arthur.charpentier/latex/stpb-02.png  https://perso.univ-rennes1.fr/arthur.charpentier/latex/stpb-03.png
https://perso.univ-rennes1.fr/arthur.charpentier/latex/stpb-04.png  https://perso.univ-rennes1.fr/arthur.charpentier/latex/stpb-05.png

… etc. On retrouve ainsi une loi géométrique de paramètre 1/2. L’espérance du nombre de lancers que l’on ferra avant que le jeu ne s’arrête est fini (alors qu’on le verra le gain espéré est infini), et vaut l’inverse de cette probabilité, i.e. 2. Pour ceux qui ont oublié la formule (que l’on obtient de manière assez calculatoire, en faisant une dérivation dans une série), on peut refaire le calcul,
https://perso.univ-rennes1.fr/arthur.charpentier/latex/stpb-06.png

Personnellement, je ne sais pas calculer cette somme (infinie), mais comme dans mon précédant billet (ici), il existe une somme que l’on peut calculer simplement en faisant un petit dessin,

J’ai 1 carré (mauve) de surface 1, 2 (bleus ) de surface 1/2, puis 3 (verts) de surface 1/4, puis 4 (jaunes) de surface 1/8, puis 5 (rouges) de surface 1/16, 6 (oranges) de surface 1/32, etc. Autrement dit

https://perso.univ-rennes1.fr/arthur.charpentier/latex/stpb-07.png

Or l’espérance que l’on cherche à calculer, c’est cette somme, à un facteur 2 près….  Aussi, en moyenne, on peut espérer faire 2 lancers (la moitié de la surface) ! Ce qui correspond précisément à l’espérance d’une loi géométrique de paramètre 1/2. Décidément, on peut faire plein de choses avec des petits dessins..

Zénon, sommes infinies et loi géométrique

Ayant parlé plusieurs fois de Luc Chatel sur mon blog je n’ai pas pu m’enpêcher de mettre l’image qui est à la une du Canard de cette semaine.
Pour ceux qui se souviennent de leurs cours de philo au lycée, c’est le paradoxe de Zénon (ou presque). Pour cela il faut fermer les yeux et imaginer une flèche en vol (en fait non, je viens de faire l’expérience, si on ferme les yeux, on ne peut pas lire la suite, ça ne marche qu’en cours cette histoire). La flèche est lancée à 10 mètre de sa cible. Il faut un certain temps, non nul, à cette pierre pour parcourir la moitié de la distance qui la sépare de la cible. Ensuite, il lui reste encore 5 mètres à parcourir, dont elle accomplit d’abord la moitié, 2,5 mètres, ce qui lui prend un certain temps. Puis elle parcourt la moitié, puis la moitié, et cela – à chaque fois – avec un temps non nul. Zénon (Ζήνων, parfois appelé aussi Zénon d’Elée)  en conclut que la pierre ne pourra frapper l’arbre qu’au bout d’un temps infini, c’est-à-dire jamais (ou pour la version illustrée, je peux renvoyer à un extrait de Kid Paddle, ici). En fait, Zénon introduit  la notion d’infini divisibilité (on dira qu’un élément est indéfiniment divisible, c’est d’ailleurs surprenant ce lien en français entre l’infini et l’indéfini), qui philosophiquement, est un complexe qui a mis du temps à s’imposer: une somme infinie d’éléments non nuls peut être finie (je renvois ici par exemple).

Formellement, l’histoire de la flèche revient à se demander si on peut calculer quelquechose qui ressemble à

 https://perso.univ-rennes1.fr/arthur.charpentier/latex/zenon-01.png

soit, de manière plus formelle,

 https://perso.univ-rennes1.fr/arthur.charpentier/latex/zenon-02.png

on retrouve la somme d’une série géométrique (au premier terme près), dont on sait que

https://perso.univ-rennes1.fr/arthur.charpentier/latex/zenon-03.png

Un application intéressante est que la loi géométrique, vérifiant

 https://perso.univ-rennes1.fr/arthur.charpentier/latex/zenon-06.png

est effectivement une loi de probabilité,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/zenon-05.png

(les termes sont positifs, et la somme vaut 1). Il existe une démonstration élégante de ce dernière résultat, qui tient en un dessin (à condition d’accepter ce principe un peu fractal d’infini divisibilité):

Je reviendrais un jour sur les lois de probas infiniment divisibles, car elles sont très très intéressantes de par certaines propriétés….

Foot, probabilité, et assurance, partie 2

Continuons le billet commencé ici, où j’essayais noté que les enseignes qui se sont engagé à faire des cadeaux en cas de victoire de l’équipe de France s’étaient couvertes via des contrats d’assurance. En fait, elles peuvent également se couvrir sur les marchés (en l’occurrence les sites de paris en ligne). Il existe plusieurs façons de faire des paris. La première est de faire (ou d’acheter) un pari sur un événement (la France ira en finale de la coupe du monde, par exemple). Ce pari est assorti d’une cote que défini le bookmaker. A une cote de 20 contre 1, si je paris 1 euro, je gagne 20 euros en cas de qualification pour la finale.
Dans ce cas particulier, le bookmaker est un agent important dans le marché, car il fixe le prix. Le site oddschecker.com (ici) permet de voir les cotes offertes par différents bookmakers.

Mais il existe aussi des marchés de paris, sans bookmakers. Il s’agit réellement d’un marché, où les parieurs prennent des positions les uns contre les autres, le bookmaker ne servant que d’intermédiaire et d’animateur sur ce marché. C’est le cas sur betfair.com () qui est un site d’échange de paris.

Pour commencer simplement, imaginons que nous sommes quelques jours avant une finale opposant la Corée du Sud aux Etats-Unis. Comme il ne peut y avoir qu’un vainqueur il existe des contratssymétrique, où l’on peut gagner 20 euros si la Corée gagner (et rien si elle perd) et un autre où l’on peut gagner 20 euros si la Corée perd. Bref, soit je suis acheter sur la Corée, soit je suis vendeur. Le prix de ces contrats indiquent la probabilité qu’a la Corée de gagner. On parle aussi de back or lay, deux évènements étant possibles.

  • Lecture d’une cote

Regardons maintenant le match d’ouverture, opposant l’Afrique du Sud au Mexique. Les cotes sont les suivantes, “Mexique 6/4, Afrique du Sud 15/8 et Draw (match nul) 11/5” sur un des sites. Le premier nombre indique ce que l’on gagne (net) en misant le second, si mon pari est gagnant. Autrement dit, si je paris 5 euros sur un match nul, et que match nul il y a, alors mon bénéfice sera de 11 (que je touche en plus de ma mise). La cote est alors de 1+11/5, soit 16/5 (j’avais fait ici un billet sur le lien entre cote et probabilité). Elle indique non plus le bénéfice, mais le gain: en misant 5 euros, j’empoche 16 euros. On parlera de paris 1X2.

Pour aller plus loin, on peut aussi parier sur le nombre de buts marqués. On parlera de paris over/under.

Chez le même bookmaker, si je paris 1 euro que la France gagne la coupe du monde, je fais un bénéfice de 18 euros.

  • Cote ou probabilité ?

Lorsque j’avais essayé d’expliquer l’origine de la loi logistique (ici), j’avais expliqué qu’il existait un lien simple entre probabilité et cote, la cote étant la probabilité que l’évènement se réalise, divisé par la probabilité qu’il ne se réaliste pas. Malheureusement, les choses sont un peu plus complexes dans les paris…
Zoomons un peu sur le match d’ouverture,


La cote est la valeur offerte la par le bookmarker, à laquelle on ajoute 1. La “probabilité” est alors l’inverse de cette cote.

résultat Bookie Offers Cote “probabilités”
Mexico 11/8 2.375 42.10%
South Africa 13/8 2.623 38.09%
Draw 11/5 3.200 31.25%
total 111.45%

A-t-on raté quelquechose ? car visiblement la “probabilité” n’est pas une vraie probabilité… En fait, supposer que l’on puisse construire une mesure de probabilité à partir des cotes doit pouvoir être relié au “théorème fondamental d’asset pricing” (et de probabilités risques neutres mentionnés tout à l’heure)

  • Relecture des cotes à l’aide du théorème fondamental

Autrement dit, on suppose qu’il existe une mesure http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-01.png telle que
http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-02.pnghttp://freakonometrics.hypotheses.org/files/2017/03/foot-pari-03.png est l’ensemble des gains possibles, et http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-04.png un équivalent certain.
On suppose qu’il existe un ensemble d’évènements http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-05.png (mutuellement exclusif comme on dit, formant une partition de http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-06.png), un seul pouvant survenir (en l’occurrence l’équipe qui reçoit gagne, ou l’équipe qui reçoit perd, ou il y a match nul). On considère un bookmaker qui accepte de payer http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-08.png si l’évènement i survient à un joueur qui aura parié 1 euro. On pourra légitimement pense que http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-09.png. Notre souhait est de relier ces http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-08.png et http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-10.png, si un lien quelconque pouvait exister. Ce problème avait été soulevé par Ramsey ou de Finetti.

En notant http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-11.png le montant total placé sur l’évènement http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-12.png. On pourra dire que l’on est à l’équilibre si http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-13.png est constant. Autrement dit, le ratio des cotes doit être l’inverse des ratios de montants placés,

http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-15.pngOn peut ainsi s’intéresser à

http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-16.png

qui est la fraction de l’argent qui sera effectivement rétribuée aux parieurs, ou http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-17.png sera la part gardée par le bookmaker. On peut penser qu’un bookmaker fixe http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-18.png, et alors

http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-20.png

En fait, k peut être vu comme un taux d’actualisation (l’équivalent d’un http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-22.pngen mathématique financière). On peut d’ailleurs noter que si on note http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-25.png le produit

http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-26.png

alors la stratégie consistant à parier

http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-27.png

sur l’évènement http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-12.png, pour tout les évènements, aura un coût unitaire (j’ai ici constitué mon portefeuille si on revient à la théorie de l’arbitrage). Aussi

http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-29.png

En l’occurrence, sur le match d’ouverture de la coupe du monde, on obtient http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-18.png de l’ordre de 90% (l’inverse de la somme de la dernière colonne). Autrement dit, le bookmaker prend de l’ordre de 10%.
A partir de là, on peut en déduire de ces prix d’Arrow Debreu une “probabilité implicite” qui est la probabilité risque neutre, ou la croyance des investisseurs dans la survenance des évènements. Pour cela, on pourrait poser

http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-30.png

sauf que dans ce cas, compte tenu de la dernière relation, http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-34.png. On définie alors la probabilité implicite des parieurs sous la forme

http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-35.png

On a réussit à construire une mesure de probabilité http://freakonometrics.hypotheses.org/files/2017/03/foot-pari-01.png, qui correspond à l’intuition des parieurs… mais qui n’a rien à voir avec la probabilité réelle. Si l’on compare les bookmakers, on note que les probabilités induites sont très proches,

et si on compare la part prise par le bookmaker sur ce match, on est là aussi sur des ordres de grandeurs comparables,

Justin Wolfers et Eric Zitzewitz, dans Prediction Markets paru dans le Journal of Economic Perspectives de 2004 (ici) expliquent d’ailleurs tout cela très clairement. Je peux aussi renvoyer à un document de travail datant de novembre dernier de Egon Franck, Erwin Verbeek, et Stephan Nüesch (en ligne ici).
J’ai parlé tout à l’heure de probabilité risque neutre, mais cela sous-entend que l’on puisse supposer les marchés efficients, et qu’il n’y ait absence d’opportunité d’arbitrage. C’est précisément ce qu’avait regardé Steven Levitt et Richard Gillici, dans un vieux papier, évoqué également . Pour résumer les conclusions, il n’y a pas d’opportunités d’arbitrage sur ces marchés, et il existe des “market makers”, c’est à dire des parieurs misant énormément, ce qui accroît considérablement la liquidité de ces marchés. Mais cette conclusion sur l’absence d’opportunité d’arbitrage a été largement remise en cause en pratique. Pour aller plus loin, on peut aussi regarder un article de Moris Eaton et David Freedman, Dutch Book against some ‘Objective’ Prior, paru dansBernoulli en 2004, en ligne . C’est marrant car cette relecture Bayésienne des jeux de pari peut être étudier en pratique, pour la coupe du monde de foot surworldcup.bayesialab.com (, merci Avner pour le lien). Je vais continuer de suivre ça lorsque les matchs commençerons, afin de voir les mises à jour des paris au fur et à mesure de l’évolution des matchs… à suivre donc.

Histoire éthylique, et arrêt optimal

suite aux pressions générales, je vais reprendre mes discussions d’alcoolique…. ou plutôt reprendre des classiques de finance, en expliquant que ce sont simplement des problèmes que se posent les amateurs de boissons fortes (de là à conseiller plutôt de recruter dans les bars qu’à la sortie des grandes écoles…).
Bref, avant d’avoir entamé sa marche aléatoire dans la rue de la soif (ici, correspondant aux problèmes d’options à barrière traduit en termes financier), puis d’avoir un soucis avec ses clés (), puis la maréchaussée (ici), notre héros (car on peut maintenant l’appeler un héros après 4 billets qui lui sont consacrés) avait du choisir son bar… Le problème est loin d’être simple. Il y a 20 bars dans la rue (disons https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-50.png pour faire quelque chose de plus formel). Il arrive de la place sainte Anne, et là, il souhaite choisir le bar le moins cher. Le soucis est qu’il n’a pas le droit de faire demi-tour1 et il ne connaît pas les prix pratiqués dans les différents bars. Il part avec un a priori qui est que le prix d’une pinte est compris entre 3 et 6 euros, que le prix est uniformément réparti entre ces deux prix, et que les prix sont indépendants d’un bar à l’autre. Pour les financiers, il a une option (de commander une bière), et peut l’exercer quand il le souhaite. Une option américaine en quelque sorte. Supposons qu’on soit arrivé au bar https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-01.png. On peut soit payer https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-02.png (qui est supposé aléatoire, uniformément distribué et indépendant des autres bars), soit espérer que l’on puisse payer moins cher plus loin,
Soit https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-03.png la valeur de cette option, alors

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-04.png

i.e.

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-05.png

soit

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-06.png

où https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-07.png désigne la loi du prix de la bière (soit ici une loi uniforme) avec une condition terminale de la forme

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-09.png

car il a soif, et ne quittera pas la rue sans avoir bu un verre !
Classiquement, par backward induction, on peut résoudre ce programme, à partir de la loi de https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-10.png. Posons https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-12.png. Alors

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-13.png

et

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-14.png

soit simplement

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-16.png

soit enfin

https://perso.univ-rennes1.fr/arthur.charpentier/latex/opt-am-18.png

Je laisse les plus courageux simplifier les calculs. La “frontière d’exercice” est alors obtenue par récurrence. Numériquement, le code est alors simplement

> n=20
> u=rep(NA,n)
> b=6;a=3
> u[n]=(b+a)/2
> for(k in (n-1):1){
+ u[k]=1/(b-a)*(u[k+1]*(b-u[k+1])+(u[k+1]^2-a^2)/2)
+ }

Dès qu’on atteint la barrière, on s’assoit au bar. On note que plus on avance dans la rue, moins on est exigent: au tout début, on ne s’assoit pas à moins de 3 euros 30… mais plus on avance, plus on relève le seuil d’exigence. Le calcul sous forme intégrale donne ici

> u=rep(NA,n)
> b=6;a=3
> u[n]=(b+a)/2
> for(k in (n-1):1){
+ g=function(x){pmin(x,rep(u[k+1],length(x)))/(b-a)}
+ u[k]=integrate(g,lower=a,upper=b)$value
+ }

J’avais déjà abordé ce problème dans un précédant billet, sur les options américaines, mais on peut maintenant aller un peu plus loin… que se passe-t-il si on suppose que les prix sont discret (par exemple par tranches de 50 centimes ou 1 euro) ? L’avantage avec ces méthodes numériques est que l’on peut très facilement enlever des hypothèses, par exemple ici on aurait

> h=2
> K=(b-a)*h+1
> PRIX=seq(a,b,by=1/h)
> u2=rep(NA,n)
> b=6;a=3
> u2[n]=(b+a)/2
> for(k in (n-1):1){
+ g=function(x){pmin(x,rep(u[k+1],length(x)))}
+ u2[k]=sum(g(PRIX)*1/K)}

pour des seuils à 1 euros (les seuls prix possibles étant 3,4,5 ou 6 euros).

Ou la frontière suivante si les prix varient par tranche de 50 centimes.

Compte tenu de la discrétisation, notons que la vraie frontière devient alors ici

Bref, comme toujours, les problèmes d’alcooliques rejoignent les problèmes d’exercice optimal d’options américaines, problème classique en finance de marché…
1 pour rendre cette histoire crédible, à chaque bar rencontré il demande le prix d’une pinte. S’il estime que c’est trop cher, il s’exclame “mais c’est bien trop cher ici !” et s’en va. Sinon il commande et s’installe. Cette exclamation rend improbable – à ses yeux – l’idée de revenir finalement s’installer au bar….

L’énigme du modèle

(pour reprendre le titre de l’exposition). J’interviendrais mercredi soir, toujours dans le cadre de la Biennale, dans un débat avec Julien Prévieux (ici) et Olivier Raingeard responsable Stratégies Economiques et Etudes, chez Neuflize OBC investissements. Le but sera d’apporter un éclairage au travail de Julien. A priori mon intervention sera axée autour de deux thèmes. Tout d’abord la difficulté de faire des prévisions, et d’anticiper l’avenir. Ou pour reprendre une expression de Niels Bohr, “prediction is very difficult, especially about the future” (repris par Jacques Chirac au début des années 90). J’illustrerais ce point par une relecture des prévisions faites par les plus grands économistes lors de la crise de 1929. Ensuite, le second thème m’avait été inspiré l’autre jour par la lecture d’un article dans le Canard Enchaîné,

J’ai eu envie de reparler de ce point suite à la discussion que nous avions eu la semaine dernière dans les débats sur les risques émergents, où nous cherchions la limite entre science et science fiction

Par certains côtés, le high frequency trading ressemble à une histoire de science fiction, du genre “les algorithmes prennent le pouvoir“, ou comment se passer d’économistes sur les marchés financiers. Pour simplifier (avec un peu de mauvaise foi, j’en conviens), en faisant tourner des algorithmes sur des ordinateurs super-puissants, on délègue à la machine la décision d’acheter et de vendre des produits financiers, voire en l’occurrence des paquets de produits, sur des intervalles de temps très courts… L’intérêt est que pendant ce temps, les traders (les vrais) ont le temps pour venir lire un peu mon blog ! Il s’agit d’acheter des titres et de les revendre presque instantanément, afin de créer une courte période pendant laquelle les marchés ne sont plus efficients: on peut alors créer un arbitrage.

Certains font une différence entre le high frequency trading et le flash trading, ou encore high speed trading, mais personnellement j’ai du mal à saisir la nuance… Mais si les arbitragistes ont toujours existé (ce qui légitimait alors l’absence d’opportunité d’arbitrage), cette fois, ce sont les machines qui effectuent artificiellement des arbitrages au lieu de les traquer…
Paul Krugman avait été très critique à ce sujet: “the stock market is supposed to allocate capital to its most productive uses, such as by helping companies with good ideas raise money. It’s hard to see, however, how traders who place their orders one-thirtieth of a second faster than anyone else do anything productive” et un peu plus loin “HFT probably degrades the stock market’s function, because it’s a kind of tax on investors who lack access to super computers and at-exchange connectivity – which means that the money Goldman spends on those computers actually has a negative effect on national wealth” (ici).

Les images utilisées sont en ligne (empruntés à une présentation de Mathieu Rosenbaum) et le flyer est en ligne ci-dessous,

known knowns, known unknowns and unknown unknowns

ou l’histoire du quantitative risk management. Mercredi soir, je ferais un exposé lors de la biennale d’art contemporain, au couvent des Jacobins, ici.

L’exposé devrait commencer,  a priori, par une discussion autour de l’origine des probabilités. On commencera par se demander  pourquoi la théorie des probabilités est née aussi tard. Si les jeux de hasard dont très anciens, il a fallu attendre le XVIIIème siècle pour que naisse réellementle calcul des probabilités. Une explication simple peut toutefois être avancée. Quand on pense aux probabilités, on pense aux jeux de dés, ou aux jeux de cartes, qui sont généralement les premiers exemples que l’on introduit au lycée pour parler de probabilités. Or historiquement, les premiers dés (ou encore plus tôt les osselets, et autres astragales) sont mentionnés en Inde, en Egypte mais surtout à Rome.

Or en sciences, la recherche de “loi” signifie que l’on cherche “un rapport immuable entre plusieurs grandeurs“. Et s’il nous paraît évident qu’avec un dé, on a 1 chance sur 6 d’obtenir un “4” en le lançant, ce n’était pas vraiment le cas avec ces premiers dés, qui étaient très irréguliers.

 

Cette particularité physique fait qu’il ne pouvait exister de loi de probabilités. Une autre raison souvent invoquée est que la seule loi qui pouvait
régir le hasard était la loi divine. Bref, il a fallu attendre le XVIIème et surtout le XVIIIème siècle pour voir arriver le calcul des probabilités. Étrangement, cela correspond à la naissance des jeux de cartes. Le plus vieux jeu connu est un jeu chinois, datant de 1400, mais c’est surtout à l’époque de la révolution que les jeux de cartes se sont popularisés. Les jeux étant plus réguliers que les vieux dés, les calculs de probabilités étaient alors possibles….
https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso/galton_gauss.jpgNous aborderons ensuite la naissance des tables de mortalités, et de l’assurance vie, pour finir avec la finance. Pour pouvoir bien comprendre les problématiques du monde financier, il sera important de revenir un peu sur la loi normale. Cette loi, souvent appelée loi de Gauss, a été obtenue par de très nombreux mathématiciens, initialement comme limite d’un modèle binomial, visualisé sous la forme d’une “planche de Galton“. Nous verrons comment cette loi s’est imposée dans les modèles financiers, alors qu’elle ne semble définitivement pas y être à sa place…. en tous les cas si l’on s’intéresse à des problèmes de gestion des risques.
Enfin, l’exposé devrait se terminer sur les blacks swan, et autres unknown unknown, ou comment appréhender des risques pour lesquels on ne dispose pas de probabilités. Nous parlerons alors d’ambiguïté, de probabilités subjectives, et de “nouveaux risques“…

Histoire éthylique, et loi de l’arcsinus

Avant de revenir sur la marche aléatoire et le problème de la ruine d’un assureur comme problème de temps d’arrêt (je n’ai pas insisté en cours car les temps d’arrêt nécessitent un peu de recul sur les processus), je voulais prendre 5 minutes pour faire un exemple qui devrait intéresser les étudiants. On va se placer un peu avant les billets sur l’étude de l’ébriété rennaise, ici et .

  • De la probabilité de sortir un jour de la rue de la soif

Supposons que notre homme soit encore rue de la soif, un jeudi soit à 23 heures, dans un état d’ébriété assez avancé. Souhaitant quitter cette rue, il fait un pas (disons 1 mètre pour faire simple), puis hésite sur sa direction: il a 1 chance sur 2 de continuer dans la même direction, et 1 chance sur 2 de faire demi-tour.  Il se trouve à une distance L'image “https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-05.png” ne peut être affichée car elle contient des erreurs. de la place Sainte Anne et à une distance L'image “https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-06.png” ne peut être affichée car elle contient des erreurs.de la place des Lices. On se demande s’il arrivera un jour à quitter la rue de la soif, et surtout au bout de combien de temps (ou après avoir parcouru quel distance)… Au delà du temps moyen passé à errer dans la rue, on pourra se demander la probabilité pour qu’il soit sorti de la rue pour 8 heures, histoire d’avoir une chance d’arriver à l’heure en cours.

Il s’agit du problème de la marche aléatoire (qui, ma foi, est assez approprié au problème de l’ébriété) de type pile ou face. On note tau l’instant (exprimé en nombre de pas) de la sortie de la rue de la soif. Formellement, on note https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-01.png la position à la date https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-02.png. On suppose qu’à la date https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-02.png=0, il est à la position 0 (disons sa chaise à la terrasse du 1929). tau est l’instant où https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-01.png quitte l’intervalle https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-03.png. S’il sort par la partie inférieure (en https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-05.png) il sera place Sainte Anne, alors que s’il sort en https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-06.png, il sort par la place de Lices (la longueur de la rue étant https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-04.png).
Notons que https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-07.png où https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-08.png prend les valeurs https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-09.png avec probabilités https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-10.pnghttps://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-50.png s’il se dirige vers Sainte Anne, https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-11.png s’il part place des Lices.
On cherche

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-12.png

C’est ce qu’on appelle un temps d’arrêt. Il s’agit d’une variable aléatoire, positive, qui prend valeurs dans https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-555.png.
Le problème est simple à formuler, mais pour le résoudre, c’est une autre histoire…
On peut d’abord montrer que

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-13.png

ce qui est un peu rassurant (c’est le lemme de Fatou). On peut alors montrer que https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-14.png appartient forcément à https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-15.png, et donc

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-16.png

aussi,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-17.png

ce qui est assez intuitif compte tenu de la symétrie naturel du problème. On a alors d’autant plus de sortir d’un coté que l’on part d’un endroit proche de ce côté.
On peut aussi monter que https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-18.pngest une martingale, nulle à la date initiale. Aussi,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-19.png

(je passe les difficultés techniques, mais on peut montrer que ce résultat est rigoureusement juste en travaillant sur la martingale arrêtée). Bon, on a pas mal d’information…. mais on peut aussi regarder la loi. On peut faire quelques simulations, dans un premier temps, afin de visualiser la densité (sous forme d’histogramme), avec ci-dessous la position de notre individu en ordonné, et en abscisse le temps depuis qu’il a quitté sa table.

https://perso.univ-rennes1.fr/arthur.charpentier/image-st-michel-v2.gif

L’histogramme ci-dessous
est le comptage des moments où l’individu a quitté la rue.

https://perso.univ-rennes1.fr/arthur.charpentier/compte-image-st-michel-v2.gif

Je me suis arrêté assez tôt sinon le fichier image serait trop lourd.
Pour étudier la distribution, mieux vaut éviter de travailler sur la fonction de répartition ou la densité du temps d’arrêt. En fait, le plus simple est de récupérer la fonction génératrice de tau. Pour cela, on va utiliser la fonction génératrice des incréments,
https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-20.png

en utilisant la notation du cosinus hyperbolique. On peut alors montrer

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-21.png

Pour tout https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-22.png,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-23.png

En fait, on retrouve ici quelque chose qui est très proche de la probabilité qu’a le mouvement brownien de quitter un corridor (qui ont été beaucoup étudiée de part les applications en finance, non pas sur l’étude des gens bourrés, via les options parisiennes, ici ou , mais qui avait été étudié dans les revues de physique dans les années 60). Bon, comme on quitte le monde discret pour le monde continu, on ne travaille plus sur la fonction génératrice des moments https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-24.png, mais sur la transformée de Laplace https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-25.png dont on peut montrer que la transformée de Laplace du temps de sortie d’un corridor de la forme https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-521.pngest

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-30.png

qui se rapproche de la formule précédente. Pour faire le lien, notons que

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-31.png

et que pour https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-32.png,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-33.png

Bref, en bricolant, on peut relier assez clairement les deux notions (ce qui n’a rien d’une démonstration, j’en conviens). Mais on peut aussi se poser d’autres questions fondamentales……

  • De la probabilité de récupérer ses clés

J’avais évoqué ici les problèmes de clés de notre indigène. Mais j’avais oublié de dire qu’il avait oublié ses clés sur sa table en quittant le bar. On peut se demander quelle est la chance pour qu’il ne repasse jamais à sa table…. Autrement dit, on souhaite calculer

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-522.png

ou éventuellement, si on sait que le bar ferme à l’heure https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-523.png,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-524.png

Dans le cas du mouvement Brownien, on peut montrer que

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-525.png

On utilise la propriété de Markov, qui garantie que https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-526.png est indépendant de https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-527.png. On peut alors montrer que si https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-528.png est le temps d’arrêt défini comme le premier instant où le processus atteint https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-529.png, alors

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-530.png

Dans le cas du mouvement Brownien, cette propriété est une des lois de l’arcsinus, dont on trouvera des démonstrations ici ou . L’arcsinus apparaît ici dans un calcul d’intégral, en notant que

https://perso.univ-rennes1.fr/arthur.charpentier/latex/alcool-531.png

Compte tenu des similitudes que nous avions observées dans la section précédente entre le cas continu et le cas discret, notre étudiant devrait pouvoir calculer assez simplement la probabilité qu’il a de récupérer ses clés…. enfin, dès qu’il aura dessaoulé un peu afin de faire les calculs….

Histoire éthylique, et problèmes de clés

Pour poursuivre le billet commencé ici, avant d’expliquer comment notre personne imbibée d’alcool est allée du bar à son appartement, je voulais raconter une petite mésaventure qu’il a eu.

Lors de ses multiples essais de clés, des agents de la maréchaussée ont trouvé étrange qu’il ait besoin d’autant d’essais pour trouver la bonne clé.

On part d’une distribution a priori d’une chance sur deux,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-01.png

On sait que

https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-02.png

alors que

https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-03.png

et 0 sinon.
On peut alors utiliser la formule de Bayes pour déterminer la probabilité qu’une personne soit ivre sachant qu’il lui a fallu https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-04.pngessais,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-06.png

https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-07.png

Je laisse les plus courageux écrire la forme de cette probabilité, mais ça n’est pas sorcier….
Si on regarde ce qui se passe avec https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-05.png=15 clés, par exemple, on obtient la probabilité suivante, en fonction du nombre d’essais nécessaire pour ouvrir la porte,

Pour la partie de droite, on a un résultat assez intuitif: s’il faut plus d’essais que le nombre de clés dans le trousseau, c’est qu’on est ivre. En revanche, tant qu’on n’atteint pas la valeur fatidique de https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-08.png, alors plus le nombre de clés essayé est grand, plus cela “prouve” que l’on a de forte chances d’être à jeun. On retrouve ça sur le graphique ci-dessous,

Moralité, si on se fait arrêté par la police après avoir eu besoin de 12 essais pour trouver la bonne clé, ce petit laïus permet de prouver que l’on a peu de chances d’être ivre (malgré les apparences, j’en convient).
Mais pour l’instant, nous avons supposé que la maréchaussée intervenait lors de l’ouverture. Que se passe-t-il si elle intervient avantl’ouverture de la porte ? Autrement dit, on cherche ici

https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-09.png

dont l’évolution pour notre trousseau de https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-05.png=15 clés donne

ou, en fonction de https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-05.png et https://perso.univ-rennes1.fr/arthur.charpentier/latex/ivre-04.png,

https://blogperso.univ-rennes1.fr/arthur.charpentier/public/perso/desproges.jpgOn retrouve alors quelque chose qui pourrait paraître plus intuitif… Quoi que. Si au 12ème essai, la porte n’était pas ouverte, la police a tout intérêt à arrêter notre jeune héros, car la probabilité qu’il soit ivre est supérieure à la probabilité a priori. En revanche, s’il réussit à l’ouvrir au 13ème essai, elle a intérêt à ne pas l’arrêter, car il y a de très fortes chances pour qu’il soit à jeun. Étonnant non ?

Histoire éthylique, et de clés

En tant que statisticien, j’aime beaucoup les alcooliques… ils nous permettent de voir certains problèmes de modélisation sous un autre angle.
Considérons une personne ayant un trousseau de 10 clés, ou disons n pour généraliser. Il souhaite ouvrir la porte de chez lui, mais ne sait plus laquelle est la bonne. Combien d’essais – en moyenne – faudra-t-il avant de tomber sur la bonne clé ?
Pour une personne à jeun (et saine d’esprit), le plus simple est de tenter une clé au hasard, puis, si ça ne marche pas, de prendre celle à sa droite (ou à sa gauche, peut importe, mais il faut une stratégie et s’y tenir, à moins de pouvoir noter quelle clé a été utilisée). Bref, au bout de n essais, on est certain de tomber sur la bonne clé. Si le fait de manière un peu formelle (histoire de justifier une intuition), et que l’on note https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-01.png l’évènement “la bonne clé est tirée au bout de https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-02.png essais“, alors

https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-03.png

Raisonnons alors simplement,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-04.png

puis

https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-05.png

puis

https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-06.png

etc. Aussi, on peut légitimement penser que

https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-07.png

Moralité (il s’agit de la moyenne d’une loi uniforme)

https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-08.png

Pour une personne ivre (ou un peu moins à jeun), à chaque essai, elle prend une clé au hasard dans le trousseau (on pourrait appeler ça la stratégie du poisson rouge). Le nombre d’essais peut être potentiellement infini. Et en reprenant les notations précédentes, on note que si

https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-09.png

en revanche

https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-10.png

puisqu’à l’étape 2, on n’a pas écarté la clé qui ne marche pas… Aussi,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-11.png

qui correspond à une loi géométrique, ou loi de Pascal, de paramètre https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-12.png. Pour ceux qui ne savent plus comment calculer l’espérance d’une telle loi, on peut prendre trois lignes pour refaire le calcul

https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-13.png
soit tout simplement

https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-14.png

i.e.
https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-15.png

Aussi https://perso.univ-rennes1.fr/arthur.charpentier/latex/etyl-16.png.
Grosso modo, il faut deux fois plus de temps pour trouver une clé quand on est rond comme une queue d’pelle, que quand on est à jeun (sans compter le temps où l’on parle à son trousseau de clé, en espérant qu’il trouvera un moyen de désigner la bonne clé). La prochaine partie du billet parlera de “marche aléatoire“, et de difficultés pour quelqu’un d’ivre mort à quitter a rue Saint Michel….

from two to three…

A short post to give more details about the final remark in the course of Financial Econometrics, and more precisely the formula that can be found in the book of Philip Jorion,

Note that this formula can be found (perhaps written with slight changes) in several papers, e.g. the following sentence (on the http://www.bis.org/website),

or the following formula, on documents from the Bank of England website,

I recently pulished (in French, here) a paper on the Value-at-Risk, including the following graph,

Usually, three times the average over 60 trading days is the larger component, but during the financial crisis, it turned out that the daily component was almost three times higher than the average value over the past the months (this fact was mention by Paul Embrechts in some conference in Paris on risk measures).
The interpreation of the multiplicative k coefficient (which is from 2 to 3 in some publications, or which exceeds 3 in others) has been proposed in a paper of Gerhard Stahl, entitled three cheers. The idea is to use the Bienaymé-Tchebychev inequality. For random variables with finite variance, then

https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-01.png

Recall that this inequality is simply a corrolary of Markov’s inequality

https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-02.png

or for any increasing function https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-99.png

https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-03.png

(taking function https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-04.png, applied to https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-05.png). This upper bound can be far away from the true probability, see e.g. the gaussian case below, i.e. if  https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-06.png,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-07.png

 

> z = seq(0,3,by=.01)
> P = 2*dnorm(k)
> U = 1/z^2
> plot(z,P,type="l",lwd=2,col="red",xlab="",ylab="")

The ratio between the two is given below,

> plot(z,U/P,type="l",lwd=2,col="purple",xlab="",ylab="",ylim=c(0,10))

Note that it is possible to interprete the axis values as probabilities values, taking quantiles of the gaussian distribution

> plot(pnorm(z),U/P,type="l",lwd=2,col="purple",xlab="",
+ ylab="",ylim=c(0,10),xlim=c(.9,1))
> abline(h=3,lty=2)

The interpretation is that the upper bound is 3 times higher than the true probability in the Gaussian case when z is the quantile of the https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-06.png distribution associated with probability level 99%.
Note that

  • if z is the 95% quantile of the mathcal{N}(0,1) distribution, the ratio is 2 (1.92)
  • if z is the 99% quantile of the mathcal{N}(0,1) distribution, the ratio is 3 (3.04)
  • if z is the 99.55% quantile of the mathcal{N}(0,1) distribution, the ratio is almost 4 (3.88)
  • if z is the 99.75% quantile of the mathcal{N}(0,1) distribution, the ratio is 5 (5.04)

A more formal explaination is to assume that X is symmetric, and then

https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-09.png

Thus, if https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-10.png, i.e. https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-11.png, we have an upper bound for the  https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-12.pngValue-at-Risk,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-20.png

where the upper bound is the upper bound for the https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-12.png Value-at-Risk for any distribution with finite variance and centred.
If  https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-31.png, then https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-32.png, i.e. https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-33.png.  But since, https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-33.png for a https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-36.png distribution, then

https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-21.png

and further

https://perso.univ-rennes1.fr/arthur.charpentier/latex/BTC-22.png

De l’uniformité des tirages du loto

J’ai abordé à plusieurs reprises les tirages du loto (ici ou ), en mentionnant par exemple que Slutsky avait proposé les utiliser comme générateurs de nombres aléatoires. Or je suis tombé un peu par hasard l’autre jour sur un rapport – qui date un peu, certes – expliquant que la loterie britannique était biaisée, la boule 37 tombant (selon ledit rapport) un peu trop souvent.
On retrouve le même genre de remarque sur le loto français, où certains trouvent surprenant que certains numéros soient sortis plus souvent que d’autres…. Certains notent – sans rire – que le fait que la boule 7 soit sorti 722 fois sur 4858 tirages confirme le pouvoir magique de ce chiffre (en moyenne, une boule n’est sortie que 694 fois). Je laisse les amateurs de pratiques ésotériques s’amuser avec la base qui est téléchargeable ici (on pourra noter que les multiples de 5 apparaissent aussi plus souvent que la moyenne).

  • De la normalité des tirages

Mais je m’égare. Le but était de voir si, sur les tirages du loto en France, certaines boules sortaient éventuellement tropsouvent. Si on prend la base et que l’on regarde les statistiques d’ordre, on obtient le graphique suivant

En l’occurrence, la boule qui est le plus sortie est sortie 745 fois (il s’agit du 34), et celle qui est le moins sortie est sortie 652 fois (le 29). Cette répartition me rappelant la  fonction quantile de la loi normale, j’ai décidé de la représenter aussi sur le graphique. Intuitivement, quand on tire des boules dans une urne (avec remise), on s’attend à trouver un loi binomiale, qui s’approche d’une loi normale quand le nombre de tirages est grand. Avec près de 5000 tirages, on pourrait penser que l’approximation asymptotique ne serait pas absurde.
Mais si l’ajustement n’est pas mauvais pour les boules les plus sorties, on voit qu’il est assez mauvais pour les boules les moins sorties….La première explication à laquelle j’ai pensée est que mon approximation est valide si l’on fait des tirages avec remise. Or formellement, entre chaque tirage, on remet bien toutes les boules dans l’urne, mais à l’intérieur d’un tirage, les tirages se font sans remise (ce qui fait qu’une boule ne peut sortir qu’un fois par tirage). Bref, ceci pourrait expliquer la non-normalité…

  • Le latin cube

Ceci m’a fait pensé à l’idée du latin hypercube, qui est souvent utilisé pour rendre “plus uniforme” les tirages avec des lois de Monte Carlo.
Les figures ci-dessous montrent des simulations de Monte Carlo classiques à gauche, et avec une partition avec 10 tirages uniformes dans 100 carrés, à droite.

C’est l’idée du latin hypercube… Les figures ci-dessous correspondent à des estimations nonparamétriques des densités par des noyaux betas, avec le même paramètre de lissage (pouvant être interprété comme une fenêtre),

Autrement dit, l’utilisation de la méthode latin hyperbube permet d’avoir des choses beaucoup plus uniformes…
C’est finalement la même chose que l’on a ici. Mais ceci fait qu’on devrait être de variance plus faible, mais cela n’explique pas l’asymétrie que l’on observe. Car effectivement, si l’on calcul la skewness (moment centré réduit d’ordre 3), on obtient 0,1928.

  • Faisons un peu de simulations

Afin de voir s’il y avait un soucis, la méthode la plus simple consiste à faire du Monte Carlo. Et afin de valider cette histoire de latin cube, deux techniques ont été considérée ici,

  • tirer 34000 boules (avec remise) parmi {1,2,….,49}, ce qui doit se rapprocher de la normalité,
  • tirer 7 boules (sans remise) parmi {1,2,….,49}, et répéter 4858 fois cette opération, ce qui correspond à un vrai tirage du loto.

En faisant 10000 tirage de ces 4858 tirages du loto, on obtient les résultats suivants, résumés par les valeurs moyenne en trait plein, et les quantiles à 5% et 95% en trait pointillé. Les traits verts sont la simulation de vrais tirages, et les traits mauves correspondent à la version avec remise. On peut noter que la courbe verte présente moins de variance que la courbe mauve, ce qui semble confirmer ce que je racontais dans le paragraphe précédant,

Bref, on note que les boules qui sont peu sorties sont finalement trop sorties par rapport à ce qu’aurait du donné des tirages indépendants. Mais ceci ne prouve rien, si ce n’est que c’est statistiquement surprenant….

Paradoxe et enseignement des probabilités

L’été semble être propice aux billets sur les paradoxes et autres bizarreries intellectuelles (je renvoie par exemple au très bon billet de Laurent, ici). Je vais en rajouter une couche (j’avais déjà parlé du paradoxe des enveloppes, ici ou de Simpson, ). En fait, je voulais revenir sur un paradoxe que j’avais lu en Terminale (à l’époque il y avait une introduction aux probabilités). J’y repense car je suis en train de finir de préparer mon cours de rappels de probabilité, et je cherche des exercices “simples” évitant toute ambiguité afin d’être un peu éclairant… pas comme ici….

Lançons trois pièces de monnaie. Quelle est la probabilité que les 3 pièces tombent du même côté (peu importe lequel) ?

Réponse 1: facile, faisons un peu de dénombrement, il y a 8 cas possibles (PPP, FPP, PFP, PPF, FFP, FPF, PFF, FFF), qui sont équiprobables, et seuls deux nous intéressent (FFF et PPP), on a alors 1 chance sur 4.

Réponse 2: facile, raisonnons deux minutes et essayons de trouver une réponse élégante. Comme j’ai 3 pièces pour seulement deux faces, il y en a forcément deux qui sont tombées du même côté, et pour la troisième, il me reste une chance sur deux, et la réponse est alors 1 chance sur 2.

Etonnant, non?“.

Bon, c’est un exemple assez classique en théorie des probabilités, je laisse aux lecteurs le temps de la réflexion…. le but étant de montrer qu’il y a une faute dans le raisonnement de la personne ayant donné la seconde réponse… Oui, c’est toute la difficulté des TD de probas: comment expliquer qu’un raisonnement qui semble juste est falacieux…

Sommer des variables binomiales négatives

Il existe trois grandes familles de lois utilisées pour modéliser les variables de comptage,

  • la loi binomiale, 
  • la loi de Poisson, 
  • la loi binomiale négative, 

Ces trois lois sont les trois dans la famille de Sundt (ici), au sens où

En plus ces trois lois sont dans la famille exponentielle (et peuvent servir en économétrie via les GLM). Pour la loi binomiale négative, il existe des dizaines de manières de l’écrire. On peut remonter à Blaise Pascal en 1679 pour sa première utilisation. Pour reprendre la présentation de Georges Polya dans le contexte des urnes, on a des boules blanches et noires dans une urne, et on fait des tirages avec remise. Il y a une proportion p de boules noires. Le nombre de boules blanches que l’on a tiré avant de tirer la ième boule noire suit une loi binomiale négative. Mais ça ne marche que si  est un entier. On pourra envisager une écriture plus générale par la suite.
On retiendra aussi l’approche de Greenwood et Yule (1920), présentant la loi binomiale négative comme un mélange de lois de Poisson. Supposons que   suive une loi de Poisson  et que  suit une loi Gamma, de densité

Alors la loin (non conditionnelle) de X est une loi binomiale négative,

L’interprétation via les lois mélanges est assez élégante (j’avais parlé de la surdispersion de la loi de Poisson en pratique ici), et notons d’ailleurs que Greenwood et Yule avaient parlé de “accident proneness” pour décrire la loi sous cette forme
Bref, la loi binomiale négative de paramètres  et  a pour loi de probabilité

.

Remarque: un cas particulier de la loi binomiale négative est la loi ditegéométrique, obtenue quand . J’ai évoqué cette loi ici, afin d’expliquer la notion de période de retour (et l’interprétation d’un probabilité en terme de durée). Feller avait d’ailleur noté que la loi binomiale négative pouvait être vue comme une convolution de lois géométriques.
Mais je m’écarte du sujet…. J’ai reçu un mail cet après midi me demandant (je vire certaines parties pour garder la question) “la loi binomiale négative est elle additive ?”. Je comprends cette question comme la stabilité de la famille de loi par sommation: la somme de variables binomiales négatives (indépendantes) est-elle encore une loi binomiale négative ?
Notons que la loi binomiale négative est indéfiniment divisible. Mais il existe un autre résultat sur l’additivité qui nous sera encore plus utile. Liiders a montré en 1934, puis Quenouille en 1949, que la loi binomiale négative est un loi Poisson composée, lorsque les sauts sont des variables logarithmiques indépendantes (ce qui a aussi été appelé processus de Arfwedson).

où  les  sont i.i.d. de loi

La fonction génératrice est alors

où  correspond à la probabilité, et la puissance est le second paramètre.
En utilisant ce résultat, on peut en déduire que si deux variables ont le même paramètre  c’est à dire la même probabilité sous jacente, alors la loi de la somme (de deux variables indépendantes) est toujours une loi binomiale négative, dont  le paramètre sera lié à la somme de deux lois de Poisson indépendantes: ça sera donc la somme des deux autres paramètres. Aussi, si

 et 

sont deux variables indépendantes, alors

Une autre solution est de faire les calculs…(si quelqu’un veut s’y coller, je suis preneur). Enfin, si on se place dans le cas où les paramètres  sont entiers, l’interprétation en terme d’urne rend ce résultat trivial.
Remarque: on doit également obtenir la stabilité par sommation en relachant l’hypothèse d’indépendance, avec des l’indépendance conditionnellement, à condition que le paramètre de mélange (permettant d’obtenir l’indépendance conditionnelle) coïncide avec le paramètre de mélange permettant d’écrire la loi binomiale négative comme un mélange Poisonnien.
Greenwood, M., and Yule, G. U. (1920). An inquiry into the nature of frequency distributions representative of multiple happenings with particular reference to the occurrence of multiple attacks of disease or of repeated accidents, Journal of the Royal Statistical Society, Series A, 83, 255-279.
Quenouille, M. H. (1949). A relation between the logarithmic, Poisson, and negative binomial series, Biometrics, 5, 162- 164.

Delta method avec R, ou transformation des paramètres

Un petit billet aujourd’hui sur une question qui m’a été posée (et qui m’a permis de découvrir des nouvelles fonctions sous R). On suppose que l’on a un modèle économétrique de la forme

que l’on peut encore écrire

Supposons que ce soit la formulation en terme de ces derniers coefficients qui nous intéresse, et que l’on cherche un intervalle de confiance.
La Delta Method nous dit que si on dispose d’un estimateur asymptotiquement gaussien (mais c’est le cas pour la plupart des estimateurs que l’on construit en pratique), tout transformation bijective de cet estimateur reste asymptotiquement Gaussien. Bref, on va pouvoir utiliser ces résultats pour en déduire un intervalle de confiance (asymptotique) pour le nouveau paramètre. En effet, l’estimateur par moindre carrés vérifie la normalité asymptotique (sous quelques hypothèses)

ce qui donne avec les notations précédentes

Autrement dit, on peut facilement en déduire un intervalle de confiance (asymptotique). Pour cela, on a trois méthodes (au moins) avec R. Pour la suite, je vais considerer la régression sur la base de données cars (comme toujours), et on s’intéresse à l’estimation de

 

(ne me demandez pas pourquoi, il me fallait un exemple numérique, j’ai pris un truc nonlinéaire pour qu’au moins ça puisse avoir un vague intérêt).

  • En faisant un peu de calcul formel

Pour les calculs symboliques, il y a la fonction D dans le package de base,

> f <- expression(sin(cos(x + y^2)))
> ( Dfx <- D(f, "x") )
-(cos(cos(x + y^2)) * sin(x + y^2))

ce qui pourra alors être utilisé pour faire les calculs de la variance asymptotique.

> x=c(0,1,2); y=1
> eval(D.sc)
[1] -0.7216061 -0.8316919 -0.0774320

On peut également utiliser cette fonction pour faire plein de jolis dessins,

> x <-seq(-5, 5, length=100)
> fx=x^2
> Df <-D(expression(x^2), "x")
> Dfx<-eval(Df)
> plot(x, fx, type = "l", las = 1,ylim=c(-2,2))
> for (i in 1:length(x)) {
+ abline(a = fx[i] - Dfx[i] * x[i], b = Dfx[i],
+ col = rainbow(100)[i])
+ }

Mais bon, c’était juste pour rigoler un peu… On peut utiliser cette fonction pour calculer l’écart type de l’estimateur de la grandeur qui nous intéresse.

> reg1 = lm(dist~speed, data = cars)
> estmean = coef(reg1)
> estvar = summary(reg1)$cov.unscaled * summary(reg1)$sigma^2
> f = function(x,y){
+ -y/(x+y)
+ }
> X=f(estmean[1],estmean[2])
> g=expression(-y/(x+y))
> x<-as.numeric(estmean[1]); y<-as.numeric(estmean[2])
> V=eval(c(eval(D(g, "x")),eval(D(g, "y"))))
> sqrt(t(V) %*% estvar %*% V)
          [,1]
[1,] 0.1063255

Voilà pour la première méthode. Petite remarque: pour faire le calcul symbolique de la dérivée, j’utilise expression et non pas function.

  • En utilisant la fonction deltamethod de la librarie msm

Ici on commence comme avant, sauf que la phase de calcul est immédiat…

> reg2 <- lm(dist~speed, data = cars)
> estmean = coef(reg2)
> estvar = summary(reg2)$cov.unscaled * summary(reg2)$sigma^2
> deltamethod (~ -x2 / (x1 + x2), estmean, estvar) 
[1] 0.1063255

et d’ailleurs, ça peut s’appliquer pour un paramètre en dimension 2

> deltamethod (list(~ -x2 / (x1 + x2), ~ x1+x2), estmean, estvar) 
[1] 0.1063255 6.3664368

En revanche, on obtient des estimateur des écart-types, et pas de la matrice de variance-covariance des estimateurs. Autrement dit on ne peut pas en déduire l’ellipse de confiance, seulement des intervalles de confiance marginaux (en utilisant la normalité asymptotique).

  • En utilisant la fonction delta.method de librarie alr3

Pour finir, une dernière fonction. La seule chose qui change c’est la synthaxe. Mais la sortie est plus élégante,

> reg3 = lm(dist~speed, data = cars)
> delta.method(reg3, "-b1/(b1+b0)")
Functions of parameters:  expression(-b1/(b1+b0))
Estimate = 0.2881585 with se = 0.1063255

En fait, l’écart-type indiqué ici est précisément celui qui est utilisé pour écrire l’intervalle de confiance. Dans cet exemple, l’intervalle de confiance approché (car on suppose que la normalité – en théorie seulement asymptotique – est vérifiée) et estimé (car les paramètres sont inconnus et estimés) est de la forme suivant, pour un seuil de confiance à 95%

> DM=delta.method(reg3, "-b1/(b1+b0)")
Functions of parameters:  expression(-b1/(b1+b0))
Estimate = 0.2881585 with se = 0.1063255 
> DM$estimate+qt(.975,df=nrow(cars)-1)*DM$se
[1] 0.5018277
> DM$estimate+qt(.025,df=nrow(cars)-1)*DM$se
[1] 0.07448936

C’est à dire qu’on a un intervalle de confiance de la forme [0.074;0.502].