Tag Archives: Dirichlet

Overview on Multivariate Distributions

In June 2016, with Olivier L’Haridon, we will organize a (small) conference, in Rennes, on risk models in a multi-attribute framework. In order to fully enjoy the workshop (more to come on the blog), we will organize every month an internal workshop on that topic. We will start tomorrow afternoon, 13:00-14:30, and I will give a brief talk on multivariate distributions, with an emphasis on spherical / elliptical distributions, distributions on the simplex, and copulas. Slides are now online,

Sondages et probabilités en trois graphiques

Petite précision liminaire: je suis nul en sondage. Je n’ai jamais rien compris aux sondages. C’est la matière où j’ai eu ma pire note quand j’étais étudiant. Mais si on voit un sondage comme l’estimation d’une probabilité de succès, dans des tirages de lois binomiales (ou multinomiales), alors je me sens plus à l’aise pour commenter des choses lues ici ou là. Car en ces temps d’élections (qui approchent), on lit beaucoup de choses sur les sondages ou sur les intervalles de confiance des sondages, voire sur des comparaison de sondages… mais rares sont les justifications. Donc on va creuser un peu (histoire de voir ce qui peut être dit, dans un cadre largement simplifié).

  • “Il y a 1 chance sur 4 qu’un sondage donne une variation d’un point en + ou en – sur une proportion inchangée”

comme le disait @adelaigue (sur Twitter). Faire un sondage politique (si on résume simplement) c’est estimer la probabilité https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic01.gif de voter pour A, sachant que l’on a alors une probabilité https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic02.gif pour qu’une personne prise au hasard ne vote par pour A. Sur https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic03.gif personnes interrogées, le nombre de personnes qui déclarera voter pour A est https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic04.gif, qui suit une loi binomiale de paramètres https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic03.gif et https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic01.gif. Or par approximation (ou convergence) de la loi binomiale par une loi Gaussienne, on peut dire que

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic05.gif

Or l’estimateur naturel de https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic01.gif est https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic06.gif, i.e.

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic07.gif

Aussi, on en déduit l’intervalle de confiance classique, tel que https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic01.gif appartient à cet intervalle avec une probabilité https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic11.gif,

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic08.gif

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic12.gif désigne la fonction quantile de la loi normale centrée réduite; ou encore, en remplaçant les quantités inconnues par des estimateurs,

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic09.gif

Les bornes de l’intervalle de confiance de niveau https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic11.gif sont alors

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic10.gif

C’est ce qu’on peut visualiser sur la figure ci-dessous,

Comme le notait @adelaigue, si on souhaite avoir

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic13.gif

(car on parle d’un point de base 100), il faudrait que

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic14.gif

Classiquement, https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic03.gif est aux alentours de 1000. Et ce qu’on cherche c’est une probabilité d’appartenir à un intervalle, i.e. https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic11.gif,

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adi15.gif

Graphiquement, en fonction de https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic01.gif on a alors

p=seq(0,1,by=.0025)
plot(p,2*(1-pnorm(.01/sqrt(p*(1-p)/1000))))

(ca sera notre premier graphique). Effectivement, entre 35% et 65%, il y a environ 50% de chances d’être autour de la fréquence observée, à un point près. Ou 50% de chances d’avoir plus d’un point de différence. Autrement dit, si on a observé avec 1000 personnes une fréquence de 40%, il y a une chance sur 4 que la probabilité soit entre 39% et 40%, une chance sur 4 qu’elle soit entre 40% et 41%, et surtout une chance sur 4 qu’elle soit inférieure à 39%, et 1 chance sur 4 qu’elle soit supérieure à 41%. Comme le notait @adelaigue, sur les bords, il semble que la formule ne soit pas valide. Mais si on prend justement les cas limites (probabilité très proche de 0, voire franchement nulle), est-ce qu’on peut dire quelque-chose ?

  • peut-on dire quelque chose (malgré tout) quand on ne peut rien dire ?

ou plus précisément, si en interrogeant https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic03.gif personnes et que personne n’a déclaré vouloir voter pour A, quelle serait l’intervalle de confiance de la probabilité de voter pour A ? J’avais évoqué ce point dans un très vieux billet. La première piste est la réponse apporté par Pearson-Clopper (Pearson & Clopper (1934)), basée sur l’utilisation de la loi binomiale, et non plus d’une approximation.

library(Hmisc)
bornesup=function(N){ binom.test(x=0, n=N, p = 0,
alternative="less")$conf.int[2]*100 }
BS=Vectorize(bornesup)
vn=seq(10,500,by=10)
plot(vn,BS(vn))

Une alternative est de faire du bayésien. On utilise le fait que la loi conjuguée de la loi binomiale est la loi beta (comme évoqué dans des précédents billets). Si on suppose que la loi a priori de https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic01.gifest une loi alors la loi a posteriori, sachant que sur https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic03.gif lancés, on n’a observé que des 0, devient

bornesup=function(N){ qbeta(.95,1,1+N)*100 }
BS=Vectorize(bornesup)
lines(vn,BS(vn),lwd=2,col="blue")

La courbe ci-dessus correspond au calcul dans le cas du modèle de Pearson-Clopper, en rouge, et avec le quantile de la loi Beta en bleu (qui sont confondues sur ce graphique). Autrement dit, avec 300 personnes interrogées, si aucune ne dit vouloir voter pour A, l’intervalle de confiance pour https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2015/12/adic01.gif est [0%;1%] (environ). Ca sera notre second graphique.

  • si on a trois alternatives, quelles sont les vraies probabilités de gagner ?

c’était déjà sur cette question que je concluais mon précédant billet, mais il est possible d’exploiter davantage cette idée de modèle bayésien avec un a priori suivant une loi beta (comme au dessus) ou de Dirichlet (si on a plus de deux alternatives). La première chose que l’on peut noter, c’est que s’il y a trois alternatives (A, B et C), et que la probabilité de voter pour A est 40%, la probabilité que A gagne… dépend des autres probabilités. On ne peut pas faire comme si A était seul, contre tous les autres:
– si les probabilités de voter pour B et C sont de l’ordre de 30%, on se dit que A a de fortes chances de gagner (oui, pour l’instant ce n’est pas très quantitatif).
– si les probabilités de voter pour B et C sont respectivement 55% et 5%, alors on se dit que A a de faibles chances de gagner.
Plus précisément, si on souhaite savoir si A va l’emporter ou pas, et que 200 personnes ont été interrogées, on peut essayer de faire une abaque, avec des courbes de niveau… dans le simplexe. Pour rappel, les scores obtenus par A, B et C se lisent sur le triangle ci-dessous (le point représenté correspond au triplet (40%,35%,25%))

Les probabilités sont les suivantes, avec n=200 (personnes qui se seraient exprimés)

où la région rouge correspond à une (quasi) certitude de gagner, pour A, et la région blanche, au contraire, une probabilité infinitésimale de gagner.

Ces résultats ont été obtenus par simulation,
vx=v[i]
vz=v[j]
vy=1-vz-vx
alpha=c(vx,vy,vz)
alpha=c(alpha,1-sum(alpha))*200
RD=rdirichlet(ns, alpha)
PROBA[i,j]=mean(RD[,1]>=apply(
cbind(RD[,3],RD[,2]),1,max))

Pour ceux que ne sont pas très à l’aise avec les excursions dans le simplexe, on peut se ramener dans un repère orthonormé. Ici, les scores obtenus par A et B se lisent sur le triangle ci-dessous (le point représenté correspond au triplet (40%,35%,25%), le même qu’auparavant

On a alors les probabilités de gagner suivantes, avec à droite la représentation sur le simplexe, en zoomant autour de notre triplet,

 

(ça sera le troisième et dernier graph). Si on regarde plus en détails, l’intervalle de confiance sur la probabilité de gagner dépend de la région où on se trouve dans le simplexe (un peu comme l’intervalle de confiance dépendait de la probabilité de l’emporter, dans la première partie de ce billet).

Maintenant, comme le rappelait @Christian dans un commentaire, tout cela est la version très simpliste de la pratique des sondages. Dans les vrais sondages (et pas des exercices de probabilités comme on vient d’en faire ici), on utilise des quotas, on fait du redessement, et c’est beaucoup plus complexe (enfin… c’est ce que j’essaye de me dire, pour me convaincre que la mauvaise note que j’avais obtenue lorsque j’étais étudiant était motivée).

the Dirichlet distribution

In the course, since we are still introducing some concepts of dependent distributions, we will talk about the Dirichlet distribution, which is a distribution over the simplex of https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri11.gif. Let https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri01.gif denote the Gamma distribution with density (on https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri03.gif)

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri02.gif

Let https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri04.gif denote independent https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri05.gif random variables, with https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri06.gif. Then https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri07.gif where

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri08.gif

has a Dirichlet distribution with parameter

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri09.gif

Note that https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri10.gif has a distribution in the simplex of https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri11.gif,

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri40.gif

and has density

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri12.gif

We will write https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri13.gif.

The density for different values of https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri20.gif can be visualized below, e.g. https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri21.gif, with some kind of symmetry,
https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/dirichlet222.gif
or https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri22.gif and https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri23.gif, below
https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/dirichlet522.gif
and finally, below, https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri24.gif


Note that marginal distributions are also Dirichlet, in the sense that if

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri13.gif

then

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri14.gif

if https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri15.gif, and if https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri16.gif, then https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri17.gif‘s have Beta distributions,

https://f-origin.hypotheses.org/wp-content/blogs.dir/253/files/2017/07/diri18.gif

See Devroye (1986) section XI.4, or Frigyik, Kapila & Gupta (2010) .This distribution might also be called multivariate Beta distribution. In R, this function can be used as follows

> library(MCMCpack)
> alpha=c(2,2,5)
> x=seq(0,1,by=.05)
> vx=rep(x,length(x))
> vy=rep(x,each=length(x))
> vz=1-x-vy
> V=cbind(vx,vy,vz)
> D=ddirichlet(V, alpha)
> persp(x,x,matrix(D,length(x),length(x))

(to plot the density, as figures above). Note that we will come back on that distribution later on so-called Liouville copulas (see also Gupta & Richards (1986)).