# Bayes is playing Russian roulette

There was (once again) a nice puzzle inhttp://www.futilitycloset.com/. Bayes and a good friend are playing Russian roulette. The revolver has six chambers. He puts two bullets in two adjacent chambers, spin the cylinder, hold the gun to his friend’s head, and pull the trigger. It clicks. So it is now Bayes’s turn: he can choose either to spin the cylinder again or leave it as it is. Which is better? Hopefully, Bayes knows his theorem: if he does spin it, the probability of getting killed is 2 out of 6 (four empty chambers out of six), but if he does not, since his friend is still alive, then the hammer should be next to one of the four cylinders in red, below

So here, there is 3 chance out of 4 to survive, i.e. the probability of getting killed is 1 out of 4 (while it was 1 out of 3 when spinning). So Bayes should not spin. And as always, it is possible to see it is a more general result: more generally, in a revolver with  chambers, it there are  bullets in  adjacent chambers,  if the first player survives, the probability of getting killed is k over , when spinning, while it would be 1 over  if we don’t. Not spinning is better if and only if

i.e.

So you’d better not spin, unless there was one bullet in the revolver, i.e. … or  (in that case, it might not be a good idea actually to play the game).

# Proving tautological versus trivial results in mathematics

There is something that might be fun in mathematics, which is the connexion between trivial, tautological and difficult questions. Sometimes, things are so intuitive, that they seem to be obvious. But mathematicians aren’t jedis, and they should not trust too much their intuition… I mean intuition is fine, but it is not a proof. It is like those standard results we learn in topology courses, e.g. “the closure of an open ball is not necessarily the closed ball”. The other thing is that after a while, you try to prove something, until someone makes you realize that it is the definition…

And this morning, while I was trying to make a coffee, @renaudjf came with a simple question (yes, it always starts like that). Consider the standard algorithm to generate a conditional random variable. Assume that  has a priori distribution , and that , given , has (conditional) distribution .

The standard idea is monte carlo simulation, to generate values of , is
•  step 1: generate
•  step 2: given that generation of , generate
“Can we prove that we actually generate from the (true, maybe hard to characterize) non-conditional distribution of  ? Or is it just trivial ?”. After having those previous philosophical questions, we came to the point that if it was trivial, then we should be able to prove it. A standard way of writing the algorithm is to use the quantile based technique
•   with ,
•   with ,
For instance, to generate negative binomial distribution
n=1
theta=rgama(n,3,3)
X=rpois(n,lambda=theta)
Thus, let  where  and  are two independent random variables with a uniform distribution on the unit interval. Let us try to derive its distribution, i.e.
so
if we consider the following change of variate
which is exactly the non-conditional distribution of .
And then, you’re quite happy because you’ve been able to prove a trivial result ! But next time, I promise, we’ll try to derive an amazing theorem that will change humanity… but next time only, first, let us prove trivial results.

# 25% ? sérieusemement, vous y croyez ?

(pour reprendre les statistiques postées par @guybirenbaum l’autre jour)

Réfléchissons deux minutes (ou un peu plus, c’est ce qu’on a fait ce midi avec @J_P_Boucher). On vous interroge sur un sondage: si vous croyez aux sondages, vous le dites. Mais si vous n’y croyez pas… vous répondez n’importe quoi (sinon c’est que vous y croyez, non ?). Bon essayons de formaliser ça afin de mieux comprendre… Soit $X$ la réponse donnée, et $Y$ la vérité (ce que pense vraiment la personne interrogée). On sait que

$\mathbb{P}(X=C)=1-\mathbb{P}(X=CP)=\frac{1}{4}$

Mais ce qu’on veut calculer, c’est $p= \mathbb{P}(Y=C)$, la probabilité qu’une personne y croit vraiment aux sondages. Pour ça, on sait que

$\mathbb{P}(X=C)=\mathbb{P}(X=C|Y=C)\cdot \mathbb{P}(Y=C)$

$+\mathbb{P}(X=C|Y=CP)\cdot \mathbb{P}(Y=CP)$

Pour le premier terme, une personne qui y croit le dira (sinon c’est qu’elle n’y croit pas), donc $\mathbb{P}(X=C|Y=C)=1$. Par contre, une personne qui n’y croit pas peut dire n’importe quoi. Disons que $\mathbb{P}(X=C|Y=CP)$ vaut $\alpha$. Dans ce cas

$\frac{1}{4}=p+\alpha(1-p)$

ou encore

$p=\frac{1/4-\alpha}{1-\alpha}$

Supposons par exemple qu’une petite proportion des personnes qui n’y croient pas disent y croire, disons 10%. Dans ce cas, la vraie probabilité qu’une personne croit au sondage serait plutôt 16%. Si $\alpha$ était un peu plus grand (25%), on serait juste tombé sur la proportion des rigolos qui répondent n’importe quoi aux sondages, car personne n’y croit !

# Probabilité et contre-intuition

Je suis tombé un peu par hasard sur un vieux papier de Peter Enis, Enis (1973), qui revient sur une relation que l’on prend toujours pour acquis (moi le premier) à savoir . Mais il faut des hypothèses complémentaires pour que cette relation soit vraie. Le fait que  existe par exemple ne suffit pas ! (je laisse les amateurs de résultats contre-intuitifs le temps de réfléchir à cette affirmation)

Supposons par exemple que , conditionnellement à , suive une loi normale centrée, d’écart-type ,

où  est une variable (strictement) positive. Presque sûrement quelle que soit la loi de . Et donc . Mais si la loi de  présente des queues “trop épaisses” (sans pour autant être extrême pour autant d’ailleurs), il est fort possible que  ne soit plus intégrable ! Par exemple (c’est ce que propose Enis (1973)), on peut supposer que  suit une loi Gamma de paramètres 1/2 et 2, i.e. de densité

Dans ce cas,  suit une loi de Cauchy, qui n’est pas d’espérance finie. C’est pénible, hein ?

Bon, d’un autre côté, c’est très lié à la définition de l’espérance conditionnelle retenue. En l’occurrence, j’utilisais l’espérance de la loi conditionnelle. Mais je ferais peut être un billet un jour sur les diverses constructions de l’espérance conditionnelle.

# Quand peu d’information donne énormément d’information

Une petite histoire empruntée à Alfred (et Nicolas1) suite au repas de mardi, à l’X. Un explorateur débarque un jour sur une petite île, perdue au milieu des mers. Cette île est un peu particulière: elle est peuplée de personnes ayant soit les yeux bleu, soit les yeux noirs (et tout le monde sait qu’il n’y a pas d’autre alternative). Et sous aucun prétexte personne ne doit connaître la couleur de ses propres yeux, sinon la légende dit qu’il doit se suicider avant le coucher du soleil (du jour où il l’apprend). Et s’ils ne le font pas, ils se retrouvent maudit jusqu’à la huitième génération. Cette île vivait en parfaite harmonie depuis plusieurs siècles, lorsque un explorateur débarqua. Il y avait alors 60 habitants sur cette île.

Bref, comme le veut la coutume, notre explorateur doit tenir un discours devant ses hôtes. Ne sachant trop que dire, il ne trouve rien d’autre à dire que de s’étonner de voir à l’autre bout du monde un île avec des habitants aux yeux bleus comme les siens (la légende lui avait racontée auparavant, de manière à éviter toute gaffe).
Deux mois plus tard, tous les habitants de l’île sont morts !
Quoi de plus étrange n’est-ce pas… ? Il n’a pourtant pas dit grand chose, si ce n’est une trivialité, à savoir qu’il y a des personnes aux yeux bleus sur l’île (ce que tout le monde devait savoir car s’ils ne connaissaient pas leur propre couleur d’yeux, ils pouvaient observer celle des autres). Pourtant cette micro-information semble avoir suffit à ce que les habitants en déduisent la couleur de leurs yeux !
En effet, le lendemain du discours, tout le monde s’est fait la réflexion suivante “d’après le discours de l’explorateur, il y a au moins une personne aux yeux bleus sur l’île. Or s’il était seul, il se serait rendu compte que tout le monde a des yeux noirs, et donc il aurait du se suicider dans la nuit. S’il ne s’est rien passé, c’est qu’il y a au moins deux personnes dans l’île avec des yeux bleu. Si quelqu’un s’est suicidé, c’est que j’ai les yeux noirs, et je dois me suicider avant le coucher du soleil“. Le deuxième jour, si tout le monde est encore en vie, tout le monde se fait la réflexion suivante “comme personne ne s’est suicidé, il y a au moins deux personnes aux yeux bleus sur l’île. Mais s’ils n’étaient que deux, chacun devrait penser que l’autre est le seul, et donc maintenant il sait qu’il est le second. Ils aurait du se suicider dans la nuit. S’il ne s’est rien passé, c’est qu’il y a au moins trois personnes dans l’île avec des yeux bleu. Si deux personnes se sont suicidé, c’est que j’ai les yeux noirs, et je dois me suicider avant le coucher du soleil“. Etc (je dois continuer ?). Bref, au plus tard, on arrive 60 jours après le discours du navigateur, et si tout le monde est encore en vie, c’est que  tout le monde se fait la réflexion suivante “comme personne ne s’est suicidé, il y a au moins soixante personnes aux yeux bleus sur l’île, c’est à dire que tout le monde a les yeux bleu. Je dois donc me suicider ce soir“.
Pourtant l’explorateur n’a pas franchement donné d’information… et pourtant cette information a suffi à décimer l’île ! Étonnant non ?
1 Nicolas avait raconté une version beaucoup plus connue, que l’on peut retrouvé dans tous les classiques sur les énigmes sous le titre des cocus de Bagdad. L’histoire est assez proche, avec un calife à Bagdad qui, jugeant immoral l’adultère dicte une loi qui stipule que toute femme convaincue d’adultère sera étranglée par son propre mari le lendemain matin même de la découverte par le  mari de la faute. Il faut ajouter que tous les maris voient si leurs voisins sont cocus ou pas, mais ils sont incapables de voir si leur femme les trompe… Et le calife a eu la mauvaise idée de dire que certains hommes étaient cocus… moralité, au bout de quelques jours toutes les femmes qui ont trompé leur mari finissent égorgées. Moralité, il n’y a pas besoin de beaucoup d’information pour agir de manière efficiente…

# Hasard et uniformité, le paradoxe des enveloppes

Suite au billet de ce matin sur la loi de Benford, et sur l’erreur commune consistant à assimiler hasard et uniformité, Mathieu Rosenbaum m’a rappelé un petit paradoxe que je donnais quand je faisais la formation au concours Administrateur de l’INSEE. C’est parfois appelé le paradoxe des deux enveloppes: “Deux enveloppes contiennent chacune un chèque. On sait que l’un des chèques porte un montant double de l’autre. Le candidat choisit une des enveloppes. On lui donne la possibilité d’ouvrir l’enveloppe et de regarde le chèque, puis on lui demande s’il souhaite changer d’enveloppe. Que fait-il ?“.

Essayons de raisonner…Supposons qu’il tombe sur un chèque d’un montant X en ouvrant. Il y a deux cas possibles :

• une chance sur deux que l’autre enveloppe contienne un chèque deux fois plus important (donc de valeur 2X);
• une chance sur deux que l’autre enveloppe contienne un chèque deux fois plus petit (donc de valeur X/2).

L’espérance de gain (si on oublie l’utilité et les aspects économiques du problème) si on change d’enveloppe paraît donc être 0,5 * 2X + 0,5 * X/ 2, soit 1,25X, qui est (strictement) supérieur à X. Il faudrait donc à tout coup changer d’enveloppe. Moralité, quel que soit le montant, on a toujours intérêt à changer…. “Étonnant, non ?“. Il était d’ailleurs inutile de regarder le montant… et tant qu’à faire, si la stratégie optimale est de toujours changer d’enveloppe, pourquoi ne pas l’avoir fait plus tôt… Dès qu’on veut prendre une enveloppe, il faut prendre l’autre… enfin non, l’autre, enfin,…. bref, que fait-on ?

Il y a plein d’explications de ce paradoxe, ici par exemple. Personnellement, je retiendrais celle qui est liée à ce que je racontais sur la loi de Benford… Quand on fait le calcul des probabilités, prendre 1/2 et 1/2, c’est suppose que P(2X)=P(X/2)… et ce quel que soit X… autrement dit, on prend une loi uniforme sur l’ensemble des réels positifs (ou des entiers positifs si on suppose que le chèque est un compte rond). Mais une telle mesure de probabilité n’existe pas…

[20/03/2009] Sur le paradoxe des enveloppes et plusieurs autres “phénomènes curieux en probabilités et statistiques” je renvoie vers un cours article de Michel Emery, ici.