Considérons un simple jeu de pile ou face. On suppose que l’on tombe sur pile avec une probabilité  (histoire de formaliser un peu). Le but du jeu est dedeviner sur quelle face la pièce va tomber: si on devine bien, on gagne, sinon on perd. Et le but de mon billet est de comprendre quelle est la stratégie qu’il convient de mettre en œuvrer si on connaît, ou si on estime .

• Connaissance parfaite des probabilités

Supposons que l’on connaisse parfaitement . A priori deux stratégies sont possibles:

• jouer au hasard, en utilisant les différentes probabilités: on prédit pile avec probabilité  et face avec probabilité .
• ne pas jouer au hasard, et prédire la valeur la plus probable, autrement dit si , on prédit pile, sinon on prédit face (à chaque lancer si on fait plusieurs lancers consécutifs).

Notons  la variable correspondant à la valeur prise au lancer, disons 1 si on tomber sur pile et 0 sur face. Et notons  la valeur prédite. On gagne si , et la probabilité de gagner est alors

i.e. pour la première stratégie

En revanche pour la seconde, la probabilité de gagner est

Graphiquement, on peut représenter en ligne la prédiction que l’on fait, et en colonne la face obtenue. En bleu, on gagne, et en rouge on perd,

Supposons que . Considérons le polynôme , dont les racines sont  et , i.e sur ,

ou encore

i.e.

(avec une inégalité stricte si  est strictement inférieur à 1). Bref, il est toujoursplus intéressant de parier toujours la même chose (et de ne pas essayer de jouer au plus malin).

• Connaissance imparfaite des probabilités

Supposons maintenant que la probabilité  soit inconnue, mais estimable. Autrement dit, on a assisté à  lancers, on a un échantillon  et on estime la probabilité de tomber sur pile par

Comme auparavant pour la première stratégie, on utilise un générateur de nombre aléatoire  (qui tire une loi uniforme sur le segment unité), pour la prochaine valeur, on prédit

Pour la seconde stratégie

Autrement dit, si on estime que la probabilité de tomber sur pile dépasse 50%, on prédit pile, et sinon on prédit face.
On gagne si , et la probabilité de gagner est alors

Dans le premier cas, la probabilité de gagner est

dont l’espérance est  (comme auparavant). En revanche, dans le second cas, le calcul de la probabilité de gagner est

Graphiquement, on obtient, cette fois,

Si on se place au bout de 20 lancers, on obtient la courbe rouge ci-dessous pour le cas d’information imparfaite, et verte dans le cas de l’information parfaite, pour le ratio de la probabilité de gagner avec le second cas divisé par le premier cas (nous avions vu auparavant que le ratio été inférieur à 1)

à partir du code suivant

> p=seq(.5,1,by=.01)
> q=(p^2+(1-p)^2)/(p*(1-pbinom(10,20,p))+
+ (1-p)*pbinom(10,20,p))
> plot(p,q)

• Répétons le jeu plusieurs fois et apprentissage des probabilités
  

Supposons que l’on répète le jeu un certain nombre de fois, avec un apprentissage au fur et à mesure que les tirages avancent, i.e. l’algorithme s’écrit

> n=10
> p=.64
> X=sample(c("a","b"),size=100,prob=c(p,1-p),replace=TRUE)
> S1=S2=rep(NA,100)
> for(s in (n+1):100){
+ P=c(mean(X[1:(s-1)]=="a"),mean(X[1:(s-1)]=="b"))
+ S1[s]=(sample(c("a","b"),size=1,prob=P)==X[s])
+ S2[s]=(names(sort(table(X[1:s])))[2]==X[s])
+ }
> sum(S1[(n+1):100])/sum(S2[(n+1):100])

Graphiquement, si on suppose que l’on apprend sur 10 tirages (et que l’on calcule le nombre moyen de victoires sur les 90 lancers suivants), on obtient un graphique assez proche de ce que l’on avait auparavant,

I.e. comme le ratio est inférieur à 1, la seconde stratégie l’emporte toujours.
Moralité, j’ai un peu l’impression qu’il est souvent inutile d’élaborer une stratégie trop complexe, car les stratégies les plus simples permettent de gagner le plus souvent…