Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Pauvres américains

Pendant nos vacances dans l’Aubrac avec des amis, Christian avait acheté Libé, et machinalement, j’ai entrepris de le survoler le lendemain matin (en sirotant mon café). Je suis tombé sur le paragraphe suivant qui a retenu mon attention pendant plusieurs jours…

L’auteur n’est pas n’importe qui, puisqu’il s’agit de Kenneth Rogoff (ici), grand spécialiste de l’économie américaine. Relisons la phrase afin de mieux comprendre ce qu’il dit: pour “25% des propriétaires immobiliers aux États-Unis” […] “la valeur de leur maison serait inférieure à leur crédit immobilier” 1. Je me permettrais de réécrire la phrase sous la forme suivante “pour un quart des propriétaires immobiliers américains n’ayant pas fini de rembourser leur crédit, la vente de leur maison ne leur permettrait pas de rembourser leur crédit” (c’est en tous les cas comme ça que je la comprends).
Cette petite phrase pourrait être intéressante, En tous les cas, elle semble importante dans l’argumentation visant à expliquer que les américains sont beaucoup trop endettés2. Mais 25%, en quoi est-ce vraiment exceptionnel ou incroyable voire inquiétant ? C’est quoi le pourcentage acceptable ou normal que l’on s’attendrait à avoir ?
N’ayant pas de statistiques sur le sujet, faisons des calculs.

  • un peu de calcul d’actualisation de crédits

Car intuitivement, si un acheteur emprunte avec un faible apport, et sur une longue durée, son crédit va lui coûter cher, éventuellement plus cher que la maison. Au moins au début. Car avec le temps, la valeur du crédit diminue, alors que le prix de la maison, habituellement, augmente.
Considérons une maison de valeur 1 (a l’achat, histoire de simplifier, et de raisonner en pourcentage pour l’apport initial, par exemple). On dispose d’un capital initial http://freakonometrics.blog.free.fr/public/perso3/credit-03.gif (correspondant à l’apport), on contracte un crédit pour une durée http://freakonometrics.blog.free.fr/public/perso3/credit-02.gif, et on suppose que le taux pour le crédit est http://freakonometrics.blog.free.fr/public/perso3/credit-04.gif, et que le taux d’inflation est http://freakonometrics.blog.free.fr/public/perso3/credit-06.gif (la valeur de la maison peut augmenter dans le temps, mais aussi éventuellement baisser si la valeur de http://freakonometrics.blog.free.fr/public/perso3/credit-06.gif est négative). A la date http://freakonometrics.blog.free.fr/public/perso3/credit-01.gif, à son actif, le propriétaire possède la maison, d’une valeur http://freakonometrics.blog.free.fr/public/perso3/credit-09.gif (ce qu’il touche s’il revend la maison, si l’on oublie les frais associés); et au passif, il doit rembourser à la banque un montant http://freakonometrics.blog.free.fr/public/perso3/credit-08.gif, où http://freakonometrics.blog.free.fr/public/perso3/credit-07.gif est le montant des remboursement effectues tous les ans, i.e. solution de

http://freakonometrics.blog.free.fr/public/perso3/credit-11.gif

Si on veut faire les choses proprement, il faudrait intégrer les frais de notaire (disons 7% de la valeur de la maison), ici notés http://freakonometrics.blog.free.fr/public/perso3/credit-10.gif,

http://freakonometrics.blog.free.fr/public/perso3/credit-12.gif

La valeur de la maison est inférieure à la valeur du crédit si

http://freakonometrics.blog.free.fr/public/perso3/credit-13.gif

(les frais de notaires étant payés à l’achat comme on l’évoquait auparavant, mais aussi en cas de revente3). On peut faire le calcul facilement, sous R,

valeur = function(t,T,a,r=.05,i=0,delta=.07){
k=(1-a+delta)/sum(1/(1+r)^(0:(T-1)))
s=(1+i)^t
v=(T-t)*k
return(c(s*(1-delta),v))}

Par exemple, si http://freakonometrics.blog.free.fr/public/perso3/credit-01.gif est nul, on compare la valeur du crédit à la valeur de la maison au moment de l’achat. Pour quelqu’un ayant un apport de 25%, prenant un crédit avec 20 échéances (sur 20 ans) que l’on commence à rembourser le jour de la signature, la valeur de son crédit (sur une somme empruntée de 0.75) est de 1.2533, environ, si le taux de crédit est de l’ordre de 5%. C’est plus que la valeur (brute) de la maison (ici 1), voire beaucoup plus que ce que rapporterait la revente la maison, qui rapporterait 0.93, ce qui ne lui permet pas de rembourser le crédit….

> valeur(0,20,.25,.05,0)
[1] 0.9300 1.2533

Sur la même durée, vu après la 5ieme échéance (i.e. au bout de 25% des échéances) avec toujours un apport initial de 25%, la valeur du crédit restant à payer à la banque est de l’ordre de 0.94, c’est à dire à peu de choses près, la valeur de revente de la maison s’il n’y a pas d’inflation (ou de perte de valeur du bien immobilier).

> valeur(5,20,.25,.05,0)
[1] 0.9300000 0.9399846

Autrement dit, dans un monde avec une inflation nulle, avec des cohortes d’acheteurs constantes dans le temps, qui prendraient des crédits de 20 ans avec un apport de 25% de la valeur de la maison, 25% des emprunteurs ont, en moyenne, un crédit à rembourser supérieur à la valeur de revente de leur maison, comme le dit l’article. Cette proportion augment

  • quand les taux d’emprunt augmentent
  • quand la durée des emprunts augmente
  • quand l’apport initial diminue

Mais on peut essayer de visualiser tout ça,

  • visualisation des valeurs du crédit, et de la maison
dessin=fonction(T=20,a=.333,r=.05,i=.02,delta=.07){
S=V=rep(NA,T)
for(j in 1:T){
S[j]=valeur(j-1,T,a,r,i)[1]
V[j]=valeur(j-1,T,a,r,i)[2]}
YL=range(S,V)
plot(1:T-.5,V,type="b",col="red",ylim=YL)
lines(1:T-.5,S,col="blue",type="b")
}

Comme on le voit sur le dessin ci-dessous, la proportion des acheteurs dont la valeur du crédit excède la valeur de la maison est d’environ 20% (même avec un apport non négligeable, ici un tiers, et une inflation non nulle, ici 2%). On le voit sur le graphique ci-dessous, avec en bleu la valeur de la maison, et en rouge, la valeur du crédit,

On peut d’ailleurs faire varier les différents paramètres, comme le taux d’emprunt, avec une baisse (passant de 5% à 3%),

ou avec une hausse (passant de 5% à 7%),

On peut aussi faire varier l’apport initial (passant à 50%),

On peut enfin supprimer l’inflation, et supposer que le prix de la maison n’augmente pas vraiment…

Moralité? 25% semble effectivement important, trop important (pour une économie en bonne santé). Mais il ne faut pas se leurrer, car un pourcentage raisonnable (ou viable) semblerait être davantage aux alentours de 15% que de 0%.

  • du crédit immobilier au crédit automobile

Et cela dit, 25% serait un pourcentage relativement faible si on regardait non pas les crédit immobiliers, mais les crédit automobiles. Car par rapport à la situation précédente, on est dans un cas où les taux sont élevés, et où la valeur du bien ne cesse de se dégrader. Par contre la durée est souvent plus courte. Une déflation de 10% n’est peut-être pas la meilleure modélisation qui soit de la perte de valeur du véhicule, mais en première approximation, ça devrait convenir,,,
Graphiquement, on a

Bref, dans le cas du crédit auto (où l’acheteur achèterait intégralement à crédit), dans une situation normale entre 70% et 80% des acheteurs de voiture à crédit sont dans une situation où la revente de leur voiture ne permettrait pas de rembourser leur crédit… Ne faudrait-il pas s’en inquiéter également ? Acheter à crédit un bien dont la valeur ne cesse de baisser, n’est-ce pas dangereux ?

1 au début de l’été, en discutant avec des couples d’amis, dont deux venaient d’avoir des postes de profs à l’autre bout de la France (et qui devaient revendre leur maison), j’ai été surpris de voir que quand ils parlaient de “ne pas perdre d’argent lors de la revente“, ils valorisaient la maison à partir du prix initial, auquel ils ajoutaient les frais de notaires, mais oubliaient le coût du crédit.
2 je me contenterais ici de discuter ce chiffre de 25%, et non pas de savoir si c’est grave que la revente de la maison ne permette pas de rembourser le crédit.
3 je préfère prendre en compte ces frais, car sinon, comme je l’avais déjà évoqué ici, l’achat d’une maison semble toujours une opération gagnante.

Erratum to the paper on heatwave modelling

An erratum to the paper published on heatwave modelling should appear soon, on http://link.springer.com/article/…

In my article, On the return period of the 2003 heat wave, the sentence “summer of2003 was by far the hottest summer since 1500” is wrongly attributed to ‘Luterbacher et al. (2003)’. My probable intent was to cite Casty et al. (2005) which actually states “the years 1994, 2000, 2002 and particularly 2003 were the warmest since 1500”. Note that a similar statement can also be found in Stott et al. (2004), “The summer of 2003 was probably the hottest in Europe since at latest ad 1500”.

Regarding the statement (in reference to Luterbacher et al., which was actually published in 2004) that “their estimate of the return period of that event is 250 years”, the attribution again is incorrect. Such an estimate can be found in Brown et al. (2005), “best estimate of a 1 in 250 year event” or Lowe et al. (2004) “the same event is likely to occur much more frequently; most likely, once every 250 years”, among others.
I regret these inappropriate attributions and inadequate referencing.
  • Brown S, Stott P, Clark R, Temperature Extremes (2011) the Past and the Future. Hadley Centre for Climate Prediction and Research Working Paper. [online http://stabilisation.metoffice.com/…]
  • Casty C, Wanner H, Luterbacher J, Esper J, Böhm R (2005) Temperature and precipitation variability in the European Alps since 1500. Int J Climatol 25(14):1855–1880, 30 November 2005 CrossRef
  • Lowe J, Smith F, Jenkins G, Pope V (2004) Uncertainty, risk and dangerous climate change. Hadley Centre [online http://cedadocs.badc.rl.ac.uk/247/
  • Luterbacher J, Dietrich D, Xoplaki E, Grosjean M, Wanner H (2004) European seasonal and annual temperature variability, trends, and extremes since 1500. Science 303:1499–1503 CrossRef
  • Stott PA, Stone DA, Allen MR (2004) Human contribution to the European heatwave of 2003. Nature 432:610–614 (2 December 2004) CrossRef

Comparer des notes entre pays

A Montréal, l’an passé, le principal souvenir que je garderai de mon cours est le mal que j’ai eu à comprendre comment mettre des notes. Je ne ferais pas un billet sur la difficulté à évaluer le niveau d’un étudiant (car j’ai toujours détesté les examens, aussi bien en tant qu’étudiant que prof), mais j’ai une une réelle difficulté à comprendre ce que vaut une note… Par exemple, un C, ça correspond à quoi (avec mon référentiel de prof français) ? C’est bien ou pas ? C’est quoi la moyenne ?
La seule information dont on dispose pour mettre les notes est le tableau ci-contre. Et autant je pense voir ce qu’est un travail “excellent“, ou “faible“, mais “passable” ? Car le tableau me dit qu’un élève qui a 50 sur 100 a une note passable, ce qui est aussi la référence que l’on utilise en France. Sauf que les élèves ont commence à me dire que 50, c’est pas terrible… qu’une note moyenne ici c’était plutôt 60, voire 65. Bref, sous-entendu (voire entendu, tout court), “monsieur, vous devez remonter les notes“. Et comme je l’ai prouve ici, il ne faut jamais croire les élèves…
Et effectivement, dans un vieux rapport datant des années 90 (en maths et informatiques), je suis tombé sur le graphique suivant
qui donne la distribution “typique” des notes. Autrement dit, la médiane est à 63,ce qui signifie que plus de moitie a une note qui est “bien“,”très bien” voire “excellent“. En revanche, une distribution comme celle dessous est considérée comme “dure et discriminatoire
Pour mieux comprendre les notations au Canada et en France, j’ai voulu faire une petite étude (non, je ne reviendrai pas sur les notes). On continue aujourd’hui àtrouver ce genre de distribution à Montréal. Par exemple, si on considère les cours, analyse (en première année), algèbre linéaire et calcul, on a les histogrammes suivants

ce qui donne le boxplot suivant

i.e. pour les cours algèbre linéaire et calcul on est effectivement sur des moyennes autour de 60. Prenons maintenant, a titre de comparaison, des cours de maths, dans une université française, en l’occurrence a Rennes, comme analyse (en première année), arithmétique et algèbre linéaire, on a des histogrammes beaucoup plus plats,

A titre de comparaison, j’ai été voir du cote du département de Sciences Économiques, avec macroéconomie, microéconomie et mathématiques appliquées, on a

i.e. on retrouve de belles gaussiennes pour les cours d’économie, mais une distribution assez différente pour le cours de maths,

On a effectivement des distributions assez différentes, généralement, en première année à l’université, entre le Canada et la France. Ce qui explique que les profs, lorsque les étudiants souhaitent passer d’un pays a l’autre ne regarde plus vraiment les notes, mais plus le rang de l’étudiant au sein de sa promotion. D’ailleurs, si on fait un graphique quantile-quantile, avec les cours de maths à Montréal versus les cours de maths a Rennes, on a le graphique suivant

autrement dit, une note de 50 à Montréal correspond à 33 en France (soit 6.5 sur 20), alors que 50 en France (10 sur 20) correspond a 59 à Montréal. On retrouve la encore le fait qu’une note médiane correspond à 60 ici… c’est a dire un C. Il va falloir que je m’adapte l’année prochaine….

Comments

De la créativité des gangsters

Pendant mon séjour récent en Nouvelle Angleterre, j’ai survolé le livre de Leonard Mlodinow, the drunkard’s walk. Et au hasard de mes lectures, je suis tombé sur la petite histoire suivante

Autrement dit, en utilisant les cinq derniers chiffres d’une quantité économique comme le us treasury balance, on aurait un générateur de nombre aléatoire…
Par contre la suite est un peu plus surprenante,


http://freakonometrics.hypotheses.org/files/2015/12/sammy.gifLa loi de Benford (que j’avais pu évoquer ici ou ) parle des premiers chiffres, mais cette fois on parle deslast five digits. Donc visiblement l’évoquation n’est pas pertinente ici. Mais qui sait ? Ca reste malgré tout une histoire intéressante. Considérons – histoire de tester cette légende – les deux sources de données suivantes,http://treasurydirect.gov/ et http://economagic.com/. Sur ce dernier site, un petit travail de mise en forme des données est nécessaire.

b1=read.table("http://freakonometrics.free.fr/debtus1.txt",
   header=TRUE,sep="\t")
b2=read.table("http://freakonometrics.free.fr/debtus2.txt",
   header=TRUE)
X1=as.character(b1$Dollar.Amount)
n1=nchar(X1)
Y1=substr(X1,n1-8,n1-3)
X1=as.numeric(substr(Y1,1,2))*1000+as.numeric(substr(Y1,4,6))
x=X1/100000
X2=b2$DEBT
Y2=trunc(as.numeric(X2))
X2=as.character(Y2)
n2=nchar(X2)
Y2=substr(X2,n2-4,n2)
y=as.numeric(Y2)/100000
y=y[y<1]

Pour rappel, un générateur aléatoire (standard) vérifie deux propriétés importantes

  • les nombres doivent être tirés suivant une loi uniforme sur [0,1], i.e. ici, si on divise les nombres à 5 chiffres par 10000,
  • les tirages doivent être indépendants entre eux.

La première propriété semble assez naturelle, et correspond à l’histoire racontée dans un commentaire posté ici (expliquant comment un casino avait été au bord de la faillite car une roulette faisait sortir certains chiffres trop souvent, et j’essayais de comprendre comment utiliser l’information qu’un chiffre sort plus souvent). La seconde est probablement encore plus importante.

  • Visualisation de la distribution

La première idée est de visualiser la densité de nos séries de chiffres. Pour éviter les problèmes de bord (et comme c’est juste en introduction) on va utiliser un histogramme, et pas une estimation à noyau.

hist(x,col="red")
hist(y,col="blue")

On obtient pour la première série la courbe rouge, et pour la seconde la courbebleue,

On note qu’a priori, pour la première série, l’hypothèse d’uniformité n’est peut être pas la plus réaliste…

  • Test de Kolmogorov-Smirnov

On peut aussi mettre en œuvre un test de Kolmogorov-Smirnov afin de tester si la loi uniforme est adaptée.:

> ks.test(x,"punif")
 
	One-sample Kolmogorov-Smirnov test
 
data:  x 
D = 0.1047, p-value = 0.01645
alternative hypothesis: two-sided 
 
> ks.test(y,"punif")
 
	One-sample Kolmogorov-Smirnov test
 
data:  y 
D = 0.0456, p-value = 0.3581
alternative hypothesis: two-sided

On retrouve ici confirmée l’intuition précédante: la loi uniforme est pertinente pour la seconde série, pas la première.

  • Les autocorrélations de la série

Travaillons uniquement sur la seconde série. On peut étudier l’autocorrélation de notre série de nombres, ou peut-être un peu plus malin, sur les quantiles gaussiens associés (les autocorrélations étant intéressantes pour les séries gaussiennes),:

plot(acf(y))
plot(acf(qnorm(y)))

ie. pour la série brute

et pour la série normalisée,

Bref, on pourrait être tenté de valider l’hypothèse d’indépendance entre les tirages.
  • Run test (de Wald–Wolfowitz)

L’idée est de comparer une série de chiffres à la médiane, s’ils sont plus grands, on note + (ou A) et sinon – (ou B). On crée alors une série du genre “+++−−++−−++++++−−−” et on compte les séries de + et les séries de -, les runs,

library(lawstat)
runs.test(y,plot=TRUE)

Runs Test - Two sided

data:  y
Standardized Runs Statistic = -0.2462, p-value = 0.8055

Bref, la légende me semble à prendre avec des pincettes (car fonction de la source considérée), même si l’idée est intéressante (si l’on met de côté les aspects d’aléa moral). Et l’analyse sur la loi de Benford ne semble pas valide: les derniers chiffres sur les grands nombres ne se comportent pas du tout comme les premiers.

Loi des grands nombres et théorème central limite en assurance

Dans le dernier numéro de la revue Risques figure un petit article sur la loi des grands nombres et le théorème central limite en assurance (ici) Le but était de remettre un peu les pendules à l’heure sur la différence entre les implications de ces deux résultats, et surtout d’amorcer une discussion sur l’importance des hypothèses (en particulier celle de risques indépendants).

Valeur de l’euro de rente

Il y a quelques années, j’avais été sollicité pour rédiger les Annexes de l’ouvrageévaluation du préjudice corporel, de Max le Roy. Comme l’indique le descriptif du livre, j’ai un peu la pression car pas mal de jugements rendus sont basés sur mes calculs, “La résolution 75-7 du comité des ministres du Conseil de l’Europe est intervenue pour faciliter l’harmonisation des législations et des jurisprudences en matière de réparation des dommages en cas de lésion corporelle ou de décès. Elle a proposé un certain nombre de principes qui, bien que non obligatoires pour les États membres, sont très largement suivis par les juridictions françaises. Ce sont ces principes et leur application en droit français qui sont exposés et commentés dans cet ouvrage qui rend compte, notamment, de la très importante réforme apportée en matière de recours subrogatoire des caisses de sécurité sociale contre les tiers par la loi n° 2006-1640 du 21 décembre 2006. Le barème de capitalisation de rentes tient compte des plus récentes tables de mortalité et prend pour base un taux d’intérêt de 5 % conforme aux données économiques et financières actuelles. Accompagné d’un barème fonctionnel indicatif des incapacités en droit commun, de tableaux de jurisprudence et de formules de jugement, l’ouvrage fait le point sur toutes les questions auxquelles sont confrontés les magistrats, avocats, experts, médecins, assureurs.”

Avec la mise à jour des tables de mortalité en France, j’ai du remonter mes manches et reprogrammer tous les calculs. Sauf que cette fois, j’ai proposé un petit code R pour générer à nouveau ces tables. Le but est de calculer le prix de mille euros de rente viagère ou temporaire limitée. Une petite option permet de dire si on veut la nouvelle table, ou l’ancienne (ce qui m’a permis de vérifier que je ne disais pas des bêtises).

LF=read.table("https://perso.univ-rennes1.fr/arthur.charpentier/TV8890.csv",
header=TRUE,sep=";")
LH=read.table("https://perso.univ-rennes1.fr/arthur.charpentier/TD8890.csv",
header=TRUE,sep=";") 
PRIX=function(annee=2011,age,sex="HOM",taux=0.04,
              duree,C=1000,old=FALSE){
if(old==FALSE){
file  = paste("http://freakonometrics.blog.free.fr/public/data/",
              sex,"-table-SPLx.csv",sep="")
B     = read.table(file,header=TRUE,sep=",")
an    = annee-age; if(an>2005){an=2005}
nom   = paste("X",an,sep="")
L     = B[,nom]}
if(old==TRUE){
if(sex=="HOM"){L = c(LH$Lx,rep(0,20))}
if(sex=="FEM"){L = c(LF$Lx,rep(0,20))}}
Q     = L[(age+1):length(L)]/L[(age+1)]
actualisation = (1+taux)^(0:min(duree,120-age))
prixsup = sum(Q[2:(min(duree,120-age)+1)]/
          actualisation[2:(min(duree,120-age)+1)] )
prixinf = sum(Q[1:(min(duree,120-age))]/
          actualisation[1:(min(duree,120-age))] )
return(C*c(prixsup,prixinf))}

Les tables TGH-05 et TGF-05 sont issues d’une population de rentiers et on peut consulter les tables ici (pour les 38 pages du Journal Officiel). Ces tables ont été construites sur une population différente des tables TH et TF (construites sur l’ensemble de la population française). La méthodologie est décrite ici (merci d’ailleurs à Fred qui a approuvé mon utilisation de ces tables).

Par exemple, on peut retrouver la valeur figurant dans les anciennes Annexes (ici),

> PRIX(age=50,sex="HOM",duree=150,taux=.05,old=TRUE)
[1] 13452.15 14452.15

En bouclant, on peut générer les tables données en Annexe.

AGES=c(150,65,60,55,25,20,18,16)
tableH=matrix(0,106,length(AGES))
for(i in 1:length(AGES)){
for(a in 0:min(c(AGES[i]-1,105))){
tableH[a+1,i]=PRIX(age=a,sex="FEM",duree=
        AGES[i]-a,taux=.04,old=FALSE)[1]
}}
write(tableH,"table-femme-nouvelle-04.csv",sep=";")

(on utilise la première valeur var on veut des rentes versées en fin d’année, en cas de vie). Avec un taux de 4%, on a pour les hommes la table ici, et pour les femmes la table . Si quelqu’un voit une coquille, merci de me signaler avant que le livre ne parte à l’éditeur…

Petit calcul de probabilités

En mars 1996, Parade Magazine publiait une question intéressante relative à un calcul de probabilité (la question est reproduite ici, ainsi qu’une discussion autour de l’existence de ce professeur… mais comme le note le site , il semble qu’il s’agisse d’une légende urbaine). De manière un peu surprenante, la réaction de la personne est que – si les deux élèves ont menti – la probabilité que deux personnes désigne le même pneu d’une voiture serait de 1/16. Pourtant, si on note A, B, C et D les quatre pneus de la voiture, un dénombrement rapide donne 16 situations possibles,

(A,A) (A,B) (A,C) (A,D)
(B,A) (B,B) (B,C) (B,D)
(C,A) (C,B) (C,C) (C,D)
(D,A) (D,B) (D,C) (D,D)

mais 4 paires concordantes. Soit un chance sur quatre que les étudiants indiquent le même pneu. Intuitivement, on demande à un étudiant quel pneu a crevé (jusque là pas de calculs de probabilités) http://freakonometrics.blog.free.fr/public/perso3/101_3.jpgpuis on veut voir si l’autre indique le même pneu (s’il ment, il a alors une chance sur quatre de donner le même que son voisin). Cette intuition que la probabilité serait 1/16 est alors un peu surprenante. Cela correspondrait au cas où le professeur sait quel pneu avait éclaté, mais pas les étudiants (on retrouve le mythe que l’enseignant sait toujours tout). Ou au cas où trois étudiants étaient dans la voiture et que l’on demande que les trois répondent la même chose.

Que signifie “utiliser de l’information” ?

Considérons un simple jeu de pile ou face. On suppose que l’on tombe sur pile avec une probabilité http://freakonometrics.blog.free.fr/public/perso3/pf-20.gif (histoire de formaliser un peu). Le but du jeu est dedeviner sur quelle face la pièce va tomber: si on devine bien, on gagne, sinon on perd. Et le but de mon billet est de comprendre quelle est la stratégie qu’il convient de mettre en œuvrer si on connaît, ou si on estime http://freakonometrics.blog.free.fr/public/perso3/pf-20.gif.

  • Connaissance parfaite des probabilités

Supposons que l’on connaisse parfaitement http://freakonometrics.blog.free.fr/public/perso3/pf-20.gif. A priori deux stratégies sont possibles:

  • jouer au hasard, en utilisant les différentes probabilités: on prédit pile avec probabilité http://freakonometrics.blog.free.fr/public/perso3/pf-20.gif et face avec probabilité http://freakonometrics.blog.free.fr/public/perso3/pf-21.gif.
  • ne pas jouer au hasard, et prédire la valeur la plus probable, autrement dit si http://freakonometrics.blog.free.fr/public/perso3/pf-22.gif, on prédit pile, sinon on prédit face (à chaque lancer si on fait plusieurs lancers consécutifs).

Notons http://freakonometrics.blog.free.fr/public/perso3/pf-24.gif la variable correspondant à la valeur prise au lancer, disons 1 si on tomber sur pile et 0 sur face. Et notons http://freakonometrics.blog.free.fr/public/perso3/pf-23.gif la valeur prédite. On gagne si http://freakonometrics.blog.free.fr/public/perso3/pf-25.gif, et la probabilité de gagner est alors

http://freakonometrics.blog.free.fr/public/perso3/pf-26.gif

i.e. pour la première stratégie

http://freakonometrics.blog.free.fr/public/perso3/pf-27.gif

En revanche pour la seconde, la probabilité de gagner est

http://freakonometrics.blog.free.fr/public/perso3/pf-28.gif

Graphiquement, on peut représenter en ligne la prédiction que l’on fait, et en colonne la face obtenue. En bleu, on gagne, et en rouge on perd,

Supposons que http://freakonometrics.blog.free.fr/public/perso3/pf-29.gif. Considérons le polynôme http://freakonometrics.blog.free.fr/public/perso3/pf-30.gif, dont les racines sont http://freakonometrics.blog.free.fr/public/perso3/pf-31.gif et http://freakonometrics.blog.free.fr/public/perso3/pf-32.gif, i.e sur http://freakonometrics.blog.free.fr/public/perso3/pf-33.gif,
http://freakonometrics.blog.free.fr/public/perso3/pf-34.gif

ou encore

http://freakonometrics.blog.free.fr/public/perso3/pf-35.gif

i.e.

http://freakonometrics.blog.free.fr/public/perso3/pf-36.gif

(avec une inégalité stricte si http://freakonometrics.blog.free.fr/public/perso3/pf-20.gif est strictement inférieur à 1). Bref, il est toujoursplus intéressant de parier toujours la même chose (et de ne pas essayer de jouer au plus malin).

  • Connaissance imparfaite des probabilités

Supposons maintenant que la probabilité http://freakonometrics.blog.free.fr/public/perso3/pf-20.gif soit inconnue, mais estimable. Autrement dit, on a assisté à http://freakonometrics.blog.free.fr/public/perso3/pf-03.gif lancers, on a un échantillon http://freakonometrics.blog.free.fr/public/perso3/pf-01.gif et on estime la probabilité de tomber sur pile par

http://freakonometrics.blog.free.fr/public/perso3/pf-05.gif

Comme auparavant pour la première stratégie, on utilise un générateur de nombre aléatoire http://freakonometrics.blog.free.fr/public/perso3/pf-04.gif (qui tire une loi uniforme sur le segment unité), pour la prochaine valeur, on prédit

http://freakonometrics.blog.free.fr/public/perso3/pf-06.gif

Pour la seconde stratégie

http://freakonometrics.blog.free.fr/public/perso3/pf-07.gif

Autrement dit, si on estime que la probabilité de tomber sur pile dépasse 50%, on prédit pile, et sinon on prédit face.
On gagne si http://freakonometrics.blog.free.fr/public/perso3/pf-08.gif, et la probabilité de gagner est alors

http://freakonometrics.blog.free.fr/public/perso3/pf-09.gif

Dans le premier cas, la probabilité de gagner est

http://freakonometrics.blog.free.fr/public/perso3/pf-11.gif
dont l’espérance est http://freakonometrics.blog.free.fr/public/perso3/pf-12.gif (comme auparavant). En revanche, dans le second cas, le calcul de la probabilité de gagner est

http://freakonometrics.blog.free.fr/public/perso3/pf-13.gif

Graphiquement, on obtient, cette fois,

Si on se place au bout de 20 lancers, on obtient la courbe rouge ci-dessous pour le cas d’information imparfaite, et verte dans le cas de l’information parfaite, pour le ratio de la probabilité de gagner avec le second cas divisé par le premier cas (nous avions vu auparavant que le ratio été inférieur à 1)

à partir du code suivant

> p=seq(.5,1,by=.01)
> q=(p^2+(1-p)^2)/(p*(1-pbinom(10,20,p))+
+ (1-p)*pbinom(10,20,p))
> plot(p,q)
  • Répétons le jeu plusieurs fois et apprentissage des probabilités

Supposons que l’on répète le jeu un certain nombre de fois, avec un apprentissage au fur et à mesure que les tirages avancent, i.e. l’algorithme s’écrit

> n=10
> p=.64
> X=sample(c("a","b"),size=100,prob=c(p,1-p),replace=TRUE)
> S1=S2=rep(NA,100)
> for(s in (n+1):100){
+ P=c(mean(X[1:(s-1)]=="a"),mean(X[1:(s-1)]=="b"))
+ S1[s]=(sample(c("a","b"),size=1,prob=P)==X[s])
+ S2[s]=(names(sort(table(X[1:s])))[2]==X[s])
+ }
> sum(S1[(n+1):100])/sum(S2[(n+1):100])

Graphiquement, si on suppose que l’on apprend sur 10 tirages (et que l’on calcule le nombre moyen de victoires sur les 90 lancers suivants), on obtient un graphique assez proche de ce que l’on avait auparavant,

I.e. comme le ratio est inférieur à 1, la seconde stratégie l’emporte toujours.
Moralité, j’ai un peu l’impression qu’il est souvent inutile d’élaborer une stratégie trop complexe, car les stratégies les plus simples permettent de gagner le plus souvent…

Mal calculer les probabilités tue les probabilités

Suite à un tweet d’Olivier, j’ai découvert avec stupéfaction l’article paru dans Libé sur le risque nucléaire (ici).

On apprend que la probabilité d’accident majeur est d’environ 0.0003 0,0003 par an pour chaque réacteur. Or l’Europe possède 143 réacteurs et donc, sur 30 ans, la probabilité d’un incident majeur est

http://freakonometrics.hypotheses.org/files/2015/12/nucle-05.gif

et les auteurs de l’article concluent que “la probabilité d’occurrence d’un accident majeur sur ces parcs serait donc […] de plus de 100% pour l’Union européenne”

Etienne Ghys a déjà – brillamment – discuté ce chiffre avant hier (ici). Le soucis est que si http://freakonometrics.hypotheses.org/files/2015/12/nucle-02.gif est la proba annuelle d’incident par an et par réacteur, en supposant les centrales indépendantes, la probabilité d’avoir un incident sur http://freakonometrics.hypotheses.org/files/2015/12/nucle-3.gif réacteurs sur une durée de http://freakonometrics.hypotheses.org/files/2015/12/nucle-04.gif années est

http://freakonometrics.hypotheses.org/files/2015/12/nucle-01.gif

Comme http://freakonometrics.hypotheses.org/files/2015/12/nucle-02.gif est supposé petit, un développement limité donnerait

http://freakonometrics.hypotheses.org/files/2015/12/nucle-06.gif

Malheureusement, dans les développements limités de ce genre, s’il faut que http://freakonometrics.hypotheses.org/files/2015/12/nucle-02.gif soit petit, encore faut-il que la puissance ne soit pas trop grande….
En fait, si on retient que pour un réacteur nucléaire à eau pressurisée (REP) tels ceux exploités en Europe de l’Ouest, le risque de fusion du cœur est estimé à 0.00005 par centrale et par an (en reprenant les estimateurs mentionnés sur wikipedia, ici), la vraie probabilité d’avoir un incident majeur en Europe serait plutôt de l’ordre de

http://freakonometrics.hypotheses.org/files/2015/12/nuclea-07.gif

(avec une probabilité 10 fois supérieure, Etienne arrivait à 72%). C’est marrant car cette erreur commise en croyant qu’un développement limité serait légitime quand on utilise des probabilité annuelle sur des horizons plus longs était évoqué ici il y a un an jour pour jour, sur des problèmes d’actualisation….

Trop de probabilités tue les probabilités

Hier matin, au moment de quitter la maison, j’ai jeté un œil à la météo (car à Montréal le temps est très changeant, pas seulement d’un jour sur l’autre, comme je l’avis mentionné en arrivant en septembre, ici). En voyant les gros nuages gris dans le ciel, en me réveillant, je me suis demandé s’il fallait mettre un manteau et des bottes en caoutchouc aux enfants (pour aller l’école). Sur le site de météo, on a en effet la probabilité de pluie, i.e. de P.D.P.

Si on suppose que les probabilités sont indépendantes d’heure en heure, la probabilité qu’il va pleuvoir dans la matinée (dans les 5 prochaines heures pour faire simple, ou plus concret), va s’écrire comme le complémentaire de la probabilité qu’il va faire beau toute la matinée, autrement dit, avec des probabilités de pluie de l’ordre de 25%, par heure, la probabilité qu’il pleuve pendant les prochaines heures est de 75% environ

> 1-((1-.25))^5
[1] 0.7626953

Bref, on est loin de 25%. Essayons d’aller un peu plus loin pour mieux comprendre…
Notons http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie03.gif la variable indicatrice indiquant s’il pleut, ou pas (1 s’il pleut, et 0 sinon) à l’instant http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie04.gif. Supposons qu’il existe un processus latent sous-jacent, http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie05.gif tel que

http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie06.gif

 

A une date http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie04.gif, on se demande ici s’il va pleuvoir dans la matinée, i.e. on veut

http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie07.gifqui peut encore s’écrire

http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie08.gifou, ce qui sera pleut être plus utile ensuite

http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie09.gifAvec notre modèle latent, cette probabilité peut s’écrire

http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie10.gifc’est à dire en notant http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie13.gif la fonction de répartition (jointe) du vecteur aléatoire http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie11.gif cette probabilité s’écrit
http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie12.gifOr Wassily Hoeffding a montré qu’il était possible d’encadrer une fonction de répartition, avec les bornes suivantes: pour tout https://latex.codecogs.com/gif.latex?\boldsymbol{x}\in\mathbb{R}^d,
http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie14.gif

http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie15.gif
et
http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie16.gif
(en notant que ces bornes sont atteignables). Autrement dit, ici, la probabilité qu’il fasse beau 5 heures de suite est encadrée par la probabilité qu’il pleuve sur une heure… et 1.
Bref, on n’a pas grand chose à dire*.

Une possibilité est de supposer un modèle Gaussien pourhttp://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie05.gif. Supposer les lois marginales n’est en rien contraignant. En revanche, supposer que la dynamique sous-jacente est Gaussienne est une hypothèse très forte. Et pour faire simple, supposons même que la dynamique soit auto-régressive (à l’ordre 1), i.e.
http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie18.gifoù https://latex.codecogs.com/gif.latex?(\eta_t) est un bruit blanc, indépendant du processus latent. L’intérêt est que l’on a spécifié ainsi la structure de la matrice de variance covariance. En particulier, la matrice de corrélation du vecteur https://latex.codecogs.com/gif.latex?\boldsymbol{X}^\star est alors
http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie01.gif
On peut d’ailleurs visualiser facilement la forme de cette matrice en fonction de https://latex.codecogs.com/gif.latex?\rho,
http://freakonometrics.hypotheses.org/files/2015/12/animationcorrelationpluie.gif
Avec ce formalisme, on peut alors en déduire http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie12.gif car on connaît très bien la fonction de répartition d’un vecteur gaussien multivarié via

On peut alors étudier l’impact de http://freakonometrics.blog.f ree.fr/public/perso3/slatex.gif (qui est associée à la probabilité d’avoir de la pluie pendant une heure en moyenne) et de la corrélation http://freakonometrics.hypotheses.org/files/2015/12/correlation-pluie21.gif (qui est associée à la dynamique du processus). Pour simplifier, si on prend http://freakonometrics.hypotheses.org/files/2015/12/slatex.gif tel que la probabilité de pluie soit de l’ordre de 25%, on a la probabilité d’avoir de la pluie suivante,

> s = .25
> r = .85
> i = 1:n
> I = matrix(rep(i,each=n),n,n)
> J = matrix(rep(i,n),n,n) 
> C = r^(abs(I-J))
> 1-pmnorm(rep(qnorm(1-s),n),mean=rep(0,n),varcov=C)[1]
[1] 0.458074

i.e. en faisant une boucle sur la valeur de la corrélation

Et plus généralement si on croise le seuil (i.e. la probabilité horaire de pleuvoir) et la probabilité, on a l’abaque suivante

On pourrait toutefois objecter que l’important n’est pas forcément qu’il ne pleuve pas de la matinée, mais qu’il ne pleuve pas quand ils sont dehors, i.e. (pour simplifier), à 8 heures, midi et 16 heures (c’est à dire toutes les 4 heures). On s’intéresse alors à
http://freakonometrics.hypotheses.org/files/2015/12/pluiecorrel-31.gif
qui est toujours un vecteur Gaussien, mais avec cette fois une structure de corrélation un peu différente,
http://freakonometrics.hypotheses.org/files/2015/12/ppluie-coreel.gif
Dans ce cas, la probabilité de ne pas avoir de plus à ces trois moments de la journée est alors de la forme suivante

La corrélation joue alors un rôle relativement faible car il intervient à la puissance 4 dans la matrice d’auto-corrélation.
Dans ce cas, on notera que l’hypothèse d’indépendance n’est peut être pas absurde. Et avec une P.D.P. de 30%, sur toute la journée, on peut probablement se dire que la probabilité d’avoir de la pluie soit le matin, soit le midi, soit le soir sera de l’ordre de

> 1-(1-.3)^3
[1] 0.657

A tester !
* En fait si, on pourrait dire beaucoup de choses (et écrire une dizaine de billets) en particulier sur la borne supérieure, ici 1, dès lors que la probabilité horaire d’avoir de la pluie dépasse 20% – car la borne supérieure est

http://freakonometrics.hypotheses.org/files/2015/12/prooooobacommentaire.gif

En fait, la borne inférieur n’est pas une fonction de répartition de manière générale. Toutefois, la borne est atteignable pour une certaine structure de dépendance. Ce qui explique que par la suite, avec un modèle Gaussien, on sera relativement loin de cette borne supérieure. La borne inférieure (i.e. la borne supérieure sur les fonction de répartition) est elle atteinte dès lors que les risques sont variables sont comonotones, c’est à dire dans le cas Gaussien si la corrélation entre deux instants (et entre tous les instants) vaut 1. La petite animation sur la matrice de corrélation permet de mieux comprendre la difficulté de comprendre le cas où la corrélation rho est négative: dans le cas où http://freakonometrics.hypotheses.org/files/2015/12/rhofleche.gif1, on a une corrélation proche de 1 partout dans la matrice. En revanche, si http://freakonometrics.hypotheses.org/files/2015/12/rhofleche.gif -1, on a des corrélations proches de -1 dans la moitié (environ) des cellules de la matrice, et +1 dans l’autre moitié. La borne supérieure sur la probabilité savoir de la pluie dans matinée correspond donc à une structure plus complexe que la borne inférieure, car on ne peut pas avoir une corrélation négative forte avec tous les lags.

Pourquoi frapper aussi fort la balle au service ?

Au tennis, il n’est pas rare de voir les joueurs servir très fort sur leur première balle, puis de se calmer sur la seconde. Est-ce pour se reposer un peu après le premier effort ou bien y-a-t-il une réelle logique derrière ?

Modélisons un peu tout ça (en reprenant une modélisation présentée par David Gale en 1971). Un joueur a un ensemble http://freakonometrics.blog.free.fr/public/perso3/tennisserv01.gif de services possibles. A son premier service, il choisit le service http://freakonometrics.blog.free.fr/public/perso3/tennisserv02.gif. La première difficulté est que le service soit correct (ou passe le filet pour faire simple), et on note http://freakonometrics.blog.free.fr/public/perso3/tennisserv03.gif la probabilité qu’un tel service passe le filet. Si le service est passé, il a une certaine probabilité de gagner le point, que l’on notera http://freakonometrics.blog.free.fr/public/perso3/tennisserv05.gif. Bien que ne connaissant pas vraiment le tennis, il n’est pas absurde de supposer qu’il y ait une forme d’arbitrage,

  • un service puissant a peu de chance de passer (http://freakonometrics.blog.free.fr/public/perso3/tennisserv06.gif petit), mais s’il passe le filet le serveur sera à son avantage, et la probabilité de gagner le point sera élevée (http://freakonometrics.blog.free.fr/public/perso3/tennisserv05.gif grand)
  • un service faible a de grandes chances de passer (http://freakonometrics.blog.free.fr/public/perso3/tennisserv06.gif grand), mais la balle sera alors facile pour l’adversaire, et la probabilité de gagner le point sera faible (http://freakonometrics.blog.free.fr/public/perso3/tennisserv05.gif petit)

A un service http://freakonometrics.blog.free.fr/public/perso3/tennisserv07.gif donné, la probabilité de gagner le point (sur ce premier service) est alors http://freakonometrics.blog.free.fr/public/perso3/tennisserv08.gif.

Supposons que http://freakonometrics.blog.free.fr/public/perso3/tennisserv01.gif soit “ordonné” au sens où http://freakonometrics.blog.free.fr/public/perso3/tennisserv06.gif peut être supposée strictement croissante.
Compte tenu de la remarque que nous avions faite initialement, il n’est pas absurde de supposer que la fonction

http://freakonometrics.blog.free.fr/public/perso3/tennisserv09.gif

soit à valeur dans http://freakonometrics.blog.free.fr/public/perso3/tennisserv10.gif, avec une fonction croissante pour http://freakonometrics.blog.free.fr/public/perso3/tennisserv.gif, puis décroissante pour http://freakonometrics.blog.free.fr/public/perso3/tennisserv12.gif.

Le joueur cherche à maximiser sa probabilité de gagner le point.

Mais au tennis, si le premier service ne passe pas, le serveur a le droit a une deuxième chance. Le serveur choisi alors en réalité un couple http://freakonometrics.blog.free.fr/public/perso3/tennisserv15.gif correspondant à son premier et second service, respectivement. La probabilité de gagner le point, à stratégie http://freakonometrics.blog.free.fr/public/perso3/tennisserv16.gif donnée, est alors

http://freakonometrics.blog.free.fr/public/perso3/tennisserv17.gif

On peut noter que la stratégie optimale pour la seconde balle est indépendante de ce qui a été fait pour la première. En effet, si on cherche à résoudre, à http://freakonometrics.blog.free.fr/public/perso3/tennisserv18.gif donné

http://freakonometrics.blog.free.fr/public/perso3/tennisserv20.gif

la condition du premier ordre est

http://freakonometrics.blog.free.fr/public/perso3/tennisser21.gif

i.e

http://freakonometrics.blog.free.fr/public/perso3/tennisserv22.gif

Autrement dit, le second service doit être celui qui maximise sa probabilité de gagner le point, i.e. http://freakonometrics.blog.free.fr/public/perso3/tennisserv23.gif.
Mais si on sait qu’il est optimal de jouer http://freakonometrics.blog.free.fr/public/perso3/tennisserv23.gif, dans ce cas, pour le premier service, le joueur cherche à résoudre

http://freakonometrics.blog.free.fr/public/perso3/tennissserv24.gif

dont la condition du premier ordre est

http://freakonometrics.blog.free.fr/public/perso3/tennisserv25.gif

i.e.

http://freakonometrics.blog.free.fr/public/perso3/tennisserv26.gif

Le point s_1 qui vérifie cette condition peut se visualiser sur la figure ci-dessous, car http://freakonometrics.blog.free.fr/public/perso3/tennisserv27.gif s’interprète comme http://freakonometrics.blog.free.fr/public/perso3/tennisserv28.gif, i.e. la tangente de la fonction rouge, et on veut que cette tangente soit de pente http://freakonometrics.blog.free.fr/public/perso3/tennisserv29.gif, qui est la pente de la courbe bleue (comme l’avait noté David Gale),

Autrement dit, il est optimal de servir plus fort la première fois que la seconde… Comme quoi finalement tout peut se démontrer avec un joli modèle…

Minuit, l’heure du crime ? heure d’hiver ou d’été ?

Suite à mon précédant billet où j’essayais d’étudier la dynamique des appels aux 911 à Montréal, j’avais noté qu’un seul type d’appels avait lieu aux alentours de minuit, à savoir les trouble à la paix. Mais minuit est une notion quelque peu relative. En tous les cas, c’est la réflexion que je me faisais alors que les jours commencent à rallonger… car l’hiver à Montréal, minuit ça peut presque 8 heures après le coucher du soleil, et l’été à peine 4 heures…C’est aussi ce que me demandait @simon dans un commentaire.

En fait, de manière assez étrange, les cycles sont relativement stables en fonction des saisons (avec dans le cercle au centre l’ensoleillement de la journée – avec en bleu la nuit)

http://freakonometrics.blog.free.fr/public/perso3/911-mois.gif

Je mettrais peut être cela sur le compte que Montréal est relativement proche de l’heure solaire, au sens où midi est assez souvent le milieu de la journée et que minuit est le milieu de la nuit.

Dans le même état d’esprit, on peut se demander s’il y a un impact du changement d’heure. Par exemple si on considère le changement d’heure qui survient au printemps. Le graphique de gauche représente les appels le week-end qui précédait le changement d’heure (vendredi, samedi et dimanche qui précédaient) et à droite le week-end qui a suivi (même trois jours),

Il y a peut être un léger désaxage vers la droite, mais à peine…

Et si on regarde d’autres types d’appels, comme les coups de feu, on observe le début de la période d’appel (un peu plus intense) suit le commencement de la nuit: s’ils finissent vers 4 heures du matin, les appels arrivent plus tôt l’hiver que l’été

http://freakonometrics.blog.free.fr/public/perso3/911-mois-409.gif

en revanche, on a un impact presque nul du changement d’heure,

On peut aussi regarder les conflits, qui présentaient une dynamique relativement différente, on observe ici une relative stabilité

http://freakonometrics.blog.free.fr/public/perso3/911-mois-610.gif

et encore une fois, on a un impact presque nul du changement d’heure,

ma que calor !

J’avais commencé plusieurs analyse (ici ou ) sur les appels passé au 911, à la police, à Montréal, en fonction de l’heure et des jours de la semaine afin de détecter d’éventuels cycles. Mais ces derniers jours, maintenant qu’il commence à faire beau et chaud, je me suis demandé s’il n’était pas possible de croiser avec la température… Car j’aurais l’idée naïve qu’on ne va pas commettre un cambriolage quand il fait -25°C, ou que les conflits sont en hausse s’il fait +35°C…

Si on regarde assez rapidement, en comptant le nombre d’appels en fonction de la température, et en faisant une régression splines, on obtient

autrement dit, entre -20°C et +30°C, il y a environ 50% d’appels en plus. Ce qui est loin d’être négligeable ! Mais on peut aussi croiser la température avec l’heure d’appel, avec l’heure en abscisse et la température en ordonnée

Aussi, la région ou le nombre d’appels est le plus élevé est indiquée ci-dessous: on note que l’on a plus d’appels quand il faut chaud, et plutôt en fin de journée,

Pour les conflits, par exemple, on a davantage de conflits en fin d’après midi comme on l’avait relevé, mais surtout, ces derniers sont très liés à la température: il y a d’autant plus d’appels qu’il faut chaud.

Les appels sont d’autant plus importants dans la région bleue ci-dessous,

Si l’on se concentre uniquement sur la température et les conflits, on a l’évolution suivante

après presque deux fois plus d’appels s’il fait +30°C par rapport à -20°C. De même pour les agressions sexuelles, qui augmentent très fortement avec la température (environ +25%),

En revanche les holds ups sont indépendants de la température,

En revanche les alarmes cambrioleurs semblent générer plus d’appels s’il fait chaud, mais aussi s’il fait froid…

Oui, je suis fâché avec les chiffres

On a tous des secrets plus ou moins difficiles à révéler… Enfin, quand je dis secret c’est un bien grand mot (c’est un peu au sens que pourrait utiliser ma fille quand elle me dit “papa j’ai un secret: ce midi, j’ai mangé deux fois du dessert“). Par exemple, quand un collègue me dit “tu pourrais m’envoyer les transparents de ta présentation“, et que je dois lui répondre “tu sais, ils sont sur mon blog“: je dévoile un faux secret… Oui, tous les profs qui tiennent un blog en parlent un jour ou l’autre: avouer à des collègues qu’on tient un blog, c’est un secret que l’on révèle encore péniblement… Péniblement n’est peut être pas le mot car si une fois sur deux cela provoque une espèce de réaction condescendante, une fois sur deux cela permet au contraire d’entamer des discussions intéressantes car les interlocuteurs peuvent être curieux…

Non, en l’occurrence, je pensais plutôt aux conversations que j’ai au moins une fois par semaine, quand il faut récupérer un enfant chez un(e) ami(e) à lui (ou à elle). On discute alors avec les parents, et invariablement arrive la question “et vous faites quoi dans la vie ?”. J’aimerais bien pouvoir dire “je suis astronaute” ou “je suis constructeur de robots” ou “je suis dompteur de lions”, enfin un truc qui fait rêver. Mais non, je dois me contenter d’un “je suis prof de maths“. “Pardon?”. “Je suis prof de maths“. “Ahhhhhhh“. Oui, il y a toujours une espèce de déception que je peux lire dans le regard qui commence soudain à se dérober, comme gêné (genre il aurait espéré “je suis chirurgien cardiaque, et j’ai encore sauvé deux enfants de la mort aujourd’hui“, qui aurait donné lieu à un autre type de “ahhhhhhh”). Et là, arrive inéluctablement une phrase qui me place dans l’embarrât: au choix “moi j’ai jamais rien compris aux chiffres” ou “ben vous devez aimer les chiffres alors“…

Et là j’avoue que je ne sais jamais quoi dire… Je pourrais le prendre à la rigolade genre “oui, mais pas tous. Genre 37 je ne l’aime pas du tout“, mais le fait est que je n’aime pas le chiffres ! C’est d’ailleurs troublant que mathématique soit associé dans l’imaginaire populaire à calculs ou arithmétique. Au XVIIIème siècle, les gens qui faisaient des mathématiques étaient des géomètres. Et, en fait je préférerais qu’on me dise “ben vous devez aimer les dessins alors”… Ou à la rigueur des lettres, car si on regarde deux minutes le blog, mes papiers ou mes notes de cours, on voit des nombres d’accidents qui s’appellent http://freakonometrics.blog.free.fr/public/perso3/mm02.gif, des coûts qui s’appellent http://freakonometrics.blog.free.fr/public/perso3/mm01.gif, des tailles des gens qui s’appellent http://freakonometrics.blog.free.fr/public/perso3/mm04.gif, des choses inconnues qui s’appellent http://freakonometrics.blog.free.fr/public/perso3/mm03.gif ou http://freakonometrics.blog.free.fr/public/perso3/mm05.gif suivant le problème… bref, j’aime les lettres mais surtout pas les chiffres (sauf peut être quelques uns, je ne tiens pas à me brouiller avec tout le monde) !

Je me faisais cette réflexion ce matin, en lisant l’histoire d’une autre monsieur qui était accusé d’être fâché avec les chiffres, ici

Car il était annoncé que «  les deux tiers des échecs scolaires, c’est l’échec d’enfants d’immigrés ». Loin de moi l’idée de commenter l’utilisation de ces chiffres, surtout que je pense que ce monsieur et moi n’avons en commun que le fait d’être tous deux fâchés avec les chiffres. A la lecture de l’article, nous explique ensuite que  “la France compte 13% d’élèves de familles immigrées, soit 87% d’élèves de familles autochtones” selon des sources OCDE. On nous montre alors un graphique expliquant que “18% (des 87%) des enfants d’autochtones et 38% des enfants d’immigrés sont sous le niveau 2 qui correspond, selon le ministre, à une situation d’échec scolaire.”

Vient alors une explication “la France compte donc 15,7% (18% de 87%) d’enfants de 15 ans issus de familles autochtones sous le niveau 2 et 4,9% d’enfants de 15 ans issus de familles immigrés (38% de 13%) sous le niveau 2. Donc sur les 20,6% de « sous-niveau 2 » nous n’avons pas deux tiers mais plutôt un quart d’enfants d’immigrés.

Je sais pas vous, mais c’était au réveil, j’avais encore mon café dans la main, et je relisais cette phrase sans rien comprendre… et j’avais beau relire, impossible de comprendre qui disait n’importe quoi… Car personnellement, tant qu’on n’utilise pas un peu de formalisme, je suis perdu…
On peut par exemple faire un dessin… j’ai toute ma population schématisée par le grand rectangle. Dedans j’ai mes “enfant d’immigré” en rouge et “d’autochtones” en vert, et les enfants en échec en bleu, et ceux qui ne le sont pas en violet. Et la question c’est: au sein de la population bleue, quelle est la proportion qui sontbleu et rouge (qui est en jaune en bas à droite) ?

Si on note http://freakonometrics.blog.free.fr/public/perso3/mm06.gif le fait d’être en échec scolaire (population bleue) et http://freakonometrics.blog.free.fr/public/perso3/mm07.gif le fait d’être “enfant d’immigré” (population rouge, je ne discuterais pas la définition, mais les calculs), et que l’on suppose que http://freakonometrics.blog.free.fr/public/perso3/mm08.gif ce sont les enfants “d’autochtones” (population verte), alors on cherche http://freakonometrics.blog.free.fr/public/perso3/mm09.gif, et le monsieur prétend que ça doit être 2/3.
Bon, on sait que http://freakonometrics.blog.free.fr/public/perso3/mm10.gif et http://freakonometrics.blog.free.fr/public/perso3/mm11.gif, et que http://freakonometrics.blog.free.fr/public/perso3/mm12.gifet http://freakonometrics.blog.free.fr/public/perso3/mm13.gif.
Lançons nous dans les calculs: d’après la formule de Bayes,

http://freakonometrics.blog.free.fr/public/perso3/mm14.gif

L’astuce est de noter que

http://freakonometrics.blog.free.fr/public/perso3/mm15.gif

d’où la formule

http://freakonometrics.blog.free.fr/public/perso3/mm16.gif

et ici tout est connu… on a alors

http://freakonometrics.blog.free.fr/public/perso3/mm17.gif

Aussi on retrouve les 24% évoqués dans l’article…
Ce qui est bien quand on formalise, c’est que l’on est certain des chiffres qu’on avance… mais aussi, cela permettrait d’aller plus loin (conditionnellement aux chiffres à notre disposition…). Par exemple, on peut faire un tableau de contingence. On connaît les probabilités marginales

http://freakonometrics.blog.free.fr/public/perso3/mm18.gif
http://freakonometrics.blog.free.fr/public/perso3/mm19.gif

(on a fait le calcul au dessus pour écrire le dénominateur)
contenant les probabilités jointes,

http://freakonometrics.blog.free.fr/public/perso3/mm20.gif
http://freakonometrics.blog.free.fr/public/perso3/mm21.gif
http://freakonometrics.blog.free.fr/public/perso3/mm22.gif
http://freakonometrics.blog.free.fr/public/perso3/mm23.gif

Bref, on pourrait alors faire des tests du chi-deux si on savait sur combien d’élèves les tests ont été fait pour avoir de tels chiffres…

> M=matrix(c(.38*.13,.18*.87,
+ (1-.38)*.13,(1-.18)*.87),2,2)
> n=1000
> f=function(n){chisq.test(n*M)$p.value}
> F=Vectorize(f)
> P=seq(10,1000,by=10)
> plot(P,F(P),type="l",ylim=c(0,.4))
> abline(h=.05,lty=2)

i.e. on a graphiquement en fonction de la taille de l’échantillon (en abscisse) la p-value (en ordonnée) du test d’indépendance du chi-deux.

Autrement dit, sauf si ces statistiques sont tirés d’un échantillon de 200 élèves, on rejette l’hypothèse d’indépendance entre les résultats scolaires et l’origine des élèves. Mais j’avais dit que je ne commenterais pas…

Bref, mon point est qu’il me semble qu’en formalisant un peu, au lieu de s’embrouiller dans un discours rempli de chiffres, on fait moins d’erreurs.

"sendo l'intento mio scrivere cosa utile a chi la intende…"