Discussions géométriques du soir

J’avais raconté l’autre jour l’aventure de mon fils qui souhaitait faire des triangles avec des bouts de bois (ici). Il a récidivé ce soir. Sauf qu’il n’avait qu’un grand baton, et que j’avais fermé le portillon qui l’empêchait d’aller dans la forêt en chercher (la nuance entre romancer et devenir mythomane doit être mince). Je lui ai suggéré de le casser en trois portions, puis de constituer un triangle avec les trois morceaux restant. Manque de bol, l’expérience rate (comme l’autre fois). Et me souvenant de mes pénibles calculs de la dernière fois, je me suis rappelé qu’il avait une chance sur deux de pouvoir effectivement construire un triangle… sauf que la manière d’obtenir les trois bouts de bois me semble différente… donc peut être que ce 1/2 n’est plus valide ?
En fait, je crois qu’il faut définir clairement comment on va couper les bouts de bois.

  • méthode 1: le coupage simultané

Je suppose que je peux couper d’un coup le bout de bois en deux. Formellement, je tire deux points sur l’intevalle correspondant à mon bout de bois, les tirages étant uniformes, et indépendants. On arrive alors à trois morceaux, alatex2png.2.php.pngalatex2png-1.2.php.png et alatex2png-2.2.php.pngen sachant que 

alatex2png-3.2.php.png

la longueur du bout de bois dont je diposais initialement. On supposera que aalatex2png.2.png=1 pour simplifier (ce qui ne changera rien au résultat final, on s’en doute). L’ensemble des points que je peux obtenir peuvent alors se visualiser comme des points du simplexe, 

alatex2png-4.2.php.png

autrement dit, on peut les représenter dans le triangle équilatéral ci-dessous.
Or on ne peut constituer un triangle que si la plus grande des longeurs n’excède pas la somme des deux autres. Supposons que alatex2png-2.2.php.png soit la plus grande longueur (et qu’elle soit visualisée graphiquement par rapport à la distance au côté en bas), le point rouge ci-dessous (correpondant à un triplet de longueurs possibles) ne convient pas. En fait, dès lors que l’on entre dans l’aire rosée, on ne peut plus constituer un triangle…

Moralité, à moins de tomber dans le triangle jaune, on ne peut pas constituer de triangle…. Ce qui veut dire qu’on n’a plus qu’une chance sur quatre !

  • méthode 2: le coupage séquentiel

Une autre méthodde consister à couper d’abord en deux (en tirant un point au hasard sur mon intervalle), puis de recouper en deux le plus grand morceau… Damned, mon fils a de bonne idée, mais ça sent les calculs à n’en plus finir ça…Ou alors va falloir continuer à essayer de faire des dessins, car mine de rien, c’est plus simple que les calculs de la dernière fois. Bon, la longueur de mon bout de bois est la hauteur de mon triangle. Je commence par le couper en deux, la distance au côté en bas devant être la plus petite des deux.

Une fois fixé la taille de ce petit bout, il me reste à couper le plus grand morceaux en deux. Pour cela, je vais me déplacer le long du segment rouge ci-dessous,
La position sur ce petit segment me donnant ensuite les deux autres longueurs des morceaux. Or rappelons que pour que nos bouts de bois forments un triangle, il faut forcément appartenir au triangle jaune,
Pour résumer, nous avions exclus la partie supérieure du triangle, et conditionnellement au fait que nous sommes dans le lozange inférieur, nous souhaitons être dans le triangle jaune. Arg, cette fois-ci la probabilité passe à une chance sur trois !

  • couper d’un coup comme découpage séquentiel aléatoire ?

Mais attends deux minutes mon bonhomme (oui, je parle à mon fils). Si j’avais choisi de découper le plus petit morceau, on sait qu’il est impossible de constituer un triangle car par définition alatex2png-5.2.php.png Supposons que l’on casse le baton en deux, et que l’on tire ensuite au hasard (avec probabilité 1/2 et 1/2) quelle partie sera alors coupée en deux, on doit se ramener au cas précédant non ? La probabilité de constituer un triangle doit alors être

alatex2png-6.2.php.png

Damned, mais ça ne fait pas un quart ça ! Bon, je crois que je vais prendre une aspirine et aller demander à mon fils d’aller ranger ses bâtons !

Comprendre les tableaux croisés, 1

Je voulais faire quelques billets rapides sur les tableaux croisés, suite à des demandes consécutives à mon billet sur le sexe des bébés (ici). Pour commencer, je vais m’intéresser au cas où les variables supposées indépendantes (d’autres billets seront l’occasion de tester d’autres types d’hypothèses). Histoire de trouver des données un peu originales, on peut traîner sur internet. Etant tombé (presque) par hasard sur le fichier pdf ici, j’ai voulu m’intéresser à l’origine des enseignants-chercheurs recrutés lors de la campagne 2008 (comme le dit le titre du document en ligne sur le site du ministère). Prenons deux variables catégorielles géographiques, par exemple

  • https://perso.univ-rennes1.fr/arthur.charpentier/latex/cont-01.png, ville (au sens large) où l’on a soutenu sa thèse
  • https://perso.univ-rennes1.fr/arthur.charpentier/latex/cont-02.png, ville (au sens large) où l’on a obtenu un poste de maître de conférence

Compte tenu des règles de non-recrutement local, on devrait pouvoir supposer que ces variables sont indépendantes. En fait, je ne raisonne pas ici par université, mais par ville, ce qui correspond à un recrutement local au sens large (passer de Paris 6 à Paris 7 sera ici considéré comme “local“).
L’étude a été faite à partir des données disponibles ici et . Petite précaution d’usage: ce sont les données de la campagne 2008, avant que les comités de sélection ne soient mis en place. Il conviendrait de refaire l’étude une fois les nouvelles données publiques. On a deux bases, une en droit-économie-gestion, et une en sciences. J’insiste sur le fait que l’on a des données sur une année seulement, donc avec peu d’observations… Mais comme l’indique le titre, je vais parler des outils visualisation des tableaux croisés, pas faire un billet sur le recrutement local. Voilà pour les précautions d’usage…
Pour visualiser ici, j’ai fait des regroupements, car avec 25 villes, ça ne tient pas dans mon billet (mais par la suite, l’analyse sera plus fine). Les données de base sont les suivantes, les lignes étant l’endroit où un doctorant a soutenu sa thèse (en économie ou droit), et en colonnes, l’endroit où a été recruté un maître de conférence,

Rennes Province
(autre)
Région
parisienne
total
Rennes 5 8 0 13
Province (autre) 3 124 23 150
Région parisienne 1 13 49 63
total 9 145 72 226

Classiquement, on peut retraduire ces chiffres (qui sont des comptages) sous la forme de probabilités,

Rennes Province
(autre)
Région
parisienne
total
Rennes 2,21% 3,54% 0,00% 5,75%
Province (autre) 1,32% 54,86% 10,18% 66,37%
Région parisienne 0.44% 5,75% 21,68% 27,88%
total 3,98% 64,15% 31,86% 100,00%

Les probabilités qui apparaissent sur les totaux sont les probabilités marginales. Aussi, au bout de la première ligne on trouve que 5,75% des doctorants qui ont eu un poste en 2008 avaient soutenu leur thèse à Rennes (ou dans la région, i.e. les universités de Rennes 1, de Rennes 2 et de Brest). De manière similaire, en bas de la première colonne, 3,98% des maîtres de conférences recrutés en 2008 ont été recrutés à Rennes.
Deux autres tableaux classiques sont alors les profils ligne et profils colonnes, c’est à dire les probabilités conditionnelles,

Rennes Province
(autre)
Région
parisienne
total
Rennes 38,46% 61,54% 0,00% 100,00%
Province (autre) 2,00% 82,67% 15,33% 100,00%
Région parisienne 1,58% 20,64% 77,78% 100,00%
total 3,98% 64,15% 31,86% 100,00%

par ligne, autrement dit, pour un étudiant qui a soutenu sa thèse à Rennes (et qui a eu un poste de Maître de Conférences), il avait  38,46% de chance de rester à Rennes (ou plutôt en Bretagne), et 61,54% de chance d’aller dans une autre ville de province. Côté colonnes,

Rennes Province
(autre)
Région
parisienne
total
Rennes 55,56% 5,52% 0,00% 5,75%
Province (autre) 33,33% 85,52% 31,94% 66,37%
Région parisienne 11,11% 8,96% 68,06% 27,88%
total 100,00% 100,00% 100,00% 100,00%

Ici, on lit que pour un Maître de Conférences recruté sur la région parisienne, il y avait 68,06% de chances pour qu’il ait fait en région parisienne.
Bref, à partir de ces tableaux, on peut essayer de tester l’hypothèse d’indépendance, et si cette dernière n’est pas vérifiée, on va essayer de comprendre pourquoi.
Mais avant, rappelons que l’hypothèse d’indépendance se traduit par le fait que

https://perso.univ-rennes1.fr/arthur.charpentier/latex/cont-03.png

La valeur de gauche est la probabilité jointe (que l’on retrouve au coeur du second tableau), alors que les deux autres sont les probabilités marginales, qui apparaissent en bas, et à droite (dans les totaux). Bref, on pourrait construire le tableau des probabilités que l’on devrait avoir sous hypothèse d’indépendance,

Rennes Province
(autre)
Région
parisienne
total
Rennes 0,22% 3,69% 1,83% 5,75%
Province (autre) 2,64% 42,58% 21,14% 66,37%
Région parisienne 1,11% 17,88% 8,88% 27,88%
total 3,98% 64,15% 31,86% 100,00%

que l’on peut retraduire en terme d’effectif espéré, toujours sous l’hypothèse d’indépendance. Pour ceux qui connaissent les copules, on change juste la structure de dépendance ici, pas les lois marginales (ou les effectifs marginaux) qui restent inchangés.

Rennes Province
(autre)
Région
parisienne
total
Rennes 0,5 8,3 4,2 13
Province (autre) 6,0 96,2 47,8 150
Région parisienne 2,5 40,5 20 63
total 9 145 72 226

L’outils de base pour comparer ces données est la distance du chi-deux.
La statistique du chi-deux est

https://perso.univ-rennes1.fr/arthur.charpentier/latex/cont-04.png

ou encore

https://perso.univ-rennes1.fr/arthur.charpentier/latex/cont-05.png

Karl Pearson avait été un des premiers à étudier ces grandeurs, sous des hypothèses de normalité (des sommes de lois normales indépendantes au carré se ramenant à des lois du chi-deux).
On notera qu’une approche alternative est de supposer que les nombres (ou les effectifs) suivent une loi de Poisson. On peut alors se demander si

https://perso.univ-rennes1.fr/arthur.charpentier/latex/cont-06.png

Si on suppose avoir une loi de Poisson, on peut s’intéresser aux résidus de Pearson,

https://perso.univ-rennes1.fr/arthur.charpentier/latex/cont-07.png

autrement dit, on retrouve des grandeurs très proches de la contribution au chi-deux (en prenant le carré). On aussi le signe qui nous indique s’il y a trop peu de monde, ou au contraire par assez….
Si je travaille sur la base totale, soit environ 25 “villes“, on obtient

> cont1=read.table("https://perso.univ-rennes1.fr/arthur.charpentier/contingence-universite_1.csv",
+ header=TRUE,sep=";")
> cont2=cont1
> for(i in 1:ncol(cont2)){
+ for(j in 1:nrow(cont2)){
+ if(is.na(cont2[j,i]==TRUE)){cont2[j,i]=0} } }
> X=as.matrix(cont2[1:nrow(cont2),2:ncol(cont2)])
> rownames(X)=as.character(cont2[,1])
> colnames(X)=names(cont2[2:ncol(cont2)])
> X=X[,-2]
> X=X[-2,]
> X=X[,-9]
> X=X[-9,]
> Z=X[-nrow(X),]
> Z=Z[,-ncol(Z)]
> Z=Z[-nrow(Z),]
> chisq.test(Z)
        Pearson's Chi-squared test
data:  Z 
X-squared = 1342.546, df = 576, p-value < 2.2e-16

La base est assez sale, j’ai fait un copier/coller rapide du fichier pdf (et je vire les Antilles et la Réunion car après je voudrais faire un peu de visualisation sur une carte). Autrement dit, l’hypothèse d’indépendance ne semble pas validée par le test du chi-deux. Essayons maintenant de comprendre un peu mieux les interactions dans notre carré…
Si on regarde les problèmes de recrutement local, il faut regarder ce qui se passe sur la diagonale de la matrice des résidus,

> CT=chisq.test(Z)
Message d'avis :
In chisq.test(Z) : l'approximation du Chi-2 est peut-être incorrecte
> Dia=diag(CT$residuals)
> names(Dia)=rownames(Z)
> Dia
 AIX-MARSEILLE        BESANCON        BORDEAUX            CAEN        CLERMONT  
     6.43901593      3.26116568      8.37261202     10.53607373      5.12692873 
         CORSE           DIJON        GRENOBLE           LILLE         LIMOGES  
     8.56426340      4.10931024      9.18869705      7.59456681      8.56426340 
          LYON     MONTPELLIER           NANCY          NANTES            NICE  
     3.16119625      4.18366071      8.84765951      2.67087742      7.86973591 
       ORLEANS        POITIERS           REIMS          RENNES           ROUEN  
     1.79480842      5.81144228     -0.06651901      6.22963060      6.57435350 
    STRASBOURG        TOULOUSE           PARIS         CRETEIL      VERSAILLES  
     5.64850464      4.12289099      5.46092001     -0.22061860      4.01351350

Visuellement, sur une carte de France, on obtient la distribution ci-dessous, pour les postes en économie et droit,

et ci-dessous pour les postes en sciences et pharmacie,

Si on regarde le tableau des résidus on obtient les valeurs suivantes sur la ligne correspondant à Rennes, i.e. les endroits où vont les étudiants ayant soutenu leur thèse à Rennes,

avec en bleu les valeurs positives, et en rouge les valeurs négatives. A droite sont représentées les lignes, i.e. les endroits d’où viennent les Maîtres de Conférences recrutés à Rennes.
Au lieu de regarder ville par ville, on peut aussi faire une petite animation, soit sur les endroits où sont partis les doctorants,

ou les endroits d’où viennent les Maîtres de Conférence recrutés,

On peut également s’il existe des interactions, ou des échanges d’une ville à l’autre. Dans ce cas, les résidus croisées https://perso.univ-rennes1.fr/arthur.charpentier/latex/cont-08.png et https://perso.univ-rennes1.fr/arthur.charpentier/latex/cont-09.png doivent être positifs.

Bref, au delà du “recrutement local” on voit également apparaître de fortes interactions régionales (Rennes-Nantes, Toulouse-Bordeaux, Orléans-Paris).

Avant de conclure, il existe une autre technique permettant de mieux visualiser les interactions, c’est l’analyse factorielle des correspondances (je renvois icipour des slides). Si on regarde les 2 premiers axes principaux, en sciences (à gauche) et en droit et économie (à droite), on obtient les projections suivantes des modalités, avec en bleu les villes où les étudiants ont soutenu leur thèse, enrouge les villes où les postes de Maître de Conférences ont été obtenus,

et sur les les 2 axes suivants

Bref, comme souvent en statistique, afin de mieux comprendre un ajustement de modèle (ou comme ici lors la réalisation d’un test d’hypothèse) la visualisation des résidus est la technique de base (c’était l’idée d’ailleurs du commentaire que j’avais fait ).
Voilà pour la première partie, sur les modèles où l’on suppose l’indépendance. La prochaine fois, on verra d’autres formes d’hypothèses.