Je voulais faire quelques billets rapides sur les tableaux croisés, suite à des demandes consécutives à mon billet sur le sexe des bébés (ici). Pour commencer, je vais m’intéresser au cas où les variables supposées indépendantes (d’autres billets seront l’occasion de tester d’autres types d’hypothèses). Histoire de trouver des données un peu originales, on peut traîner sur internet. Etant tombé (presque) par hasard sur le fichier pdf ici, j’ai voulu m’intéresser à l’origine des enseignants-chercheurs recrutés lors de la campagne 2008 (comme le dit le titre du document en ligne sur le site du ministère). Prenons deux variables catégorielles géographiques, par exemple
- , ville (au sens large) où l’on a soutenu sa thèse
- , ville (au sens large) où l’on a obtenu un poste de maître de conférence
Compte tenu des règles de non-recrutement local, on devrait pouvoir supposer que ces variables sont indépendantes. En fait, je ne raisonne pas ici par université, mais par ville, ce qui correspond à un recrutement local au sens large (passer de Paris 6 à Paris 7 sera ici considéré comme “local“).
L’étude a été faite à partir des données disponibles ici et là. Petite précaution d’usage: ce sont les données de la campagne 2008, avant que les comités de sélection ne soient mis en place. Il conviendrait de refaire l’étude une fois les nouvelles données publiques. On a deux bases, une en droit-économie-gestion, et une en sciences. J’insiste sur le fait que l’on a des données sur une année seulement, donc avec peu d’observations… Mais comme l’indique le titre, je vais parler des outils visualisation des tableaux croisés, pas faire un billet sur le recrutement local. Voilà pour les précautions d’usage…
Pour visualiser ici, j’ai fait des regroupements, car avec 25 villes, ça ne tient pas dans mon billet (mais par la suite, l’analyse sera plus fine). Les données de base sont les suivantes, les lignes étant l’endroit où un doctorant a soutenu sa thèse (en économie ou droit), et en colonnes, l’endroit où a été recruté un maître de conférence,
|
Rennes |
Province
(autre) |
Région
parisienne |
total |
Rennes |
5 |
8 |
0 |
13 |
Province (autre) |
3 |
124 |
23 |
150 |
Région parisienne |
1 |
13 |
49 |
63 |
total |
9 |
145 |
72 |
226 |
Classiquement, on peut retraduire ces chiffres (qui sont des comptages) sous la forme de probabilités,
|
Rennes |
Province
(autre) |
Région
parisienne |
total |
Rennes |
2,21% |
3,54% |
0,00% |
5,75% |
Province (autre) |
1,32% |
54,86% |
10,18% |
66,37% |
Région parisienne |
0.44% |
5,75% |
21,68% |
27,88% |
total |
3,98% |
64,15% |
31,86% |
100,00% |
Les probabilités qui apparaissent sur les totaux sont les probabilités marginales. Aussi, au bout de la première ligne on trouve que 5,75% des doctorants qui ont eu un poste en 2008 avaient soutenu leur thèse à Rennes (ou dans la région, i.e. les universités de Rennes 1, de Rennes 2 et de Brest). De manière similaire, en bas de la première colonne, 3,98% des maîtres de conférences recrutés en 2008 ont été recrutés à Rennes.
Deux autres tableaux classiques sont alors les profils ligne et profils colonnes, c’est à dire les probabilités conditionnelles,
|
Rennes |
Province
(autre) |
Région
parisienne |
total |
Rennes |
38,46% |
61,54% |
0,00% |
100,00% |
Province (autre) |
2,00% |
82,67% |
15,33% |
100,00% |
Région parisienne |
1,58% |
20,64% |
77,78% |
100,00% |
total |
3,98% |
64,15% |
31,86% |
100,00% |
par ligne, autrement dit, pour un étudiant qui a soutenu sa thèse à Rennes (et qui a eu un poste de Maître de Conférences), il avait 38,46% de chance de rester à Rennes (ou plutôt en Bretagne), et 61,54% de chance d’aller dans une autre ville de province. Côté colonnes,
|
Rennes |
Province
(autre) |
Région
parisienne |
total |
Rennes |
55,56% |
5,52% |
0,00% |
5,75% |
Province (autre) |
33,33% |
85,52% |
31,94% |
66,37% |
Région parisienne |
11,11% |
8,96% |
68,06% |
27,88% |
total |
100,00% |
100,00% |
100,00% |
100,00% |
Ici, on lit que pour un Maître de Conférences recruté sur la région parisienne, il y avait 68,06% de chances pour qu’il ait fait en région parisienne.
Bref, à partir de ces tableaux, on peut essayer de tester l’hypothèse d’indépendance, et si cette dernière n’est pas vérifiée, on va essayer de comprendre pourquoi.
Mais avant, rappelons que l’hypothèse d’indépendance se traduit par le fait que
La valeur de gauche est la probabilité jointe (que l’on retrouve au coeur du second tableau), alors que les deux autres sont les probabilités marginales, qui apparaissent en bas, et à droite (dans les totaux). Bref, on pourrait construire le tableau des probabilités que l’on devrait avoir sous hypothèse d’indépendance,
|
Rennes |
Province
(autre) |
Région
parisienne |
total |
Rennes |
0,22% |
3,69% |
1,83% |
5,75% |
Province (autre) |
2,64% |
42,58% |
21,14% |
66,37% |
Région parisienne |
1,11% |
17,88% |
8,88% |
27,88% |
total |
3,98% |
64,15% |
31,86% |
100,00% |
que l’on peut retraduire en terme d’effectif espéré, toujours sous l’hypothèse d’indépendance. Pour ceux qui connaissent les copules, on change juste la structure de dépendance ici, pas les lois marginales (ou les effectifs marginaux) qui restent inchangés.
|
Rennes |
Province
(autre) |
Région
parisienne |
total |
Rennes |
0,5 |
8,3 |
4,2 |
13 |
Province (autre) |
6,0 |
96,2 |
47,8 |
150 |
Région parisienne |
2,5 |
40,5 |
20 |
63 |
total |
9 |
145 |
72 |
226 |
L’outils de base pour comparer ces données est la distance du chi-deux.
La statistique du chi-deux est
ou encore
Karl Pearson avait été un des premiers à étudier ces grandeurs, sous des hypothèses de normalité (des sommes de lois normales indépendantes au carré se ramenant à des lois du chi-deux).
On notera qu’une approche alternative est de supposer que les nombres (ou les effectifs) suivent une loi de Poisson. On peut alors se demander si
Si on suppose avoir une loi de Poisson, on peut s’intéresser aux résidus de Pearson,
autrement dit, on retrouve des grandeurs très proches de la contribution au chi-deux (en prenant le carré). On aussi le signe qui nous indique s’il y a trop peu de monde, ou au contraire par assez….
Si je travaille sur la base totale, soit environ 25 “villes“, on obtient
> cont1=read.table("https://perso.univ-rennes1.fr/arthur.charpentier/contingence-universite_1.csv",
+ header=TRUE,sep=";")
> cont2=cont1
> for(i in 1:ncol(cont2)){
+ for(j in 1:nrow(cont2)){
+ if(is.na(cont2[j,i]==TRUE)){cont2[j,i]=0} } }
> X=as.matrix(cont2[1:nrow(cont2),2:ncol(cont2)])
> rownames(X)=as.character(cont2[,1])
> colnames(X)=names(cont2[2:ncol(cont2)])
> X=X[,-2]
> X=X[-2,]
> X=X[,-9]
> X=X[-9,]
> Z=X[-nrow(X),]
> Z=Z[,-ncol(Z)]
> Z=Z[-nrow(Z),]
> chisq.test(Z)
Pearson's Chi-squared test
data: Z
X-squared = 1342.546, df = 576, p-value < 2.2e-16
La base est assez sale, j’ai fait un copier/coller rapide du fichier pdf (et je vire les Antilles et la Réunion car après je voudrais faire un peu de visualisation sur une carte). Autrement dit, l’hypothèse d’indépendance ne semble pas validée par le test du chi-deux. Essayons maintenant de comprendre un peu mieux les interactions dans notre carré…
Si on regarde les problèmes de recrutement local, il faut regarder ce qui se passe sur la diagonale de la matrice des résidus,
> CT=chisq.test(Z)
Message d'avis :
In chisq.test(Z) : l'approximation du Chi-2 est peut-être incorrecte
> Dia=diag(CT$residuals)
> names(Dia)=rownames(Z)
> Dia
AIX-MARSEILLE BESANCON BORDEAUX CAEN CLERMONT
6.43901593 3.26116568 8.37261202 10.53607373 5.12692873
CORSE DIJON GRENOBLE LILLE LIMOGES
8.56426340 4.10931024 9.18869705 7.59456681 8.56426340
LYON MONTPELLIER NANCY NANTES NICE
3.16119625 4.18366071 8.84765951 2.67087742 7.86973591
ORLEANS POITIERS REIMS RENNES ROUEN
1.79480842 5.81144228 -0.06651901 6.22963060 6.57435350
STRASBOURG TOULOUSE PARIS CRETEIL VERSAILLES
5.64850464 4.12289099 5.46092001 -0.22061860 4.01351350
Visuellement, sur une carte de France, on obtient la distribution ci-dessous, pour les postes en économie et droit,
et ci-dessous pour les postes en sciences et pharmacie,
Si on regarde le tableau des résidus on obtient les valeurs suivantes sur la ligne correspondant à Rennes, i.e. les endroits où vont les étudiants ayant soutenu leur thèse à Rennes,
avec en bleu les valeurs positives, et en rouge les valeurs négatives. A droite sont représentées les lignes, i.e. les endroits d’où viennent les Maîtres de Conférences recrutés à Rennes.
Au lieu de regarder ville par ville, on peut aussi faire une petite animation, soit sur les endroits où sont partis les doctorants,
ou les endroits d’où viennent les Maîtres de Conférence recrutés,
On peut également s’il existe des interactions, ou des échanges d’une ville à l’autre. Dans ce cas, les résidus croisées et doivent être positifs.
Bref, au delà du “recrutement local” on voit également apparaître de fortes interactions régionales (Rennes-Nantes, Toulouse-Bordeaux, Orléans-Paris).
Avant de conclure, il existe une autre technique permettant de mieux visualiser les interactions, c’est l’analyse factorielle des correspondances (je renvois icipour des slides). Si on regarde les 2 premiers axes principaux, en sciences (à gauche) et en droit et économie (à droite), on obtient les projections suivantes des modalités, avec en bleu les villes où les étudiants ont soutenu leur thèse, enrouge les villes où les postes de Maître de Conférences ont été obtenus,
et sur les les 2 axes suivants
Bref, comme souvent en statistique, afin de mieux comprendre un ajustement de modèle (ou comme ici lors la réalisation d’un test d’hypothèse) la visualisation des résidus est la technique de base (c’était l’idée d’ailleurs du commentaire que j’avais fait là).
Voilà pour la première partie, sur les modèles où l’on suppose l’indépendance. La prochaine fois, on verra d’autres formes d’hypothèses.