(s’il le faut allons-y) Samedi matin, j’ai aperçu avec un grand plaisir le dernier numéro de Fakir chez mon buraliste préféré (i.e. le “journal fâché avec tout le monde“). Je n’ai pas vocation à me fâcher avec tout le monde, loin de là, mais je dois avoir un côté pitbull que j’ai du mal à cacher…
Et si quelques pages ont rapidement retenu mon attention, je dois avouer que j’en suis sorti très déçu (par ces quelques pages). Bon, autant le dire tout de suite, les pages en questions ne sont pas écrite par les journalistes de Fakir, mais correspondent à un “courrier des lecteur” (les “meilleurs” paraît-il… je me sens flaté, je suis un lecteur régulier). Le “papier” de deux pages part d’une attention louable (me semble-t-il), à savoir essayer de repérer des classes (au sens marxiste) en étudiant la distribution des revenus. On nous explique que l’auteur est “directeur de recherche au CNRS“, ce qui vise à donner a priori une légitimité scientifique à ses propos. N’ayant pas encore l’accord pour mettre en ligne les deux pages en question (je vais quand même demander l’accord à la rédaction), je me contente de ces deux copies de mauvaise qualité.
Pour résumer, l’auteur nous explique que l’INSEE ment, ou triche, dans sa façon de produire ses graphiques (comme je l’avais dit ici, je rejoins l’auteur sur ce point: j’avais déjà dit que la façon de présenter des informations chiffrées n’était pas neutre sur le message que l’on souhaite diffuser).
- Densité ou fonction quantile ?
L’auteur commence par nous présenter deux graphiques. Le premier tiré de Max Weber montre la répartition de la taille de fourmis (géantes !), et observe que la distribution bimodale s’interprète comme la présence de deux classes de fourmis.
Ensuite, il nous présente la fonction quantile du revenu des français, et s’étonne de ne pas retrouver de distribution bimodale.
Il nous explique qu’avec ce genre de graphique, on ne trouverait pas les modes observés sur les tailles des fourmis,
plus précisément, l’auteur explique
Pour formaliser un peu (et revenir sur ce qu’est la “moulinette de l’insee“), rappelons le premier graphique est une densité 
(je passe sur le fait que l’on travaille sur des échantillons, je vais faire une explication sur la modélisation sous-jacente, i.e. en travaillant sur la densité sous-jacente). Pour interpréter le second, rappelons que l’on construit la fonction de répartition en intégrant la densité,
La fonction quantile est alors l’inverse de cette fonction
autrement dit, d’un point de vue géométrique, le symétrique par rapport à la première bissectrice de la fonction de répartition. Avec des graphiques un peu plus clairs, je pense, voici une densité de mélange, en noir
Les deux populations sont visualisées avec les deux couleurs, rouge et bleu. Si je trace la fonction cumulative, j’obtiens
Malheureusement, on ne dispose pas de données précises sur les revenus (et je suis le premier à m’en désoler), et on observe une version discrète de cette fonction, à savoir les niveaux des déciles,
En inversant cette focntion, on obtient alors la fonction quantile, correspondant au graphique publié par l’insee,
Ma première observation est que si est effectivement bimodale, cela signifie que la dérivée de 
possède deux modes, ou plutôt deux maximum locaux. Si on se souvient des trucs que l’on apprend au lycée (et non pas à un niveau “bac+5” comme l’indique le haut du document), si on fait le tableau de signe (la première ligne étant le signe de la dérivée de la densité) on obtient
Autrement dit, on ne voit rien. Formellement, cela se traduira uniquement sur la pente de qui diminuera après le premier mode, qui augmentera juste avant d’atteindre le deuxième, avant de diminuer à nouveau après le second. Sur les courbes en escaliers, c’est vrai qu’il est difficile de visualiser une distribution bimodale, i.e. des accroissements sur la “pente” (ce n’était déjà pas forcément simple avec l’ensemble des valeurs possibles, mais sur une fonction en escalier….). Mais quoi qu’il en soit, je ne suis pas sûr que cette recherche de la bimodalité soit fondamental dans cette étude….
- Bimodalité et mélange
En fait, ma seconde critique est un peu plus technique. Pour faire simple, la présence de “classes” de traduit par une présence de “mélange” (c’est la base de la tarification où l’on essaye d’identifier les classes tarifa
ires, en assurance, comme j’en ai parlé à de nombreuses reprises ici ou là, par exemple). Mais ce “mélange” n’a aucune raison de se traduire par une distribution bimodale. On retrouve ici un argument fallacieux que l’on retrouve couramment, y compris dans des revues scientifiques, par exemple dans ce papier sur l’âge des tentatives de suicides, publié dans Journal of Psychiatric Research (ici). On y retrouve une tentative de retrouver des mélanges,
(je reviendrais un jour sur cette étude). Pour essayer de mieux comprendre en quoi l’argument est fallacieux, regardons quelques cas simples.
Le premier point est que la densité d’un mélange n’a aucune raison d’être bimodale. Même avec des lois sous-jacentes unimodales, comme la loi normale par exemple,
La courbe en noir est – comme auparavant – la distribution sur l’ensemble de la population. Elle est bimodale si les groupes sont bien discriminés, mais pas si les groupes sont proches. Comme je l’explique dans toutes mes interventions sur les modèles linéaires généralisés, il est difficile de se faire une idée sur la loi par sous-groupe en regardant la distribution globale. Si la loi n’est pas unimodale (à en croire les travaux de Vilfredo Pareto – mentionnés ici ou là – j’aurais tendance à croire que c’est le cas quand on parle des revenus), cette recherche des modes a encore moins de sens, me semble-t-il…. Le graphique ci-dessous correspond à mélanges de lois exponentielles (les traits en pointillés correspondant, comme auparavant, aux moyennes par sous groupe).
De plus, pour revenir aux exemples mentionnés dans le papier, à on avis, il y a une différence fondamentale entre le revenu et la taille: si la taille peut être supposé suivre une loi normale (par sous-population) je doute que ce soit le cas pour le revenu…Et encore, j’ai fait simple, car on suppose qu’il existe uniquement deux classes, à peu près équiréparties (ici 40-60 dans les deux animations précédentes).
Sur l’exemple ci-dessus, on suppose qu’il existe un petit groupe hétérogène (i.e. avec une plus forte variance). Cette hypothèse ne me semble pas absurde si on raisonne sur les revenus. Bref, on ne trouve presque jamais de distribution bimodale… Et ce d’autant plus que le petit groupe est hétérogène. Si en plus on suppose qu’il existe non pas deux groupes, mais trois (voire plus), c’est encore pire: il devient difficile de visualiser les sous-groupes…
- Faute de logique ou de statistique ?
J’ai l’impression que l’auteur part d’une affirmation qui me semble juste, à savoir “une distribution bimodale peut être modélisée par un mélange de deux distributions unimodales“. Sauf qu’il fait un raisonnement étrange en réécrivant cette affirmation sous la forme “une distribution qui n’est pas bimodale ne peut pas être un mélange” (je passe sur le premier point que j’avais mentionné comme quoi chercher un mélange sur une discrétisation de la fonction quantile, ou de la fonction de répartition, me semble étrange). Bref, je pense que l’ensemble de l’étude statistique repose sur des arguments fallacieux, ce qui a malheureusement tendance à décrébiliser l’ensemble de l’analyse. C’est dommage… Pourquoi ne pas avoir fait appel à un chercheur connaissant statistiques pour faire l’étude ? Mais beaucoup sont passés par l’INSEE, ce qui semblerait ôter tout légitimité à être critique (à en croire le petit encadré en bas)… Je crois qu’il serait temps d’arrêter de stigmatiser ainsi l’insee, beaucoup de gens y travaillant ayant gardé un esprit ouvert et critique ! Il serait dommage de ne pas s’appuyer sur leur expertise. L’autre regret est que la caution intellectuelle viennent d’un ” directeur de recherche du CNRS” (éventuellement en linguistique ou en anthropologie, on n’a malheureusement pas plus d’information). Je trouve regrettable qu’un titre académique permette de se dédouaner de toute relecture critique… par des statisticiens….
OpenEdition suggests that you cite this post as follows:
Arthur Charpentier (April 26, 2010). Faut-il se fâcher avec tout le monde ? Freakonometrics. Retrieved December 5, 2024 from https://doi.org/10.58079/oudr
Salut,
j’ai lu l’article de Fakir plutôt avec plaisir, sachant que je suis doctorant en biologie pas en statistiques (l’exemple des fourmis me parle) et que mon cheval de bataille à l’heure actuelle est la représentation graphique des résultats. Sur ce point, j’ai trouvé que l’article de Fakir était plutôt efficace et illustrait très bien qu’il n’y a pas de représentation neutre des résultats, comme vous le rappelez vous même dans votre article électronique.
De ma petite expérience en tant qu’utilisateur qui ESSAYE d’être prudent, les mélanges de lois sont des casses-têtes, autant pour estimer les proportions du mélange que pour les hypothèses sur les distributions du mélange. Expliquer cela à ses pairs lors d’un séminaire revient à la montée du Golgotha et à une lapidation à coup de figues molles : ça ne fait pas mal mais on est ressort tout cracra et couvert de mouches, avec en prime la réputation de les enculer. Mon chef d’équipe, médaille d’argent du CNRS pour ses travaux et auteur d’un papier sur une distribution bimodale qui en réalité est du à un artefact des instrument de mesures, m’a dit que la vie était suffisamment compliquée comme cela et que ce genre de trucs ne servaient à rien.
Bref, tout cela pour dire que cet article me semble honnête dans le sens où l’on travaille sur les revenus et qu’effectivement l’hypothèse d’un petit groupe avec des très hauts salaires et une large variance est plus que raisonnable. L’idée d’utiliser une loi de mélange est également raisonnable puisqu’avec les données dont on dispose, on n’a pas l’occupation professionnelle des gens mais juste des données agrégées. Si on avait les données sur les métiers et les revenus des gens, plus besoin de mélanges : on pourrait séparer les différents groupes sans problèmes. Avec les données dans Fakir, je pense que les données sur les métiers peuvent être vues comme manquantes et à estimer à partir d’un modèle. Donc oui, je trouve que c’est raisonnable de traiter cela comme des groupes discrets, et que vu les différences énormes entre les salaires moyens du plus haut décile et du reste, on n’aura pas de mal à identifier deux modes, quand bien même la variance du groupe des haut salaires serait très grande (car l’autre variance est de tout façon bien plus faible). Je trouve que vouloir dire le contraire revient à jeter le bébé avec l’eau du bain, et à ignorer tous ce que l’on connaît par ailleurs sur la rémunération des citoyens. En gros, je veux dire que si l’analyse dans Fakir n’est pas vraie dans le sens absolu du terme, elle n’est pas inutile pour autant (le fameux “All models are wrong, but some are useful” de Georges Box). On parle d’un exemple appliqué ici, et si tout ce que vous avez écrit est juste, je pense que cela ne disqualifie pas pour autant l’exemple qui est présenté dans Fakir ; à savoir:
1) la représentation des résultats n’est pas neutre, et
2) l’écart entre plus haut revenu et plus bas revenu s’est creusé au cours des dernières décennies.
Ces deux points tels qu’ils sont expliqués dans Fakir sont très clairs. Et c’est là le but de l’article.
Les lois de mélanges sont épineuses dans mon expérience et j’avais été traumatisé (trop-mathisé ?) par un exemple de données circulaires analysées avec un mélange de Gaussiennes pour illustrer que ce qui ressemble à un mélange n’en est pas nécessairement un ! Après psychothérapie, je me dis maintenant que c’est quand même rare que les gens ne sachent pas quel type de données ils analysent, et que si importantes qu’elles soient, ces hypothèses sous-jacentes peuvent normalement être évaluées par des analyses de sensibilité (dans l’absolu… pas forcement dans la pratique).
Cela dit votre article électronique est superbe ! Et les animations vraiment lumineuses, même si “artisanales” (en fait j’aime aussi beaucoup les boucles dans R. Non, je n’ai pas de vie : je suis doctorant!).
Pour ce qui est de l’anonymat de l’auteur, c’est certes regrettable pour des scientifiques qui sont attachés à ce que les travaux et leurs auteurs soient clairement identifiables. Mais cela peut aussi se comprendre dans le sens où le gars qui écrit peut y laisser des plumes (ou sa réputation, autre notion assez immatérielle à laquelle les scientos sont accros). En fait, cela me choque moins que les comités de relecture d’articles scientifiques où les auteurs ne sont pas anonymes, mais les relecteurs oui. Et ce sont dans ma maigre expérience des bulldogs! Si les scientos appliquaient TOUS leurs principes de manière cohérente, la situation serait différente. Ce dernier paragraphe est un laïus mais bon, je peux comprendre pourquoi ce directeur peut tenir à son anonymat (comme les relecteurs) sans pour autant approuver.
A plus
REPONSE: merci pour ce long commentaire, auquel je n’ai pas grand chose à apporter… si ce n’est que si effectivement l’histoire des modes peut être intéressante pour des quantité qui pourraient être unimodale (ou disons Gaussiennes) par sous groupe homogène (comme la taille), je doute de leur intérêt pour des lois qui ne sont pas unimodale (ou disons exponentielles, ou Pareto) comme le revenu. On avait fait une étude – parue dans Environmetrics – sur les mélanges dans les durées, en l’occurrence les durées entre crues au Canada, où on observait deux types de crues: les crues dues à la fonte des neiges, et les autres… il faudrait que je reprenne lesdites données pour voir ce que donnerait une analyse similaire…. Sinon pour être vraiment honnête, je suis assez d’accord sur le fait que l’étude est loin d’être inintéressante ! mais une relecture aurait pu être tellement profitable (c’est peut être l’intérêt des relectures dans les revues à comité de (re)lecture). Quant au dernier point sur l’anonymat, je peux le comprendre, mais ça a tendance à m’agacer, y compris pour les blogs anonymes et critiques…. Ce qui m’a surpris dans cet article, c’est qu’au contraire, j’aurais pensé que l’auteur en question aurait pu signer par son nom, et prendre une position comme individu (ou citoyen comme on dit de manière pompeuse) éclairé…. ce que je n’aurais pas critiqué ! Je pensais qu’un article signé “John Doe” aurait été plus honnête que “J.D., sachant reconnu par ses pairs”…. c’est tout…. Mais je ne prétends pas non plus avoir de point de vue arrêté sur le sujet, la preuve de mon ambiguïté est l’existence même de mon blog: j’écris avec une double casquette, ma casquette d’arthur charpentier (le blog étant souvent référence comme tel) mais aussi d’enseignant chercheur à Rennes 1 (qui héberge mon blog). Beaucoup de positions sont prises de manière personnelle, alors qu’il s’agit d’un blog professionnel (je reconnais avoir du mal à séparer le personnel du professionnel, et je le reproche aux autres). Sinon je suis d’accord sur le fait que le message “la présentation des données est importante” est est message qu’il faut davantage faire passer, et je soutiens l’article sur ce point ! très largement …. quant au second… malheureusement comme je le disais dans mon commentaire précédant, je trouve pour ma part que l’insee ou alt éco font mieux passer ce point que l’article de Fakir. L’étude des quantiles – qui est le premier point de l’article d’alt éco – est d’ailleurs basé là dessus… Je ne crois pas que c’était le message du papier de Fakir qui disait que l’écart entre 2 classes – non définies d’ailleurs – se creuse… L’écart entre les quantiles se creuse, mais ce n’est pas ce que veut montrer l’article. Un des problèmes est d’ailleurs la définition de cette notion de “classe”, que je n’avais pas voulu abordé pour l’instant. Pour ma part, je suis enseignant chercheur, j’ai été “assistant manager” dans une compagnie d’assurance, bref, j’aurais tendance à croire que je fais partie de “la” classe “supérieure”. Il y a encore trois ans, j’étais ATER, payé 1000 euros net par mois. Pour
des études à bac+beaucoup (école d’ingénieur+master de recherche+thèse de doctorat+titres d’actuaire) et 10 ans d’expérience professionnelle, je trouve cela faible. Et maintenant que je suis Maître de Conférences, quand je regarde les salaires dans la rubrique porte-monnaie, je suis très très surpris. Bref, tout ça pour dire que je trouve que le lien entre “classe” et “revenu” n’est pas simple. En particulier pour la classe qui ne serait pas définie comme la classe prolétaire, j’ai l’impression que les écarts de revenus au sein de ladite classe ont également explosé… Dans cette classe, parfois dite “intellectuelle et supérieure”, on trouve vraiment de tout…. Bref, on a davantage de classes que simplement deux classes… Bon, je vais arrêter là, merci encore pour le commentaire qui nourrit le débat j’espère, et bon courage pour la thèse….
Et Je dirai même : à quand des statistiques publiques ouvertes à tous les citoyens ?
REPONSE: en principe je ne peux qu’être d’accord… mais je suis surpris qu’en tant que chercheur, il soit impossible d’avoir accès à certaines données. Comme le notait Avner lors d’une discussion autour d’un café, il est surprenant que beaucoup de monde en France continue à penser que posséder des données ait une grandeur valeur; la vraie richesse, c’est l’exploitation de ces données !
Je n’ai pas lu l’article, mais d’après ce que j’ai compris, je remarque que l’auteur du texte de Fakir n’est pas si malhonnête que ça.
Il cherche à montrer qu’en présentant une distribution avec des quantiles en ordonné on ne permet pas au lecteur non formé de voir la distribution “brute”.
Les fourmis de Weber ne sont qu’un exemple qui montre qu’on ne voit pas grand chose sur le graphique des fourmis une fois que les individus sont regroupés en quantiles.
Bon je dis ça mais j’ai pas lu l’article non plus et je ne connais pas très bien les stats.
REPONSE: tu as peut être raison…. et j’ai peut être lu ce que je voulais lire histoire d’enfoncer quelques points méthodologique que je peux lire par ailleurs, et qui entretiennent la confusion (mais le chercheur en question ne fait que s’appuyer sur wikipedia, ici, reproche que l’on fait sans cesse à nos étudiants),
j’étais un peu énervé samedi… énervé par cette posture de “sachant” prise par ce scientifique qui n’est jamais nommé. C’est peut être aussi pour ça que j’ai pu être excédé, car je n’oserais pas m’en prendre à une personne en la citant, mais comme l’article était anonyme j’ai eu l’impression d’une attaque facile et peu justifiée (en tous les cas sur la base de ce qui est mentionnée). Si le but est juste de dire qu’on ne voit rien sur une courbe de quantile discrète, je trouve que ça ne mérite pas deux pages… Et ces courbes apportent une information que donne mal la densité (à moins d’avoir une calculatrice sous le coude). Si le but du papier était de dire que la lecture de données est très liée à la manière de les présenter, je ne peux qu’être d’accord….En plus, je le rejoins entièrement sur un point : à quand des statistiques publiques ouvertes aux chercheurs sur les revenus ?
Une anecdote, puis 3 questions.
Lorsque j’étais doctorant, des étudiants étaient venus chez mon prof se plaindre d’un examen en exhibant une distribution bimodale des résultats, disant que ce n’était pas normal qu’elle ne soit pas normale ( …) Ce à quoi le prof leur avait dit “vous n’êtes pas des événements indépendants. Il y a ceux qui ont travaillé mon cours, et les autres” 😉
Questions :
1) pourquoi ne peut-on pas dériver la fonction de répartition de l’insee pour retrouver la densité ? Parce qu’elle est quantifiée par les déciles ? Pourtant la courbe continue doit être connue puisque le coefficient de Gini de la France est régulièrement publié… D’ailleurs, n’est-ce pas dommage de quantifier des données (en les regroupant en quantiles) alors que les moyens actuels permettent de traiter les données complètes ?
2) d’ailleurs, comment pourrait-on obtenir la http://fr.wikipedia.org/wiki/Courbe… à partir des données de l’INSEE ? (Je recherche des vraies courbes de Lorenz pour mon calculateur d’inégalité http://drgoulu.com/2009/10/11/calcu… )
3) comment faites-vous ces jolis petits graphiques animés ?
Merci, bravo, un blog de plus dans mes flux RSS
REPONSE: pour la première question, effectivement, tout serait beaucoup plus simple si on avait accès aux données individuelles…. Je ferais un jour un billet sur la difficulté que l’on a pour récupérer des données individuelles. En ce moment, je prépare un billet sur les dates de naissances en France. J’ai contacté 25 caisses d’allocations familiales, je sais qu’elles ont les données sous forme informatique… pour l’instant j’ai 15 réponses différentes (toutes équivalentes à des refus). Sur des sujets anodins, c’est déjà dur d’avoir des données, alors pour le revenu !
Quand l’INSEE publie la courbe de Gini, ils se basenet sur leurs enquêtes et ont des infos sur les revenus. Plus généralement, pour tracer la courbe de Lorenz, il faut des infos supplémentaires, genre le revenu moyen par classes… Bon, je ferais un billet sur le sujet dès que je trouve le temps….
Quant à la dernière question, j’ai honte… c’est du R avec des boucles: je génère plein de graphs en .png avec un incrément dans le nom, puis j’utilise VirtualDub pour générer un .gif à partir de centaines (voire des milliers comme dans les graphs que je suis en train de finir sur la rue Saint Michel) d’images.