Ce soir, @imparibus reprenait une information du Point (ici). “Un sondage de l’institut Sensus diffusé jeudi crédite Mme Rousseff, 62 ans, de 46,8% des intentions de vote et José Serra, 68 ans, de 42,7% […] la marge d’erreur du sondage est de 2,2%, a expliqué un reponsable de l’enquête [… ce qui donne une ] grande probabilité que les 2 candidats soient à égalité”. @imparibus affirmait que c’était faux,@adelaigue me demandant mon avis…
Bon, je suis flâté qu’Alexandre m’appelle à l’aide, mais je suis plutôt nul en sondage… Bref, pour faire une réponse intelligente et détaillée, il me faudra un peu plus de place que ce que ne me propose Twitter…
Soit 
la probabilité de voter pour R, et 
la probabilité de voter pour S. On note 
la probabilité de voter pour un autre candidat, 
.
Si 
et 
sont les fréquences empiriques obtenues à partir de 
personnes sondées, rappelons que
et
Aussi,
Si on veut tester 
(hypothèse 
) car c’est finalement de ça qu’on parle ici, l’idée la plus naturelle serait d’introduire la statistique de test d’égalité des proportions,
qui suit – à la louche – une loi normale sous .
C’est bien joli tout ça, mais je ne connais pas ! En fait, on va essayer de s’aider de la petite phrase “la marge d’erreur du sondage est de 2,2%”
Alors si j’en crois le site d’ipsos (ici), cette marge d’erreur correspond à 2000 personnes interrogées…
Or ici =46% et et = 42.7%, avec
soit,
Si on compare à une loi normale, on a 2.6% de chances d’atteindre une telle valeur…
On peut aussi faire un test du chi-deux. En cas d’égalité des proportions, on devrait avoir 
=44.75%
et si on utilise un test du chi-deux pour mesurer la distance entre les deux lois multinomiale (sous et sous H1), on a comme distance du chi-deux
soit ici 
=3.71 avec 2000 personnes interrogées. Sous , devrait suivre une loi du chi-deux à 1 degré de liberté, ce qui donne une p-value de 5.26%.
On peut aussi tenter un test de rapport de vraisemblance. Sous , on a
alors que sous 
(en utilisant la forme des lois multinomiales). Le rapport des vraisemblances s’écrit alors
soit ici 
= 10.436. La statistique de test est ici qui doit suivre, sous une loi du chi-deux à un degré de liberté. La p-value associée est alors de l’ordre de 0,1%….
Bon, il semble qu’on puisse raffiner un peu les tests, en reprenant les idées de Nass (1959) et de Hoel (1938) – mais qui sont intéressant si on a peu de données (ce qui n’est pas vraiment le cas ici).
Bref, j’aurais tendance à être plutôt d’accord avec @imparibus. Maintenant, je suis nul en sondage, donc si quelqu’un a d’autres idées, je suis preneur ! Surtout que j’ai peut-être fait quelques erreurs de calculs ici ou là….
OpenEdition suggests that you cite this post as follows:
Arthur Charpentier (October 14, 2010). et c’est parti pour les élections… Freakonometrics. Retrieved December 3, 2024 from https://doi.org/10.58079/ouf4
Il me semble que nous avons oublié une partie… Marge d’erreur soit, mais à quel niveau de confiance (ou degré de risque). Raisonnons nous à 95% ou à 99% :p
En parlant de calculs, ne devrions nous pas plutôt
1/ utiliser une variance empirique (oui, je sais étant donné n c’est assez théorique mais bon)
2/ utiliser la Student à un DDL remarquablement élevé (bon, ok c’est pinailler et comme vous le dites, c’est ” à la louche”).
3/ peut raisonner sans remise (ok, c’est Hypergéométrique, et de toute façon étant donné les valeurs en jeu, la variation est plus que minime).
On peut aussi penser au G test ou au (pour les grands malades) test exact de Fisher.
Plus important:
J’ai cependant un vaste doute car si je me souviens bien le premier test de comparaison des proportions est valable pour deux échantillons indépendants or j’ai bien peur que ce soit pas le cas puisque les deux proportions sont issues du même jeu de données. Pourriez vous éclairer ma lanterne?
“le 46,8% signifie qu’on a 95 chances sur 100 pour qu’entre 44,6% et 49% des gens votent pour Mme Rousseff”
Personellement je dis plutôt “95 pour cent de chance de ne pas me tromper quand j’affirme que la vraie proportion est dans l’intervalle 44.6 -49%. C’est plus lourd mais cela montre aux étudiants que l’on raisonne bien en statistique Neymanienne (la vraie valeur est inconnue, le risque d’erreur est lié au test et à l’utilisation d’un seul échantillon).
@ Nicolas Mauduit
En fait c’est une très bonne question. Effectivement en statistique, on a l’habitude de tester des hypothèses de type
$H_0 : Pr = Ps$ sans préciser le degré de précision avec lequel on mesure Pr et Ps. Evidemment, on ne pourra jamais prouver au sens strict que Pr = Ps.
Cette question est brièvement discutée à la question 5 de l’exercice 1 du TD1
http://dl.dropbox.com/u/367905/TDst…
C’est pour ça qu’au sens strict, on peut rejeter ou ne pas rejeter l’hypothèse nulle, mais on ne dit jamais qu’on “accepte” l’hypothèse nulle.
Je reconnais humblement que mes souvenirs de statistiques se sont effilochés au cours du temps… et ce n’était pas sur l’outil ni son maniement que portait mon commentaire, mais bien sur l’objet de l’étude (une élection débouchant sur l’égalité de deux candidats brésiliens, par exemple A=60 000 000 B=60 000 000, et non A=60 000 000 B=59 999 999 …) : tout comme la physique classique ne représente plus la nature quand on se place à l’échelle atomique ou subatomique, je ne pense pas que les analyses de sondages (admettons ici qu’ils soient parfaits, ce qui reste théorique ne serait-ce que concernant le tirage aléatoire de l’échantillon… et en tout cas non “retraités” à coups de quotas à la française) s’appuyant sur la Loi Normale soient une bonne représentation d’une élection politique : l’espace de travail est entier (N) et non réel (R), et une différence si “petite” soit-elle n’est en rien comparable à une “égalité” (non linéarité aux bornes du domaine, cf. tous les paradoxes en théorie des jeux : demandez aux protagonistes d’une élection de résultat serré, ou à une échelle plus petite l’avis du condamné à mort quand la loi sur son abolition par un parlement est rejetée à une voix près…). Les hypothèses ne me paraissent pas pertinentes au voisinage des limites du modèle : là ou granularité de la population en individus devient déterminante, comme l’égalité ou non dans un scrutin.
En matière de sondages politiques, sous hypothèse de bonne réalisation, je pense donc qu’ils ne peuvent présenter un intérêt que dans le cas ou un écart significatif est observé.
Vu l’ampleur que prennent les sondages, en particulier en France, dans la “communication politique”, un billet de votre part sur les conditions de validité et domaines d’interprétabilité des sondages politiques retiendrait sans aucun doute mon intérêt…
REPONSE: bon, sur le dernier point, je souffre d’un anti-sondagisme primaire… j’aurais du mal à en parler intelligemment, et j’ai déjà expliqué mon point de vue ici, là ou là encore… sinon je crois que l’on dérive vers un débat sémantique qui me dépasse, désolé.
…”mais c’est pourtant comme ça qu’on raisonne en théorie de la décision depuis bientôt un siècle… désolé….”
Je suis tout aussi désolé que les approximations et hypothèses requises pour appliquer ladite théorie ne soient pas toujours rappelées aux lecteurs des conclusions avancées.
Pis encore, un malentendu s’est probablement niché dans l’acception du terme “égalité” : si l’égalité entre les chiffres d’affaires de deux vendeurs de savonnettes se satisfait d’une approximation de 0.1%, en matière électorale une voix est une voix, et l’espace de travail est discret. Une conséquence en est que, par exemple, si le nombre de suffrages exprimés en faveur des deux candidats A et B est impair (environ la moitié des cas, vous en conviendrez), “la probabilité que les candidats soient à égalité” est nulle.
Maintenant, s’il s’agit de considérer l’exercice comme une annexe de la rhétorique, je me rends bien volontiers aux arguments d’une autre fine lame pour le mot de la fin, même s’il a exercé dans une autre branche :
“I guess I should warn you, if I turn out to be particularly clear, you’ve probably misunderstood what I’ve said. ” Alan Greenspan
REPONSE: bon, les hypothèses me semblent requises (en tous les cas j’espère que les sondeurs font proprement leur travail). Quand on fait un test, on teste une hypothèse (l’égalité) contre une autre (en l’occurrence l’inégalité). Formellement, on se demande alors ce qui est plus vraisemblance, que la différence (en valeur absolue) soit petite (car tous les statisticiens connaissent la théorie de la mesure, je vous rassure) ou au contraire, la différence est grande. La théorie de l’estimation ponctuelle et la théorie des tests visent à définir le seuil à partir duquel la différence est significativement trop grande pour être pertinente…. Pour revenir à votre histoire de tester une hypothèse de tester un évènement impossible, c’est comme faire un test de moyenne nulle, pour des échantillons de taille 100: on peut simuler plusieurs milliers d’échantillons de moyenne nulle, et de taille 100, et voir où on est tombé sur tous nos échantillons. Sous des hypothèses de loi normale centrée réduite, on note que dans 95% des cas, la moyenne tombe dans l’intervalle [-0,2;+0,2]. Autrement dit, si avec 100 points j’ai une moyenne de 0,1, je considère comme plausible d’avoir une moyenne nulle. En tous les cas plus plausible que d’avoir une moyenne non nulle…. On peut voir ça comme un test de rapport de vraisemblance d’ailleurs….
Mais tout ça est expliqué en détails dans les livres d’introduction à la statistique mathématique, et à la théorie des tests. Je pense au livre de Tassi, ou de Saporta, et tant d’autres…. En espérant que ça vous éclaire un peu…. sinon je vais voir s’il ne serait pas intéressant de faire un billet rapide sur le sujet… encore une fois, je donne mon cours à la session d’hiver, et si cette approche me semble évidente, elle ne l’est peut être pas pour tout le monde…
Et merci pour la citation, j’aime beaucoup: je crois que je vais la graver sur l’entête de ce blog !
je n’ai rien compris…
REPONSE: je veux bien vous croire… une réponse un peu plus claire se trouve ici, où j’ai davantage orienté la discussion sur la signification de cette marge d’erreur. En fait, la marge d’erreur de 2.2% n’a pas trop de sens ici…. C’est ce qu’on a pour un estimation d’une proportion unique…. Autrement dit, dans “Mme Rousseff, 62 ans, de 46,8% des intentions de vote” le 46,8% signifie qu’on a 95 chances sur 100 pour qu’entre 44,6% et 49% des gens votent pour Mme Rousseff. Mais ici on s’intéresse à la différence entre les proportions….
Or quand les deux candidats sont proches de 50%, ça signifie qu’un vote qui ne va pas à l’un a de très grandes chances d’aller à l’autre, ce qui se traduit par une corrélation de -1… Autrement dit, la variance de la différence devient la somme des variances… ou pour l’écart-type (car c’est ça qu’on prend en compte pour la marge d’erreur), 1,4 fois l’écart-type (à la louche) 3,1%…. Il faut donc faire attention à l’interprétation de ce 2,2%….. Maintenant si on ne raisonne pas à la louche, mais plus finement, c’est encore pire…. en fait, on serait plutôt à une marge d’erreur de l’ordre de 4 points. Je vous renvoie à la lecture du billet en anglais.. En espérant que ça éclairera mon propos….
si un évènement de probabilité nulle peut se produire, il me semble quasi évident que la probabilité “que les deux candidats soient à égalité” ne soit au contraire très proche de zéro (je ne vais pas tenter de la calculer ni de l’encadrer).
Pour s’en convaincre, observons que pour “que les deux candidats soient à égalité” il faut et il suffit qu’un nombre identique d’électeurs vote pour chacun des candidats. Vu la taille de la population et en prenant pour hypothèse qu’à eux deux ils réunissent 87% des suffrages, il faudrait que leurs scores respectifs – environ 60 000 000 – soient les mêmes à l’unité près… fort peu probable à mon avis.
REPONSE: je ne vais pas entamer un cours de statistique ici (je n’ai pas la place) mais c’est pourtant comme ça qu’on raisonne en théorie de la décision depuis bientôt un siècle… désolé….