Comprendre les sondages
Ces dernières semaines, comme pendant toutes les campagnes électorales, on entend beaucoup parler de sondages. Ségolène Royale gagne 2,5%, elle remonte, Bayrou quant à lui s’envole, etc. Et inévitablement, surtout depuis le 21 avril, on entend en réponse « de toute façon les sondages c’est pipeau et compagnie ».
En tant qu’étudiante de l’ENSAE (Ecole Nationale de
Les sondages sont-ils fiables ?
Si l’on demande à quelqu’un s’il aime les yaourts de la marque X, ou le nouveau film de Brian De Palma, il va vous répondre franchement. Vous réunissez et « redresser »[1] les résultats et vous avez un résultat à une marge d’erreur prêt. Par exemple 20% des Français aiment les yaourts de la marque X, à plus ou moins 5%. Cela permet de se faire une idée de la taille du marché de la vente de yaourts.
Il est important de noter que les sondages étant fondés sur des théories mathématiques solides d’une représentation fidèle de ce qu’on aurait obtenu en interrogeant toute la population française (à la marge d’erreur près).
Pourquoi alors les sondages d’intentions de vote se trompent-ils souvent ?
Si les sondages commerciaux, comme nous venons de le voir, peuvent être fiables, il en va autrement des prévisions de vote. Pourquoi ? Deux raisons expliquent les difficultés des instituts de sondage en cette matière :
- Les gens changent d’avis
- Ils mentent
1. Le fait d’aimer ou de ne pas aimer un yaourt ou un film est quelque chose d’assez stable. De toute façon, même si les « préférences des consommateurs » se modifient légèrement et mettons que ce ne soit plus 20%, mais 17% des Français qui aime tel ou tel produit, cela n’a pas de conséquences dramatiques. Au pire on aura surproduit un peu. Mais si Jospin fait 17% et pas 20% et que Le Pen a un score de 18% et pas 15%, les conséquences sont bien plus importantes.
Ce que les gens pensent voter maintenant n’est pas forcément ce que les gens voteront dans 2 mois, ou même quelques jours. Certains n’ont d’ailleurs pas la moindre idée de ce qu’ils vont voter et ne se décideront que dans l’isoloir. Heureusement d’ailleurs sinon l’engagement politique et les campagnes électorales n’auraient plus de sens.
Les sondages ne sont que le reflet de ce qui se passerait si les gens entraient dans l’isoloir au moment où on les interroge. Ce n’est pas ce qui se passera au premier tour. C’est d’ailleurs pour cette raison que les sondages sortie des urnes sont si fiables et que l’on peut savoir une minute après la fermeture des bureaux des votes qui a été élu : les sondeurs interrogent les électeurs au moment où ils votent, et n’interviewent que les gens qui ont effectivement votés.
2. Les gens mentent. Il est difficile, même à un enquêteur au téléphone de dire « Oui je vote Le Pen. Les noirs et les arabes dehors. » (Je caricature un peu). Le vote frontiste est donc sous-déclaré par rapport à celui des autres parties. 
Les sondeurs, qui connaissent cet effet, corrigent donc les résultats. Comment ? À l’aide des enseignements tirés des élections précédentes. On sait par exemple qu’en l’année n, Le Pen a eu un score de 14%, alors que seulement 7% des sondés déclaraient avoir l’intention de voter pour lui. L’élection suivante, les proportions étaient de 8%/17%. Les instituts de sondages en ont conclu qu’il faut multiplier les intentions de vote pour Le Pen par un coefficient proche de 2. On voit bien les limites de ce genre de raisonnement. Que se passe-t-il si les Français changent de comportement et n’ont plus honte de déclarer le vote d’extrême droite ? Comment les sondeurs peuvent-ils anticiper cet effet ? Quel coefficient appliquer à Monsieur de Villiers ? Ces questions restent ouvertes.
Comment les instituts de sondages parviennent-ils à nous donner des chiffres censés refléter toute la population française en interrogeant 1013 personnes ?
Parfois, lorsqu’on lit le résultat d’un sondage dans la presse, on voit une petite mention au bas du tableau précisant « sondage réalisé par entretiens téléphoniques sur la base d’un échantillon de 1013 individus.
Première porte ouverte à enfoncer : plus l’échantillon interrogé est faible moins les résultats sont solides (ie plus la marge d’erreur est importante). Si on interroge très peu de personnes, on va avoir une marge d’erreur très importante, et vis versa. A la limite en interrogeant un échantillon constitué de tous les votants, on aura une marge d’erreur de 0% (n’est-ce pas d’ailleurs ce que l’on fait lorsqu’on dépouille, on interroge tout le monde ?). Or me direz vous, 1013 personnes ce n’est pas beaucoup. Et une marge d’erreur importante, cela peut être un vrai problème. Supposons que Ségolène Royal ait un score de 24% et Bayrou de 20% à plus ou moins 5%. On ne peut pas savoir, même s’il s’agissait d’un sondage sorti des urnes, qui passe au second tour. De ce fait les sondeurs essayent d’avoir une marge d’erreur faible, proche de 1 à 2%.
Pour réduire la marge d’erreur en interrogeant peu de personnes, les sondeurs utilisent la « méthode des quotas » (cela coûte cher d’interroger beaucoup de monde). Cette méthode consiste à prendre une représentation du corps électoral et à interroger un échantillon correspondant à cette représentation. Par exemple on sait que les femmes votent plus que les hommes, disons que la répartition est de 55% de femmes et de 45% d’hommes dans les votants. Il faut aussi que l’échantillon comporte 55% de femmes et 45% d’hommes. De même pour le poids des différentes classes d’âge, pour la plus grande participation des plus diplômés… Cela permet –pour des raisons que je n’expliquerais pas ici- d’interroger peu de personnes tout en gardant des résultats un peu près fiables.
Première remarque à ce sujet : Que se passe-t-il si des individus qui n’avaient pas l’habitude de voter (les jeunes de banlieue, les Français de l’étranger…) se mettent à se rendre aux urnes ? Comment les sondeurs prennent-ils en compte cet effet ? Là encore la question reste ouverte.
Deuxièmement cette méthode explique aussi pourquoi il ne faut pas donner crédit au site Internet de type « votez2007.com », sur lesquels les internautes se connectent puis votent. Pensez-vous vraiment que l’individu moyen qui fait la démarche d’aller voter en ligne correspond au votant moyen du dimanche ? Il a un niveau de diplôme et de revenu plus élevé, est plus souvent un homme… Le moins que l’on puisse dire c’est que l’échantillon est biaisé ! Les résultats de ces « pseudo sondages » ne reflètent que les résultats d’une élection à laquelle seuls les visiteurs de ce site prendraient part.
En réalité la méthode idéale consisterait à choisir parfaitement au hasard des individus dans la population française, à les interroger (et à les forcer à répondre) puis à corriger les résultats à l’aide de la méthode des quotas. Or aucun institut de statistiques privé ne peut faire ça (seul l’INSEE peut). Dans les faits ces instituts privés interrogent les gens par téléphone, donc n’interrogent que les gens possédant un téléphone et étant présent à leur domicile au moment de l’appel. Cela peut paraître anodin, mais cela écarte les étudiants qui ne vivent pas chez leurs parents (ils ont un portable pas de fixe), les gens qui travaillent pendant la soirée quand les coups de fil sont passés…
Pour conclure ce très long post, je dirais qu’avant de critiquer un sondage, il faut connaître les circonstances exactes de sa réalisation, car un sondage bien fait peut être tout à fait informatif. Si un candidat est crédité de 1% des intentions de vote, malgré toutes les limites évoquées dans ce post, il est peu probable qu’il fasse 30%.
Une fois de plus on doit se souvenir que les résultats qu’on nous donne à la télévision à 20h01 le soir des élections sont faits à l’aide de ces méthodes statistiques si souvent décriées. Or ces sondages à la sortie des urnes se trompent rarement. Au pire des cas les sondeurs déclarent « on ne peut savoir à l’aide des données actuelles, il faut attendre le dépouillement complet des bulletins » (comme lors des élections américaines Bush/Al Gore).
Voilà j’espère que j’aurai un peu éclairé les lecteurs qui m’ont lu jusqu’au bout. N’hésitez pas à me poser des questions !
[1] J’explique un peu les techniques de ces techniques de redressement dans ma deuxième et troisième question