vignette|Sondage sur l'énergie nucléaire en Europe - Ce diagramme présente les résultats d'un sondage réalisé dans l'Union européenne (19 avril 2002, Eurobaromètre 56.2). Selon ce sondage, 50,5 % des citoyens de l'UE sont favorables à la production d'énergie nucléaire au sein de l'UE (en bleu), tandis que 25,5 % y sont opposés (en jaune). Un sondage d'opinion, ou une enquête d'opinion, est une application de la technique des sondages à une population humaine visant à déterminer les opinions probables via l'étude d'un échantillon confectionné par les entreprises de sondages.
Concernant les sondages d'opinion en France réalisés avant l’élection présidentielle, à l'historique désormais facilement traçables grâce à Internet, sont passées de 111 en 1981 à 293 en 2007 puis ont à nouveau triplé, apportant aux entreprises de sondages l'essentiel de leur notoriété Édouard Lecerf (TNS Sofres) et Jérôme Sainte-Marie (CSA) dans l'émission Ligne j@une du 9 mars 2011 sur www.arretsurimages.net et suscitant un débat sur leur fiabilité"5 choses à surveiller absolument lorsque vous lisez un sondage" par Lucie Alexandre le 22 octobre dans L'Obs"Élection présidentielle 2022 : biais et disparités méthodologiques des intentions de vote" par Bruno Cautrès, chercheur au CNRS et au Cevipof-Sciences Po, Le Monde, 10 octobre 2021 "Présidentielle : les sondeurs en quête des électeurs cachés" par Valérie de Senneville, Les Échos, 17 avril 2017 .
Aspects méthodologiques Échantillonnage Utilisation d'un échantillon Soit un sondage aléatoire de grandeur et la proportion de personnes qui répondent « oui » à la question posée. Le théorème central limite dit que si est grand alors suit approximativement une distribution normale avec moyenne (la proportion dans la population) et écart-type . L’intervalle de confiance à 95 % est . Par prudence, prenons la valeur qui donne l’écart-type le plus grand. L’intervalle de confiance devient . Si on obtient . La marge d'erreur est plus ou moins 3 points de pourcentageEn général, soit la probabilité selon la distribution normale, on a et la marge d’erreur ..
Soit l’erreur d’estimation, c’est-à-dire la différence entre et . Pour une erreur donnée la grandeur nécessaire de l’échantillon est . Le sondage stratifié — qui consiste à diviser la population en plusieurs groupes et à prendre un échantillon dans chaque groupe — est préférable à un sondage aléatoire simple car l’écart-type est plus petit. Un sondage selon la méthode des quota n’est pas basé sur la théorie statistique et ne permet pas de calculer la probabilité d’une certaine marge d’erreur. Cette méthode postule une corrélation entre certains caractères de la population. Les caractères retenus pour former l’échantillon sont souvent le sexe, l’âge, la profession et la région. La proportion de ces variables dans la population donne des quotas qu’on applique à l’échantillon. On suppose que l’opinion de la population est corrélée avec ces variables dites de contrôle.
Un sondage selon la méthode des quotas peut donner de meilleurs résultats que ceux d’un sondage aléatoire. Entre 1970 et 1979 la moyenne des erreurs lors des élections anglaises a été de 3 points de pourcentage pour la méthode des quotas contre 6.3 points pour les sondages aléatoiresVoir Robert Worcester, « Political Polling : 95% Expertise and 5% Luck », J.R. Statist. Soc. A, 1996, 159, .
Un échantillon biaisé donnera un résultat mauvais même s’il contient plusieurs millions de personnes. L’exemple le plus fameux est celui du sondage du Literary Digest en 1936.
Erreur d'échantillonnage En statistiques, le calcul d'erreur suppose un échantillonnage au hasard. Or, les sondages se font en général en considérant un panel dit représentatif. Ceci rend plus complexe le calcul d'erreur.
Dans le cas des sondages politiques, Jérôme Sainte-Marie, directeur de BVA Opinion, estime qu'ils accusent une erreur de 2 ou 3 %L'élection dans le miroir des sondages, Jean-Dominique Merchet, Paul Quinot, Libération, 27 février 2007 voire peuvent dépasser 6 %, comme les sondages relatifs à des élections primaires en France , Marianne, en raison de la méthodologie et du faible nombre ou d'échantillons d'individus sondés. Les sondages politiques sont révélateurs de ces limites ; ainsi, des résultats de plusieurs entreprises de sondages portant sur un même domaine et sur la même période sont publiés, ce qui permet de les comparer et éventuellement de mettre en évidence certaines divergences ou contradictions concernant une même question.
À titre d'exemple, les résultats comparés des sondages des différents organismes à la même période pour l'élection présidentielle française de 2007 sont significatifs :
+ Estimation des sondages (en %) pour l'élection présidentielle de 2007 entre le 13 et le Entreprise de sondages Candidat Nicolas Sarkozy Ségolène Royal Indécis François Bayrou Jean-Marie Le Pen IFOP 32,5 25,5 16 11 Entreprise de sondages CSA 28 29 17 14 BVA 33 26 21 15 10 LH2 33 25 19 14 13 TNS-Sofres 33 26 18 13 12 Moyenne 31,9 26,3 19,3 15 12 Écart type 1,4 1,4 1,2 1,4 1,4
Si l'on considère un intervalle de confiance de 95 %, il faut multiplier les écarts types par 2,8 (3,2 pour les indécis)si l'on estime que la mesure de l'opinion est une variable aléatoire réelle suivant une loi normale, on peut déterminer l'intervalle de confiance grâce à la loi de Student, soit une erreur entre 3,5 et 4,5 points. Si maintenant on fait figurer les intervalles d'erreur, on obtient :
+ Synthèse des sondages (en %) pour l'élection présidentielle de 2007 entre le 13 et le Nicolas Sarkozy Ségolène Royal Indécis François Bayrou Jean-Marie Le Pen Moyenne 31,9 26,3 19,3 15 12 Intervalle d'erreur 27–36 22–30 15–24 11–19 8–16
Taille des échantillons La représentativité des échantillons sur lesquels s'appuient bon nombre de sondages publiés dans les médias sont l'objet de vives discussions. Cette question est particulièrement importante dans les cas où les chiffres sont très serrés.
Ces dernières années, il est apparu qu'environ 50 % de la population ne peut pas être sondée car soit elle a seulement un téléphone portable (surtout pour les jeunes), soit parce qu'elle n'est pas présente chez elle aux heures où les sondeurs appellentLe français des sondages : l'abonné au téléphone fixe de plus de 34 ans appartenant aux catégories supérieures vivant en métropole.
Aujourd'hui un certain retour à la base du sondage de certaines entreprises de sondages qui privilégient la qualité de l'échantillonnage sur les calculs statistiques qui multiplient les marges d'erreur. Ainsi, des études média peuvent comprendre interviews (pour la radio). D'autres, peuvent travailler sur des échantillons composés de interviews téléphoniques avec des questionnaires qui croisent des données média avec des données de consommation et de fréquentation.
En effet l'insuffisance d'individus d'un échantillon ne peut garantir la véracité des résultats proposés par le sondage. L'idéal, comme le mentionne E. Jeanne (, ), est de sonder le maximum de personnes pour apporter la meilleure qualité et donc de réduire les marges d'erreur. Le désintérêt de la population pour les sondages ne facilite pas le travail des entreprises réalisant les études.
Questions propres à la méthode des quotas
Si la technique aléatoire était utilisée, le calcul des intervalles de confiance montrerait que des fluctuations aussi faibles doivent inciter à une grande prudence dans leur interprétation. D'autre part il est indiscutable que la méthode des quotas ne satisfait pas la condition rigoureuse d'indépendance à la base des sondages aléatoires, ce qui exigerait en principe d'autres approches de sa précision.
Face à ce problème, la position exprimée systématiquement à l'occasion des campagnes électorales tient en deux points : le calcul des intervalles de confiance est inapplicable et – cela demanderait un minimum de justifications – la méthode des quotas est plus précise que la méthode aléatoire.
Une autre position, plus rarement exprimée, se trouve par exemple sur le site internet d'Ipsos : si on veut fournir une indication sur la validité d'un sondage, on est bien obligé d'utiliser ce qui existe, tout en sachant que ce n'est qu'une approximation.
Il semble qu'il soit possible de renforcer un peu cette position. En effet c'est l'indépendance des réponses, difficile à assurer dans un sondage à l'échelle de la France, qui permettrait le calcul des intervalles de confiance. À l'opposé, on peut imaginer un sondage à prétentions nationales effectué dans un seul quartier, ou une seule entreprise ; celui-ci donnerait évidemment des résultats sans signification pour le pays parce qu'il y aurait probablement de forts liens entre les différentes réponses. La méthode des quotas, en contraignant les enquêteurs à interroger des personnes appartenant à divers milieux, brise un grand nombre de ces liens et ne peut que rapprocher ce type de sondage du sondage aléatoire, sans qu'on puisse mesurer la distance qui existe entre les deux.
En France, les sondages électoraux, contrairement aux autres sondages aux méthodes plus éprouvées, se passent quasiment exclusivement au téléphone fixe alors que certains sondés se sont désabonnés pour ne garder que le téléphone portable., d'autres ne sont guère joignables ou sur liste rouge ce qui induit un biais supplémentaire, dit « biais de sélection ». Traitement du sondage
Corrections des résultats bruts des enquêtes Les statisticiens, notamment en matière de sondages politiques opèrent un grand nombre de corrections des données obtenues. Par exemple, les données CVS, corrigées des variations saisonnières, tentent de corriger les effets dus à la saisonnalité du phénomène mesuré. Si certains sont particulièrement évidents — une forte baisse de l'activité économique en août n'est pas le signe d'un effondrement économique — d'autres en revanche sont plus sujets à caution.
En matière de sondages électoraux par exemple, on corrigera certains décalages entre déclaration et réalité des votes passés effectifs. On observe par exemple un décalage entre les déclarations d'intention de vote Front national et les votes réels, plus nombreux. Les statisticiens mesurent cet écart et le reportent pour les mesures suivantes afin de donner un chiffre plus représentatif de la réalité, c'est ce que l'on nomme le « redressement des résultats bruts ». Les détracteurs des sondages considèrent que l'on sort ici de la stricte mesure des déclarations d'intention de vote pour donner un chiffre ayant la prétention d'indiquer ce que les électeurs comptent faire en réalité, d'autant plus qu'aucune entreprise de sondages ne publie les pourcentages réellement exprimés ou leur multiplicateur.
Formulation des questions La formulation de la question peut influencer les réponses.
Une étude menée sur trois sondages effectués au moment du bombardement de la Libye par l'armée américaine en 1986 a par exemple révélé des décalages considérables de réponse en fonction de l'intitulé de la question, certaines étaient particulièrement abstraites citant « l'action américaine contre Kadhafi » alors que de l'autre côté un magazine parlait de l'armée américaine, de bombardements et nommait les villes touchées. Avec la plus abstraite des formulations, l'événement recueillait 60 % d'assentiments, la formulation intermédiaire 50 %, la formulation la plus précise 40 %.
Ce décalage ne pose pas de problème si l'on conserve à l'esprit que les sondages mesurent une réponse à une question et non pas la réalité d'une opinion dans la population. Aux yeux de leurs détracteurs, la confusion apparaît pourtant particulièrement fréquente et très volontiers entretenue par ceux qui commandent les sondages et qui peuvent même choisir de ne pas les publier si les résultats ne correspondent pas à ce qu'ils veulent démontrer.