À huit mois du scrutin, la CAQ a actuellement 95% de chances de gagner

Ce matin nous avons un nouveau sondage Léger plaçant la Coalition Avenir Québec à 39%, loin devant le PLQ à 28%. Combiné au sondage Mainstreet de ce mois-ci, cela nous donne une situation politique où François Legault aurait toutes les chances de devenir Premier Ministre si l'élection avait lieu demain. Naturellement, l'élection n'est pas avant octobre et les choses ont encore le temps de changer.

La poussée de la CAQ, commencée l'année passée, semble ainsi se confirmer. Il faut cependant remarquer que si Léger a ce parti à 39%, Mainstreet ne l'avait qu'à 32% il y a deux semaines de cela. Pour mes projections, j'ai naturellement pris la moyenne.

En termes de sièges et probabilités, vous avez le résumé ci-dessous. Les projections par circonscriptions sont disponibles à la fin de ce billet.

Intentions de vote; Projections de sièges avec intervalles de confiance; Chances de gagner le plus de sièges
Encore une fois, ces projections sont basées sur la moyenne des deux sondages. Si vous ne voulez utiliser que les chiffres du Léger (vous pouvez le faire en utilisant le simulateur), vous obtiendriez que la CAQ serait à 80 sièges!

Les scénarios possibles:



Regardons chaque parti en commençant par la CAQ. Longtemps coincé à 23-24%, ce parti semble profiter non seulement des difficultés du PQ mais semble maintenant capable de reléguer le PLQ sous les 30%. Elle est aussi première chez les francos -là aussi, le résultat est bien plus élevé chez Léger que chez Mainstreet cependant. Avec de tels chiffres, un gouvernement Caquiste serait presque garanti. Une majorité serait aussi très probable (près de 100% de chances si je n'utilisais que les chiffres de Léger). La CAQ profite naturellement de l'insatisfaction toujours massive envers le gouvernement Couillard (seulement 25% de satisfaits!) mais cela va au-delà de cela. Legault est vu comme le meilleur PM et son parti est celui qui a le plus faible nombre d'électeurs déclarant ne jamais pouvoir voter pour lui. En effet, alors que 33% ne voteraient jamais PLQ ou 22% PQ, seulement 5% disent la même chose pour la CAQ! Bien franchement, c'est un chiffre assez fou et je ne me souviens pas d'avoir vu un parti dans cette position. Cela ne paraît même pas possible! Vous voulez me faire croire qu'un parti qui existe depuis 2012 (ou avant si vous incluez l'ADQ) et qui a en général été perçu comme assez de droite n'aurait pas davantage d'ennemis?

La vraie question est de savoir si la CAQ est trop haute, trop tôt. 8 mois en politique, avec un budget, un été et une campagne entre les deux, c'est une éternité! Surtout, il faudra voir si les électeurs continuent d'aimer Legault autant lorsqu'ils seront plus familiers avec son programme. Attendez-vous à ce que le PQ et le PLQ le décrivent comme un programme très à droite avec des coupures un peu partout (note: je ne dis pas que cela est vrai ou pas, je dis simplement ce que les autres partis vont probablement faire. On l'a déjà vu récemment lorsque l'économiste Youri Chassin a annoncé être candidat pour la CAQ). Il y a aussi le fait que l'explosion CAQ n'est pas facile à expliquer. Son chef n'est pas nouveau et a déjà fait deux campagnes au Québec sous cette bannière. Le programme CAQ reste aussi le même essentiellement. Est-ce les Québécois aiment soudainement ce parti et ses idées tant que ça ou sont-ils derrière la CAQ car il n'y a pas de meilleure alternative? Après tout, lorsqu'un gouvernement est aussi impopulaire que ne l'est celui-ci, il est somme toute logique qu'un parti de l'opposition se dégage comme alternative principale.

À ce jeu-là, le PQ semble bel et bien perdre les batailles -et possiblement la guerre. Seulement 5% pensent que le PQ gagnera la prochaine élection. C'est pas le genre de stat qui va motiver la base. Ajoutez à cela les annonces de départs du cancus Péquiste et la situation est bien mauvaise pour Jean-François Lisée. Dans les faits, on en est rendu à se demander si QS ne récoltera pas davantage de sièges que la formation de Lisée (note: en se basant sur la moyenne des sondages, la réponse est actuellement que le PQ a 96% de chances d'être devant QS. Fiou pour ce parti!). Est-ce l'on peut expliquer la chute du PQ? Comparé à l'été passé, c'est difficile. Mais il y a une tendance à long terme de déclin du PQ. Rappelez-vous que la dernière majorité remportée par le PQ était en 1998! Et il avait récolté moins de votes que le PLQ! Certains ont avancé que le PQ était le parti d'une génération qui a manqué son but -faire la souveraineté- et ces personnes n'ont peut-être pas tout tort. En même temps, le PQ est probablement rendu à son plancher à 18-20%. Tel que nous l'avons vu au fédéral avec le Bloc, il reste assez d'électeurs séparatistes pour soutenir un tel parti. Mais prendre le pouvoir devient de plus en plus difficile. J'ai souvent dit que le chemin du pouvoir pour le PQ était bien étroit. Il faut un PLQ faible, mangé par le CAQ, mais pas trop. Le plafond du PQ était de 35%, je me demande s'il n'est pas encore plus bas aujourd'hui. La seule bonne nouvelle pour le PQ? 9 sièges est définitivement la borne inférieure de son intervalle. À 19%, le PQ est juste sous le seuil où il peut gagner bien davantage (ou alors une bonne sortie de vote ferait la même chose). À l'inverse la CAQ semble être dans le haut de son intervalle. Cela veut dire qu'il y a un bon 10-15 comtés qui sont serrés entre les deux et qui vont actuellement, selon ces pourcentages précis, à la CAQ. Mais une petite déviation de 1 point dans un sens ou l'autre et le total pourrait être bien différent. Comme d'habitude, concentrez-vous davantage sur les probabilités et les intervalles.

Pour le PLQ, 30% représente la barre où il commence à perdre des appuis mêmes dans ses châteaux forts. La CAQ est à 15% chez les non-francophones chez Léger. Est-ce ce parti pourra finalement briser l'hégémonie Libérale sur cette population? Nous verrons bien. Le NPD fédéral avait réussi en 2011. Il reste que le PLQ n'est pas dans une situation impossible, surtout si l'on tient compte des chiffres de Mainstreet. Ajoutez une petite prime à l'urne et Couillard pourrait en fait conserver sa job. Il devra faire toute une campagne d'ici octobre cependant! Ses avantages sont essentiellement un nombre non négligeable de sièges assurés ainsi que le fait que la CAQ va se faire attaquer des deux côtés. Aussi, n'oublions pas que l'économie du Québec reste très bonne et Couillard va le répéter à toutes les sauces d'ici octobre. Le mécontentement envers son gouvernement n'est au moins pas dû à un manque de croissance économique.

Quant à QS, la lune de miel GND semble bien être terminée, du moins chez Léger. La question est de savoir si remporter 6 sièges serait vu comme une énorme victoire ou une occasion manquée. Je voudrais faire remarquer ici que bien que QS prennent souvent des votes au PQ, une partie de sa clientèle se recoupe avec la CAQ, en particulier dans la couronne de Montréal. QS sera aussi au centre des attaques contre la Coalition dans l'optique de placer ce parti comme étant très à droite.

En passant, le PQ est rayé de l'est de Montréal dans ces projections. Le PLQ remporterait 6 sièges tout comme QS alors que la CAQ fait son entrée sur l'île (dans Bourget et Pointes-aux-Trembles). La CAQ ferait aussi le plein sur la Rive-Nord (100% des comtés!), Rive-Sud et à Québec.

Voilà, c'est tout pour ce billet. De bonnes nouvelles pour la CAQ mais l'élection n'est pas demain.



With record low approval ratings, Kathleen Wynne only has 11% chance of keeping her job

The Ontario election isn't until June 7. We often say that a couple of months is an eternity in politics. Kathleen Wynne, the current Premier of the province, better hopes this is true as she is currently significantly behind the PC of Patrick Brown. She'll need to rally greatly if she wants to keep her job. Or she can hope for a massive polling mistake.

Wynne suffers from being the least popular Premier in the country according to Angus-Reid. At 17% approval rate, this makes Donal Trump looks like a popular president (although it's an improvement over the low of 12% last year). It's therefore natural to see the first projections giving a huge advantage to the PC. Using the three most recent polls -all done this month- from Forum Research, Campaign Research and Mainstreet Research, the model is giving Patrick Brown over 87% chance of winning the most seats. Below you have the details:

In order: voting intentions; Seat projections with 95% confidence intervals;
Chances of winning the most seats


If you want the riding-by-riding projections, you can find them at the end of this post. Remember also that you can use the model yourself with the simulator.

The possible outcomes are given here:



Please keep in mind that this is the first version of the model. I'm still tweaking things out. In particular, it seems the model is very harsh on the PC in term of vote efficiency. This means the Liberals could win with significantly fewer votes. Or the PC could be denied a majority despite reaching the 40% mark. Why is the model so hard on the PC? Because the model doesn't use a uniform swing approach. Instead the model uses past elections' results to estimate regional coefficients of variation. Since 2003, the greater GTA has been more stable than the North or the Southwest, significantly and consistently so. If you use a uniform model, the PC is at 69 seats and therefore would get a majority. Please notice however that the swing in Ontario hasn't been very uniformed the last 3 elections.

Let's also remember that the OLP won a majority in 2014 with only 38.65%. And in 2011, Dalton McGuinty was only 1 seat away from a majority with only a 2-points lead over the PC. All that to say that nobody should be surprised at the electoral advantage the Liberals have. What I'm currently unsure of is the magnitude of this advantage. Between now and June, I'll keep monitoring the polls and projections and will likely make some adjustments. For now, if you think the model is too hard on the PC, then just boost the PC by 1-point in the simulator.

For Patrick Brown to get a majority, he'll need to break the GTA-wall the Liberals have been enjoying for many years. With the Liberals polling as low as 30%, this is well possible. Think of how Harper got many seats in the GTA in 2011. If he were to fail to get 63 seats or more, the NDP of Andrea Horwath would have a choice to make. Would she follow Andrew Weaver from the BC Green and support the party that finished second? Hard to say right now.

Quito Maggi from Mainstreet says that the numbers point to a PC majority. I agree with that based on his poll and his regional numbers alone. The PC is higher in Toronto and the GTA than what my projections suggest. But I'll wait and see before making adjustments. As usual, if I see a pattern in polls not matched by my projections, I'll make changes. With that said, the model does account for the fact that if the Liberals fall too far (like below 30%), then their resilience in the GTA will be gone.

For now, my personal read of the situation is that the Conservatives are clearly ahead and favourites but a majority isn't guaranteed. It's absolutely possible, just not a sure thing. The Ontario Liberals aren't easy to beat (honestly, the Liberals everywhere in Canada are often very resilient, just look at Quebec or BC where Christy Clark, despite low approval numbers, was a couple of votes away from a majority last year). I wouldn't be surprised if the numbers were to become a lot closer as we approach June. With that said, the situation in Ontario is ripe for a change. You have a governing party that has been there for years and is very unpopular. You have a housing market that has gone crazy over the last few years, possibly upsetting the middle class in the suburbs like we saw in the Lower Mainland. Add to this big policies like the rental regulations last year and the recent $14 minimum wage and you have all the ingredients for a heated campaign.

If there is a desire for change, let's also remember that there is an established third party in Ontario. The BC NDP are stable compared to four years ago and will likely look to try to grab some of the discontent voters in the GTA. Voters that have showns at both the federal and provincial levels that voting Conservatives is possible for them but far from natural.

Anyway, this should be it for now. I don't want to make too many comments on the three polls themselves. They have different methodologies and Forum has the Liberals much lower than the other two. But 5 months from the election, I won't start to worry too much about that. Things can and will likely change between now and June.

Detailed projections:


Simulator for the 2018 Ontario election now available!

I just finished the first version of the Ontario model for the June general election and the simulator is now available for you to use. This election should be a good one. The current Premier, Kathleen Wynne is very unpopular but the Conservatives haven't won in this province in the 21st century. The recent massive increase of the minimum wage is also already bringing its fair share of debates -with some Tim Horton's owners literally telling their employees to go and complain to Wynne for the benefits they lost! Plus the NDP is high enough to possibly force a minority.

Anyway, I won't post my own projections today as I believe Mainstreet will publish a new poll tomorrow. For now, you are free to use the simulator. Remember, this is version 1.0. I'm pretty happy with it (and a similar one would have predicted over 93% of the ridings correctly in 2014 with the correct voting intentions) but there are likely some errors. From what I can tell, the current model might slightly be too harsh on the PC. The model uses regional coefficients and those show the Liberals to be incredibly resilient in the GTA. This gives them an edge where they can win despite getting fewer votes. Historically in Ontario, the two volatile regions have been the North and the Southwest, but with the OLP polling below 30% and the PC above 40%, this "GTA-wall" might not hold. The situation isn't unlike what we saw at the federal in 2011. So I might need to update or adjust the parameters of the model. We'll see.

So have fun with the simulator and please let me know if you find any error or weird result.

I want to thank Kyle Hutton without whom this simulator wouldn't exist today. Election Ontario changed the electoral map, moving from 107 ridings to 127 and didn't provide an official transposition of the results. Kyle did one himself and provided it to me. This is a lot of work and Kyle did a great job with this transposition. I'm very grateful I didn't have to do it myself.

You can find the simulator here.

Un regard sur la course à la mairie de Montréal

Les élections municipales auront lieu le 5 Novembre. Je n'ai pas encore écrit à ce sujet mais j'ai décidé de faire quelques simulations pour la course entre Denis Coderre, maire sortant et Valérie Plante.

Si vous n'avez pas le temps de lire tout l'article, voici le résumé:


Entre le faible nombre de sondages et le fait que ceux-ci sont loins d'être précis, nous avons une course où tout peut arriver. Il se peut que le résultat soit serré, mais il se peut aussi que l'un de ces deux candidats soit en fait largement devant. Voyez le 48-52 des probabilités comme représentant notre niveau de confiance par rapport à cette élection, pas forcément comme indiquant une course où ils recevront tous les deux environ 50% des voix.

Maintenant, voici comment j'arrive à cette "conclusion". Ou, si vous préférez, comment justifier passer du temps sur un ordinateur quand vous pouvez faire tout aussi bien en utilisant une pièce et pile ou face.


1. Les (rares) sondages

Cette course n'a pas généré beaucoup de sondages, c'est le moins que l'on puisse dire. Dans les faits, les rares sondages ont soient été "leaké" par un camp ou ont été commandé et payé par un site internet (l'excellent Qc125.com). Sérieusement, c'est hallucinant de constater qu'un site web a commandé davantage de sondage que les médias traditionnels! Finalement ce matin. Radio-Canada a décidé de réveiller Crop de son hibernation des sondages et nous avons enfin eu un sondage publié par un média traditionnel.

Non seulement nous n'avons eu que peu de sondages, ces derniers ne sont pas... optimaux disons. Ils ont une très faible taille d'échantillon (500; 1000 ce matin pour Crop, enfin!) et dans le cas du sondage Mainstreet/Qc125, il n'y avait pas de question de relance (probablement en raison du budget). Ce qui fait en sorte qu'il y avait 41% d'indécis! Imaginez bien ce que cela veut dire: il s'agît en fait d'un sondage auprès de 300 personnes. Après, selon comment les autres 200 se répartissent, vous pouvez avoir une course diamétralement opposée. Si vous répartissez les indécis de manière proportionnelle -ce qui est courant- Denis Coderre est au-dessus des 50% avec 9 points d'avance sur Valérie Plante. À l'inverse, si les indécis se rangent chez Plante dans un ordre de grandeur 60-40, alors la candidate de Projet Montréal est élue!

Le plus récent Léger a été commandé par Projet Montréal et leaké par Qc125. Il faut toujours se méfier des sondages commandés par les partis politiques. Non pas que je soupçonne Léger de changer sa méthodologie, mais il y a probablement une raison pour laquelle Projet Montréal a décidé de faire publier ce sondage et pas les autres: ce sondage était le meilleur pour eux!

Au moins le Crop, fait à la même période que le Léger, nous montre une situation très similaire. Je dis "au moins" mais parfois les sondages font tous la même erreur. À remarquer que tant Léger que Crop ont environ 20% d'indécis, ce qui est assez élevé. Crops montre aussi que Coderre est en tête parmi ceux absolument certains de voter.

Le graphique ci-dessous illustre la situation piteuse dans laquelle nous sommes.



Il s'agît des intentions de vote avant répartition des indécis. Le sondage au milieu, de Mainstreet, n'est de loin pas totalement compatible avec les deux Léger.

Étant donné les larges marges d'erreur et les problèmes de compatibilité (41% d'indécis chez Mainstreet... on les répartit comment?), la seule conclusion semble être que la course est potentiellement plus serrée qu'il n'y a quelques mois.

Pour rendre les choses encore pires, les sondages municipaux semblent avoir une précision douteuse historiquement. Il y a 4 ans, les deux sondages faits durant l'élection à Montréal avaient tous les deux largement surestimé Denis Coderre. Cette même année, les sondages avaient fait encore pire dans bien des autres courses (Laval, Lévis). On n'est loin de la précision habituelle des sondages provinciaux. Aussi, la course à Calgary a confirmé il y a quelques semaines que ces sondages sont moins fiables (Mainstreet ne s'est pas encore remis de son échec). La faible participation y est surement pour beaucoup.

Si je me base sur les sondages à Montréal en 2013 et Calgary en 2017, les vraies marges d'erreur (=celles reflétant le niveau de précision réel et pas théorique) semble être vers les 8-10% (et j'exclus ici le sondage Mainstreet à Calgary qui était carrément plus de 20 points dans le champ!).

Pour vous donnez une idée à quel point c'est imprécis, si un parti/candidat est à environ 30%, pour avoir des marges de 10%, il faut un échantillon de... 80 observations!!! Voyez les choses autrement: si un sondage était publié et n'avait que 80 observations, est-ce vous lui accorderiez de l'attention?

Ainsi, pour les simulations (voir plus loin), j'y suis allé avec des marges d'erreur de 9%, soit à peu près le niveau de précision des "bons" sondages à Calgary et un petit peu mieux que les sondages à Montréal en 2013 (il faut dire que les deux seuls sondages avaient été faits bien avant l'élection).


2. Au-delà des sondages

Regardons Google Trends pour le Québec. Au cours des 30 derniers jours, voici les résultats (note: Google ne semble pas savoir que Denis Coderre est maintenant le maire de Montréal et non plus un député à Ottawa. Idem pour les autres candidats. Cela fait en sorte que j'ai décidé de faire une recherche par termes exactes au lieu de par "sujets").

 

La course semble belle et bien serrée. Les deux sont au coude-à-coude. À noter l'absence quasi complète d'un effet du débat le 19 octobre.

Pour comparaison, voici les tendances en 2013 durant le dernier mois avant l'élection:

 

Mélanie Joly générait en fait davantage de recherche que Denis Coderre, ce qui est assez impresionnant. Ce dernier semblait cependant avoir le momemtum vers la fin. Une prédiction basée uniquement sur Google Trends aurait eu tort, mais cela nous aurait au moins permis de prédire que la course était plus serrée que prévue.

Alors, que faire de l'informatio de cette année? Si l'histoire de 2013 se répète, Coderre est dans une position très favorable (il avait gagné alors qu'il était derrière sur Google Trends; Il est devant cette année). Personellement, je vois cela comme une autre indication que la course est imprévisible. à défaut d'être serrée.


3. Simulations

En utilisant la précision moyenne des sondages municipaux et en faisant une moyenne des sondages "récents" (avec répartition semi-proportionnelle et semi-uniforme des ind.cis), voici les chances de gagner et les scénarios possibles.




L'histogramme représente les résultats possibles pour Valérie Plante. Puisqu'il s'agît essentiellement d'une course à deux, le résultat pour Coderre est 100-résultat de Plante. Sa distribution est ainsi quasi similaire, juste centrée un peu plus à gauche (Coderre est centré vers 48.2% alors qu'elle est vers 48.7%).

Remarquez bien qu'une fois redistribués les indécis, les deux candidats sont bien plus élevés que ce que vous avez vu dans les sondages. On peut débattre de comment répartir ces indécis, mais il reste que le jour du vote, il n'y aura pas une option "ne sais pas" sur les bulletins de vote. Ainsi, attendez-vous à ce que le ou la gagant-e soit proche ou au-dessus des 50%.

Aussi, vous pouvez voir l'incroyable incertitude. Denis Coderre est projeté entre 34 et 64%! C'est un peu absurde de faire de telles projections, mais voilà, je travaille avec ce qui est disponible.

Au final, cette course est juste très incertaine. Cela ne veut pas forcément dire qu'elle est serrée, seulement que nous n'avons pas assez d'information pour vraiment projeter un ou ujne favori-e.

Une majorité pour la CAQ?

Quelques semaines après son éclatante victoire dans la partielle de Louis-Hébert, voici que la CAQ de François Legault se retrouve en tête des intentions de vote dans le dernier sondage Léger. Avec 34%, ce parti devance les Libéraux par 5 points. Le PQ recule à 20 points. À l'heure d'écrire ce billet, je n'ai pas les détails du sondage mais j'ai vu sur Twitter que QS était à 12%.

La dernière fois que la CAQ pointait en tête d'un sondage, c'était en Mai dans un sondage Mainstreet. Mais ce sondage montrait la Coalition en position minoritaire. Le sondage d'aujourd.hui place ce parti en bonne position pour décrocher une majorité.

Les projections, basées uniquement sur ce sondage, sont les suivantes:
Intentions de votes; Projections de sièges avec intervales de confiance; Chances de gagner le plus de sièges

Mise à jour: j'ai oublié de mettre à jour le modèle après la partielle dans Louis-Hébert. Les élections complémentaires ont moins de poids que les générales, mais la victoire CAQ était telle que cela pourrait changer le résultat. Dans les projections ci-dessus, le PLQ remporte Louis-Hébert. Ainsi, après la mise à jour, il se peut que la CAQ soit en fait à 65 sièges.

Peut-être l'élément le plus intéressant de ce sondage est à quel point la CAQ serait favorite. Bien sûr il ne s'agît que d'un sondage. Le Ipsos de la semaine passée continuait de placer le PLQ devant par exemple. Il reste que la carte électorale et la distribution du vote sont tels que le parti de Legault possède une vraie chance de gagner l'année prochaine. Ne vous métrompez pas, je ne dis pas ici que la CAQ est assurée de finir 5 points devant le PLQ. Je dis simplement que le vote CAQ n'est pas concentré à tel point que la carte électorale soient biaisée contre la CAQ. Il reste que si c'était le PQ à 34% et la CAQ à 20%, le PQ gagnerait probablement par davantage de sièges, mais la différence est petite.

La CAQ prend des votes tant au PLQ qu'au PQ, ce n'est pas surprenant. Alors que l'ADQ était perçue comme un parti plus à droite que le PLQ, la CAQ s'est repositionnée dans une situation plus au centre. Pas forcément en termes de politiques -cela dépend, mais d'image. Si ce n'était pas le cas, cela voudrait dire que la gauche au Québec ne représenterait que 32% des votes (PQ+QS), ce qui semble bien faible. La difficulté pour Legault, lors de la prochaine campagne, sera de conserver ces voix de gauche tout en satisfaisant sa base plus à droite.

Je l'ai mentionné par le passé, mais ces sondages sont importants pour Legault afin d'aborder la prochaine élection en tant qu'alternative principale aux Libéraux. Si la CAQ continue d'être bien au-dessus du PQ, Jean-François Lisée aura une tâche plus difficile afin de réunir et profiter de ces votes mécontents du gouvernment Libéral. Cela étant dit, Trudeau avait abordé la dernière campagne fédérale dans une situation similaire.

Pour le PQ, la bonne nouvelle est que QS reste à 12%. C'était son score chez Ipsos la semaine passée. Le fait que l'effet GND semble s'être amoindri signifie que le PQ peut au moins se concentrer sur un adversaire principal: la CAQ. Il reste que ce sondage est terrible pour la formation souverainiste. Être projeté à 16 sièges à un an de l'élection générale n'est de loin pas optimal. Le risque pour le PQ est de simplement perdre de sa pertinence. Est-ce le PQ devrait parler davantage d'indépendance? J'ai des doutes. Le Bloc vient de se faire battre au Lac-Saint-Jean après tout. Mais le PQ se doit de faire quelque chose car la tendance est mauvaise -malgré un petit rebond en septembre.

Au fait, les chances que QS fassent élire davantage de députés que le PQ sont de 0.5%.

En termes de scénarios, voici les différentes probabilités.



Comme vous pouvez le voir, la CAQ serait en effet aux portes d'une majorité. Il reste qu'une minorité resterait tout à fait possible. Les Libéraux ne sont pas non plus hors course. Encore une fois, souvenez-vous que ce billet et projections ne sont basés que sur un seul sondage. On va se garder une p'tite gêne avant de dire que Couillard n'a aucune chance. D'autant plus qu'il est difficile d'imaginer le PLQ chuter sous les 30%. Il lui faudrait perdre une bonne partie de ses appuis chez les non-francophones. Ce sondage montre que c'est bien le cas, mais un sondage n'est pas une élection.

En conclusion, ce sondage est source d'extrêmement bonnes nouvelles pour la CAQ. Il ne s'agît que d'un seul sondage bien sûr mais la tendance reste très favorable pour la CAQ. Couplé à la victoire dans Louis-Hébert, Legault peut commencer à sérieusement envisager devenir PM l'année prochaine. Bien sûr, en politique, en encore davantage au Québec, une année est une éternité.

Partielle dans Lac-Saint-Jean: une course à 4 possiblement!

Après des années à faire ce "boulot", je devrais savoir que projeter des partielles est compliqué. Après tout, la dernière fois que j'ai essayé, il y a trois semaines dans Louis-Hébert, j'ai manqué la marque d'un bon bout. On ne peut pas avoir tort si on ne projette rien, n,est-ce pas? Mais voilà, je suis têtu. Alors voici un billet sur la partielle dans Lac-Saint-Jean du lundi 23 octobre. Je m'excuse pour publier ce billet si tardivement, mais j'étais pas mal occupé.

Avant de commencer, je voudrais aussi faire remarquer ce sondage Ipsos pour le Québec publié vendredi. Je n'ai pas fait d'article là-dessus principalement car les chiffres sont très similaires à ce que l'on a vu depuis quelques mois. Je n'ai pas envie d'écrire le même article à toutes les 3 semaines. Cependant, la vraie nouvelle était que La Presse commande maintenant ses sondages à Ipsos au lieu de Crop (qui semble ne plus faire de sondages du tout). Une bonne nouvelle. Ipsos rejoint ainsi Léger et Mainstreet.

Ok, de retour au Lac-Saint-Jean. L'élection complémentaire a lieu car le député Conservateur Denis Lebel a quitté sa position. Lebel était l'un des candidats vedettes du PCC au Québec et son départ pourrait faire mal. De manière plus générale, cette partielle arrive alors que les sondages fédéraux montrent les Libéraux de Justin Trudeau en baisse depuis quelques semaines. Ajoutez à cela la progression du Bloc et l'arrivée de Jagmeet Singh à la tête du NPD et vous avez tous les ingrédients pour une partielle relativement importante ou du moins intéressante.

1. Les sondages récents

Je ne parle bien sûr pas de sondages dans la circonscription -il n'y en a pas eu- mais des sondages fédéraux au Québec. Ci-dessous vous avez les chiffres pour le Québec des plus récents sondages.




Première remarque, ces sondages ont souvent les Verts très hauts (10% chez Ekos par exemple!). C'est un peu absurde et pas super pertinent pour une partielle au Lac-Saint-Jean. D'autre part, les chiffres de Nanos sont bizarres. Non seulement sont-ils très différents des autres, mais ils ne somment qu'à 90% environ. Est-ce les "autres partis" représentent vraiment 10% Ou s'agît-ils d'indécis? J'ai contacté Nanos et je ferai les mises à jour s'ils répondent. En attendant, je vais partir du principe qu'ils s'agît bel et bien d'indécis/refus et je les redistribue.

Au final, la situation au Québec semble être la suivante: Libéraux devant aux alentours des 35-40%, le Bloc 2e vers les 20-25% (et bien davantage et en progression selon Nanos) et finalement NPD et PCC se bataillant vers les 15% pour la 3e place.

En utilisant ces chiffres et les résultats de la dernière élection (Lebel avait remporté son siège avec 33% - 4 points d'avance sur le NPD), on obtient que les Conservateurs devraient facilement conserver ce siège. Mais voilà, il nous faut tenir compte du départ de Lebel et cela complique naturellement les choses.

2. L'effet Denis Lebel

Estimer l'effet personnel d'un candidat n'est jamais facile. Regardons les résultats précédents. Lebel s'est présenté pour la première fois en 2007 lors d'une élection complémentaire qu'il avait remporté haut la main. Par rapport à 2006, on parle d'une poussée de 22.5 points! Bien sûr, on parle ici de l'époque où les Conservateurs de Stephen Harper courtisaient le Québec et pensaient pouvoir y obtenir des gains majeurs. Aussi, une partielle a souvent tendance à amplifier les variations en raison du faible taux de participation.

Si l'on compare plutôt 2006 à 2008, alors que le PCC perdait en fait environ 3 points provincialement, Lebel obtenait environ 6 points de plus que l'ancien candidat Conservateur. On parle ainsi d'un effet net d'environ 10 points.

Ajoutez à cela le fait que Lebel était rendu un député de longue date (cela vaut environ 4-5 points en moyenne) et son départ devrait coûter au PCC environ 15 points. Il s'agît ici d'un estimé à moitié scientifique et à moitié "au pif". Je vais ainsi retirer 15 points des projections PCC et les redistribuer proportionnellement (je n'ai pas envie de faire une hypothèse concernant quel parti a les meilleures chances de bénéficier de ce bonus).


3. Projections

J'ai fait mes simulations habituelles en incluant davantage d'incertitude. Les chances de gagner sont ci-dessous. J'ai décidé de ne plus inclure les pourcentages de vote dans les projections pour partielles car plusieurs lecteurs ne prennent pas le temps de lire le texte et ne réalisent pas le degré d'incertitude associé avec des projections pour des partielles. Je ne présente ainsi que les chances de gagner.


Chances de gagner l'élection partielle



Nous avons ainsi une course à 4! Le PLC et Bloc ont cependant un avantage. Les simulations donnent un tout petit avantage aux Libéraux mais ne vous trompez pas, les chances sont quasi égales. Il reste que les 4 principaux partis ont techniquement une chance lundi soir, du moins en se basant sur l'information disponible. En termes de pourcentages de votes, on parle possiblement d'une course à 4 parfaites avec tous les partis et candidats vers les 20%. Bien sûr, avec les marges d'errreur et en se rappelant qu'il s'agît d'une partielle, il se peut fort bien qu'un parti fasse bien mieux. Il y a aussi la participation et la sortie de vote qui peuvent venir influencer.

Afin d'aller au-delà, il nous faut entrer le terrain subjectif de l'évaluation des candidats. Les Conservateurs ont remplacé Lebel par Rémy Leclerc. Ancien conseilleur municipal de Roberval et conseiller/organisateur des campagnes de Lebel, il tente ainsi de conserver ce siège.

Le Parti Libéral présente Richard Hébert, avocat et ancien maire de Dolbeau-Mistassini. En général, présenter un maire ou ancien maire marche asez bien dans les comtés ruraux.

Le NPD a Gisèle Dallaire comme candidate. Elle s'était déjà présenté en 2015 et avait failli gagner! Alors que son parti était en chute libre à l'échelle de la province, elle n'avait perdu que 3.7 points par rapports aux résultats transposés de 2011. Son résultat reflètera ainsi possiblement davantage l'effet Singh qu'un changement de candidat local, ce qui sera intéressant.

Finalement, le Bloc présente Marc Maltais, directeur régional de la FTQ.

Au final, tous les candidats ont un bon profile à première vue. Les Conservateurs sont un peu derrière (recruter l'ancien directeur de campagne n'est pas toujours un bon signe), mais il est difficile de départager les candidats PLC, NPD et Bloc. J'ai le sentiment que le PLC et Bloc prennent cette partielle plus au sérieux, mais c'est subjectif.

En conclusion, je crois que l'on peut s'attendre à une course à deux entre le Bloc et le PLC, mais le NPD et le PCC ont des chances. Après, je comprends bien qu'une telle projection revient à peu près à dire "tout peut arriver" et je n'avais pas besoin d'écrire un si long billet, mais dans le cas présent, c'est vraiment le cas. Le PCC peut gagner si les sondages Nanos ont tort et si le nouveau candidat parvient à conserver les votes Lebel. Le PLC peut espérer un gain si l'opposition se divise (en particulier le Bloc et NPD). Le NPD présente la même candidate qu'en 2015 et elle avait failli gagner. Le parti a cependant baissé provincialement depuis l'élection générale. Finalement, le Bloc peut rêver de reconquérir ce comté, surtout si les sondages Nanos ont raison.

Si je devais miser de l'argent? Je miserais un petit $5 sur le Bloc et Marc Maltais, mais je ne miserais pas davantage que $5.

How bad were the polls for the Calgary mayoral election of 2017?

On Monday, residents of Calgary (and elsewhere in Alberta, but I'm only focusing on Calgary here) were asked to vote to elect their Mayor. Incumbent Naheed Nenshi won after a long and difficult campaign, beating challenger Bill Smith 51-44.

I live in Vancouver and don't follow the politics of Calgary. The only reason I had an interest in this race is because pollsters had very different numbers. Mainstreet had Smith easily ahead by 16 points while Forum had Nenshi winning by 19 points! Obviously one of these firms would be wrong and I wanted to grab the pop corn and watch!

Mainstreet is obviously the one that was wrong and they already admitted it. They had Nenshi behind by 16 and he won by almost 8 points. The total difference is actually 23.7 points! That is a massive failure. We have seen polls being wrong before (Alberta 2012, BC 2013, etc) but missing by 24 points is something else. This is more similar to the infamous Brandon-Souris by-election in 2013 when Forum was predicting the Liberals to be 29 points ahead when they lost by a little bit less than 2 - so a total error of almost 31 points. However, this was a riding poll (usually less accurate) for a by-election (harder to predict) with a really small sample size (below 400). The miss by Mainstreet here, with 1500 respondents, is more stunning.

What makes it worse for this firm is how confident its president, Quito Maggi, was that his numbers were right. Maggi is often active during election periods. He will tweet his numbers, comment them, defend them. I actually truly appreciate that. Much better than some firms who publish numbers and are never accessible for any question. Mainstreet was so confident, they even publish (and shared on twitter) a polling scorecard pdf for people to be able to easily see which pollster was the most right! Talk about shooting yourself in the foot!

Since then, Mainstreet has been criticized by many. And let's face it, when you miss as badly as they did for this election, people will remember. Forum still has a bad reputation among many people even though they have had good to excellent results in pretty every single election since 2012 (to be fair, Forum does have a tendency to publish some weird polls once in a while). So of course Mainstreet will have to deal with the blow to its credibility for a while. With that said, some of the attacks go beyond what you'd expect. Because Mainstreet is the main partner for Post Media, some are quick to jump to the conclusions that Mainstreet was publishing fake numbers and/or trying to change the race. Those are very serious accusations for a pollster. The objective of this post is to determine how badly Mainstreet really did and to put this failure in perspective.


Polls were bad overall, Mainstreet was just the worse

Mainstreet was obviously very, very wrong on Monday. But Forum and the third pollster, Asking Canadians, were far from being good. They did get the winner right, but their numbers were also fairly off. Look at the table below.



Look, in particular, at the corresponding margins of error associated with the Mean Square Error for each firm. The Mean Square Error is a standard measure of accuracy and widely used to compare polling accuracy in the industry or in academic papers. If the estimator -the poll here- is unbiased, it's also an estimator of the variance and we can therefore calculate the corresponding margins of error. This is how I proceed to calibrate my model and simulations. For instance in France for presidential election, the average error is usually small and the corresponding margins of error are around 3-4%. On the other hand, for US election, they are closer to 6-7%. See it as a general measure of the effective polling accuracy as opposed to the theoretical one. At 17%, Mainstreet is doing terrible but the other two firms are way above what we usually observe in the industry. If Mainstreet was off by almost 24 points in total, Forum was off by more than 11!

What this means is that this was a difficult race to poll. One possible explanation is the increased turnout that went from 39% in 2013 to 58%! If there is one thing that is usually correlated with polling errors, it's a sharp change in turnout.

I have reached to Mainstreet to ask them if they knew what happened and they said not yet. Which is a completely fair answer. I'd actually be very skeptical if they could pinpoint exactly what went wrong. Also, they aren't hiding behind the usual "people changed their mind 2 minutes before voting" excuse often used by pollsters.

Could Mainstreet simply have been unlucky? After all, basic statistics teaches us that once in a while, you can get a bad sample and results that are very off. Technically speaking, we should actually get such a poll every 20 polls (the 19 out 20 thingy of the margins of error). For this part, I can safely answer: no, being unlucky wouldn't explain being off by 24 points. How do I know? I ran simulations. Specifically, I ran 100,000 simulations using the actual results of Monday and the sample size of Mainstreet. Essentially, I'm simulating taking 100,000 samples of 1500 respondents. The results are below with the gap Nenshi-Bill (positive means Nenshi is ahead in one simulated poll, negative means Smith was ahead).

As you can see, out of 100,000 samples of 1500 respondents, the most skewed sample I got was one were Smith was ahead by 3 points (remember, those simulations are drawing samples from a population where Nenshi is actually ahead by 8 points. This is really showing what can happen when you only have a sample of the population). So getting so unlucky that you get a sample where Nenshi was down 16 points is impossible. If anything, given that Nenshi was actually ahead by 8, getting a sample of 1500 respondents where Smith was ahead at all was incredibly difficult as you can see on the graph (very few points with a gap below 0 on the left). Sure, ti might be possible to get Smith up by 16 if you do a billion samples and you are incredibly unlucky in one of them, but this is becoming a stretch. For all intents and purposes, random sampling can't explain the error here.

While the failure by Mainstreet can't be explained by simply being unlucky, it doesn't mean the sample of Mainstreet was good though. Quito Maggi admitted it already. What it means is that this sample couldn't be bad simply because of bad luck. Other reasons were at play. At this game, your guess is as good as mine, but it could be anywhere from oversampling some demographics (maybe not enough young people as suggested by Maggi), to using incorrect weights not representative of the voters with this turnout.

Finding out why polls failed is never easy. To this day, we still don't really know what happened in Alberta in 2012 or BC in 2013. In the US last year, State level polls mostly missed because they apparently didn't sample enough white Americans without a college degree. In all likelihood, we might never know what happened here in Calgary.


The "Mainstreet was just making things up and/or had an agenda" criticism

Ok, this is getting beyond my expertise and what I like to write about on this blog. Quito Maggi runs his firm the way he wants. As I said before, I have zero problem with him being active on Twitter. I'm not going to judge what is a "professional behavior for a pollster". I myself am guilty at times of being too active online.

But I simply have no reason to believe Mainstreet would do such a thing. They have so far done fairly well in Canadian elections. They were fine in BC earlier this year (except for their riding level polls; Also, to be fair, pretty much every firm did well there this year) or in Nova Scotia (although Forum did better). They were also good for the federal election in 2015. Moreover, Maggi has previously been accused of being a Liberal, not a Conservative. So why would he use his firm to help Bill Smith who was the more right-wing candidate for the Mayoral election? Because Mainstreet has a deal with PostMedia, a group that owns more right-wing leaning newspapers such as the National Post? Sure. It's very easy to see bias where people want to find it. I mean, during an election, I can be accused daily of being a "Liberal shill" or "trying to help the Conservatives" depending on the projections I post.

And yes I'm aware of the dispute between Mainstreet and the MRIA. I have no comment on this. If you read more about the story, it sounds more and more like an internal dispute between two organizations. It seems more an issue of PR and behavior of Maggi than of the reliability of the firm and its numbers.

At the end of the day, as far as I'm concerned, Mainstreet's track record so far had been very good. This giant failure in Calgary will not change my mind. All it does is remind us why taking an average is better (you had the results pretty much spot on by averaging here) and that failure can happen for pollsters. Should the be more humble? Sure, maybe.