El 2015 no fue un buen año para ninguna consultora de opinión pública. Los pronósticos que ofrecieron las encuestadoras argentinas a lo largo de la extensa carrera electoral parecieron ser, en retrospectiva, un adelanto de un fenómeno que se repitió a escala global. El mundo se quedó atónito mientras los expertos fallaban en detectar el sentimiento de los ingleses que decidieron abandonar la Unión Europa con el "Sí" al Brexit, o el de los estadounidenses, que, contra fuertísimos pronósticos en su contra, le dieron la victoria a un candidato tan implausible como Donald Trump.

En Argentina, a lo largo del largo proceso electoral del 2015, a las consultoras les costó detectar el declive de Massa a medida que se acercaban las PASO, la sorprendente performance de Losteau en el ballotage porteño -que casi deja al PRO sin su cuna y bastión de poder principal-, la excelente performance de Macri en la primera vuelta -así como lo decepcionante que fue la de Scioli-, sólo para terminar sobreestimando el poder electoral del actual Presidente al darle, todas al unísono, una victoria en el ballotage mucho más abultado de la que finalmente obtuvo.

Pocas encuestadoras terminaron el año sin tener que justificarse por algún error grosero. Algunas, incluso, decidieron reducir el volumen de encuestas que publicaban -e incluso optaron directamente por no medir ciertas carreras- a medida que avanzaba el año y salía a la luz la dificultad que enfrentaban para detectar las preferencias de la opinión pública.

Tal vez esto explique la mayor cautela con la que las consultoras se vienen manejando en lo que va del año, cuando faltan poco menos de 3 meses para las PASO de las elecciones legislativas nacionales. Pero con el horizonte electoral asomándose, es hora de que el Observatorio de Encuestas de LPO analice la performance de las encuestadoras en la última elección, uno de los factores claves con las que el Observatorio pondera los números que las consultoras publican a lo largo de la carrera.

Para ese análisis, se decidió tomar en cuenta una de las instancias más decisivas y -sin duda- más inciertas del año: la primera vuelta presidencial. Se trata de una elección ideal para evaluar a las consultoras por dos razones principales: primero, porque el trabajo debía realizarse sobre un conjunto de candidatos bien definidos (6 candidatos, uno por cada espacio político) a elegirse en todo el territorio nacional. Pero principalmente, porque fue la elección que más sorprendió a una sociedad que no parecía reconocer su propio humor, y terminó siendo vital para la victoria de Macri.

¿Qué encuestadoras no se dejaron llevar por el espíritu reinante de que Scioli tenía la victoria asegurada gracias a la sinergia mágica entre el piso electoral del peronismo y la regla del 40 y 10? ¿Cuáles supieron detectar la -supuestamente tardía- crecida de Macri o, según el propio candidato, que la sociedad argentina necesitaba un "cambio"?

Vamos a los números. Comencemos por recordar el resultado final de la primera vuelta, así como el promedio final arrojado por el Observatorio de Encuestas.

Como vemos, Scioli no llegó al piso de 40 necesario para disparar la regla agregada en la reforma constitucional de 1994, ni cumplió el otro requisito: la diferencia del 10% con el segundo. De hecho, ese margen fue de apenas 2,53%, mucho menor que cualquier pronóstico.

El pronóstico del Observatorio terminó mostrando aciertos y errores, que reflejaron los de las consultoras. El promedio calculado para Massa, Rodríguez Saa y Del Caño fue extremadamente preciso. En cambio, Scioli fue sobreestimado sistemáticamente, de la misma manera que la intención de voto de Macri fue subestimada por todos.

Para el análisis de la performance de cada encuestadora tomaremos la última encuesta registrada por cada una. En el caso en que se publicara tomando en cuenta los indecisos o NS/NC, ese número de proyectó proporcionalmente con la intención de voto registrada por cada candidato.

De los números podemos notar:

· Las encuestadoras se dividieron a la mitad en el pronóstico sobre si Scioli llegaba a los 40 puntos. Pero incluso la más pesimista con respecto a Scioli, Polldata, lo sobreestimó por dos puntos.

· Solo Elypsis, Polldata y M&F (por un pequeñísimo margen) detectaron que Macri evitaría la victoria de Scioli en primera vuelta gracias a su propio caudal de votos. Ninguna de las otras encuestadoras lo midieron recortándole la distancia a Scioli a menos de los 10 puntos, con los cual el candidato del PRO forzaba el ballotage.

Para cada encuestadora, calcularemos la diferencia absoluta (es decir, sin tener en cuenta si fue una sobre o una subestimación) entre la intención de voto que le dio a cada candidato y el resultado final. Los resultados:

Una forma simple de evaluar la decisión la performance de cada consultora es sumar el error absoluto y observar quien consigue el número más bajo. Sin embargo, no es lo mismo realizar la encuesta un día antes de la elección que una semana antes. Para eso, ajustaremos el error con la misma fórmula de decaimiento exponencial temporal que el Observatorio utiliza para ponderar por fecha los trabajos que se publican. Una vez realizado obtenemos el siguiente ranking:

Sin embargo, ante los ojos de gran parte de la sociedad, la performance de las encuestadoras se vio reflejado realmente sobre las predicciones que hicieron exclusivamente sobre los números de Scioli y Macri, los dos candidatos que realmente definirían la elección. Es sin duda interesante, entonces, restringir el análisis al error sobre esos dos candidatos. Bajo esa condición y nuevamente ajustando por fecha de publicación, obtenemos un ranking levemente diferente.

Con estas restricciones, Elypsis salta al primer lugar en el ranking, apalancada en su correcto pronóstico del crecimiento de Macri en la recta final, así como de la débil performance de Scioli. Management&Fit cae al tercer lugar, principalmente porque su fuerte fue la exactitud con la que detectó la intención de voto de Massa, el punto flojo de Elypsis, la consultora fundada por Eduardo Levy Yeyati.

Una mención de honor merece Polldata (CK Consultores, de Celia Kleiman), que tuvo una buena precisión en todos los candidatos, e incluso tuvo el error más chico para Macri después de Elypsis. Logró así quedarse con en el segundo puesto en ambos rankings. De manera similar, pero con menos exactitud fue el caso de Rouvier, que se mantuvo en el cuarto lugar en ambas tablas.

El caso de Poliarquía es el opuesto al de la consultora de Levy Yeyati. Si bien tuvo buena precisión para los candidatos que no tenían chances de ganar, pronosticó un triunfo en primera vuelta de Scioli al darle una intención de voto por encima de 40% y la ansiada diferencia de 10 puntos sobre Macri, a quien subestimó seriamente. Esa encuesta, publicada el 11 de octubre causó conmoción al dar al candidato del FPV como ganador desde el diario La Nación.