Uno de los más famosos aforismos que se atribuyen a Winston Churchill es que "hay verdades, medias verdades, mentiras y estadísticas". Como tantas frases del genial estadista británico es difícil estar completamente seguro de que fuese realmente suya, pero podría serlo: responde perfectamente al carácter sarcástico de un político que creía en la política, pero era consciente de muchas de sus limitaciones y todas sus miserias.
Pero, más allá de la ironía, ¿qué hay de cierto en la frase de Churchill? ¿Son en general fiables las encuestas? ¿Lo están siendo en la España actual en la que prácticamente cada semana tenemos una nueva noticia de portada relatando el ascenso de Podemos?
En Libertad Digital nos hemos hecho estas preguntas y para buscar las respuestas hemos recurrido a algunos de los más importantes expertos de nuestro país, tanto de empresas de demoscopia como dentro o fuera de los partidos políticos.
Uno de ellos es José Miguel de Elías, Director de Investigación y Análisis de Sigma dos, que nos recibe en su despacho cercano al Congreso de los Diputados. "Para evaluar si una encuesta es fiable hay que mirar su ficha técnica y ver datos como el tamaño de la muestra, la fecha en la que se ha realizado, por qué medios se ha realizado, el ámbito que recoge y el universo".
Esos son los datos clave de cualquier encuesta además de, por supuesto, la empresa que la haya hecho: "Es como el médico, no se trata sólo de que tenga medicina sino que te fijas en el éxito que ha tenido antes curando a otros".
Más difícil ahora
El problema actualmente es, a juicio de José Miguel Elías, una "volatilidad en el voto exagerada": antes no había cambios significativos "en tres meses" y ahora se producen "en quince días o un mes variaciones cualitativas". Esto lleva, en su opinión, a que haya perdido sentido comparar encuestas hechas con poca diferencia de tiempo y que antes sí podía tener sentido estudiar juntas, lo que "genera también ruido" sobre las diferencias que se encuentran entre unas y otras.
Narciso Michavila, presidente de GAD3 nos habla también de esos problemas: "Está cambiado mucho todo está todo muy fragmentado, con lo cual cada vez es más difícil poder acertar", señala que además recuerda que nuestro país "tiene el sistema electoral más complicado" desde el punto de vista demoscópico: proporcional corregido y no con dos partidos sino con muchos más.
Hay más detalles que hacen que todo pueda complicarse: no es necesaria la inscripción y el voto no es obligatorio, con lo que se van introduciendo más variables difíciles de controlar. Para Michavila, además, los nuevos medios de comunicación e internet también hacen más volátil el voto. En definitiva, en su opinión "cuando lleguen las elecciones las encuestas van a valer para poco" -sobre todo por la prohibición de publicarlas en la última semana de campaña- y, si entonces valen poco "imagínate ahora".
La irrupción de Podemos
Una de las preguntas que nos hacemos los que seguimos las encuestas que se publican es si la aparición de un nuevo partido como Podemos complica el trabajo de los expertos en demoscopia al no tener, como se tiene de otros, un histórico de datos. José Miguel de Elías no cree que sea así: "Nuestro trabajo tiene una parte que es empírica, tenemos experiencia de reacciones de la población y de determinados colectivos en diferentes momentos".
Nos pone algún ejemplo: "Cuando un partido va a la baja, su recuerdo de voto –los encuestados que admiten haber votado por él en las anteriores elecciones- disminuye, se produce ese fenómeno". También hay hechos que se repiten históricamente, como que el PP sale siempre infravalorado en algunas regiones, especialmente Cataluña y el País Vasco, "pero nuestra experiencia nos permite corregir estas cosas".
La acumulación de muchos de estos factores sí que marca una mayor complejidad, además de que hay ocasiones "en las que te tienes que plantear si no hay comportamientos sociales que hayan cambiado". Sin duda, estamos en una de ellas: "Es un momento histórico, nunca se había producido un cambio tan drástico en la intención de voto en España, se produjo en la desaparición de UCD pero no en el nacimiento de un partido". Aún así, se muestra convencido de que "tenemos herramientas suficientes para poderlo encuadrar".
"Hay una máxima fundamental -nos asegura Narciso Michavila- el voto ni se crea ni se destruye" por lo que cuando un partido sufre una caída brusca o un ascenso importante "los votantes tienen que tener un comportamiento lógico" que es posible rastrear y que da muchas vistas.
Otro problema que el presidente de GAD3 ve en la situación actual es lo que él denomina "los recortes": las encuestas se hacen con presupuestos menores, es "más difícil localizar gente" y hay variables como el paro que pueden suponer distorsiones.
Arcadio Mateo, un experto en temas demoscópicos y colaborador de esRadio nos habla también de volatilidad y dice que las encuestas siguen siendo fiables, pero son "menos exactas". El problema es que aunque "dos o tres puntos" son un margen de error "asumible", en una situación como la actual "lo cambian todo".
Para Alfonso Serrano, diputado del PP en la Asamblea de Madrid y responsable del Área de Electoral de los populares, "los profesionales hacen su trabajo bien", pero "la dificultad es tanta que no puedes fiarte al 100%", en cualquier caso, no por ello los sondeos dejan de ser "buenos instrumentos de trabajo".
¿Cuántas entrevistas? ¿Dónde?
Otra pregunta que todos nos hacemos es cuántas entrevistas debe tener una encuesta para que podamos considerarla fiable. Sorprendentemente, nuestros expertos no coinciden demasiado en darnos una cifra, José Miguel Elías nos desvela una interesante fórmula: "El error muestral tiene una función exponencial, esto significa que con 400 entrevistas el error es del 5%, con 625 un 4%, con 1.111 un 3% y necesitas 2.000 para un 2%. Pero es que para llegar al 1% hay que irse a 10.000". Como señala nuestro interlocutor, "cada punto supone mucho más coste y llega un momento en el que no tiene demasiado sentido".
Un dato importante es que ese margen de error no se refiere a la estimación de voto, sino a preguntas más sencillas y por tanto de resultado final menos elaborado. En cualquier caso, "cuanto más muestra mejor, pero tan importante o más es la selección de individuos".
Narciso Michavila también incide en la calidad de la muestra, si ésta es buena "incluso casi da igual la población que quieras abarcar". Eso sí, teniendo en cuenta que hace falta un mínimo de unas 1.000 entrevistas a nivel nacional y sólo unas pocas menos, alrededor de 800, para una comunidad como Madrid.
Arcadio Mateo, por su parte, asegura que el mínimo está entre las 1.000 y las 1.500 entrevistas, pero cree que lo verdaderamente efectivas son las que se hacen a partir de unas 2.500. Alfonso Serrano nos dice que incluso se pueden hacer pequeños sondeos de varios centenares de entrevistas que luego se contrastan con datos de otras encuestas y también son herramientas útiles de trabajo.
Otro aspecto interesante es sí hay una diferencia entre las entrevistas presenciales -las que se hacen en el domicilio de los encuestados-, las telefónicas o las que se realizan a través de la web. Por ahora las empresas con las que hemos hablado no confían en este último método –"está muy verde"- pero respecto a los otros no hay significativas diferencias, si bien Narciso Michavila destaca que en la situación actual los sondeos con entrevistas presenciales pueden tener un problema de sesgo: "Se entrevistan muchos más parados", y eso puede hacer que se incrementen determinada tendencias.
"La cocina"
"Sólo me fío de las estadísticas que yo mismo he manipulado", decía Churchill en otra de sus frases míticas de sobre el mundo de las encuestas. En los últimos meses cada vez que se hace pública una encuesta se habla despectivamente de "la cocina" dando a entender que se trata de un proceso de manipulación.
¿Es cierto o la cocina es imprescindible para que el resultado de una encuesta refleje la realidad? Los expertos no tienen duda: "En cualquier herramienta de investigación la cocina es necesaria en el antes, el durante y el después", asegura contundente Narciso Michavila, que destaca que empieza ya a la hora de escoger la muestra "en sociología no funciona el muestreo aleatorio simple, es imposible".
"Lo ideal sería que el voto directo fuese la estimación de voto", nos explica Elías por su parte, "pero eso rara vez ocurre" nos comenta recordando que hay partidos que, sistemáticamente resultan claramente infrarrepresentados en muchas zonas.
También es necesario corregir los desequilibrios de las muestras, tal y como nos dice Arcadio Mateo. Lo que sí está mal visto entre nuestros expertos son las empresas que "cambian de método" de una encuesta a otra.
Mateo asegura que "si se quiere manipular se manipula" pero que no es habitual excepto muy pequeñas cosas –"los medios tienen sesgos para no separarse mucho de sus lectores"- y, en este sentido, apuesta por las encuestas internas de los partidos como las más fiables porque "sería muy estúpido mentirse a sí mismos".
Otra visión algo más pesimista respecto a las encuestas publicadas nos la da una política madrileña que también trabaja con muchos sondeos y que nos da su impresión off the record: "Los medios a veces tienen el titular antes de tener la encuesta".
Sin embargo, tal y como recuerda José Miguel de Elías, "jugar con las encuestas para mejorar la posición de un partido es muy peligroso" porque nunca se sabe el efecto real que cada proyección de voto puede tener en cada votante.
¿Mentiras? "¡Pon que a Podemos!"
Todos los expertos coinciden que en no hay un porcentaje elevado de mentirosos en las encuestas que realizan las empresas españolas: los cuestionarios están ya preparados para evitar la mentira consciente y también los encuestadores saben detectarla.
Sin embargo, un investigador que prefiere mantenerse en el anonimato nos cuenta un fenómeno que les está pasando en las últimas encuestas: "Hay gente que no dice algo como ‘pon que a Podemos a ver si estos se espabilan’ y, como es la respuesta que nos dan al final hay que ponerlo, aunque ya ves que tampoco es intención de voto de verdad".
Un segundo experto de otra empresa nos ha relatado algo similar también referente al partido de Pablo Iglesias, así que podemos estar ante un fenómeno ciertamente llamativo: ya no son sólo los partidos o los medios los que utilizan las encuesta para influir en política, sino que ¡hasta los propios encuestados lo hacen!.
Quizá Churchill tenía razón en otra de sus frases sobre la cuestión: "Las encuestas son como los trajes de baño femeninos. Es interesante lo que descubren, pero aún más interesante es lo que ocultan". Lo que es seguro es que cuanto más sepamos de cómo se hace ese traje de baño más fácil será saber, o al menos intuir, qué es lo que oculta.