Barómetro CIS abril-2012: periodistas siguen ignorando la significancia estadística

Como me temía, no conseguí hacer llegar ni la guía para interpretar encuestas ni la calculadora (¡más fácil no lo puedo poner!) a las redacciones de los grandes medios, por lo que me dedicaré a corregir las noticias de hoy sobre los cambios en intención de voto en España (según CIS 2941):

En todos los artículos de ABC, El Mundo, El País, Público, RTVE, … se presentan los mismos datos como hechos incontestables y sin incertidumbre:

«Mientras los populares pierden 2,1 puntos respecto al sondeo anterior, realizado en enero, el PSOE sube 1,6 puntos en estimación de voto.»

Las dos encuestas, la de abril y la de enero, fueron sobre 2500 entrevistas. Se trata del tercer caso que estudiamos, comparación de datos entre dos encuestas distintas (y por tanto, con valores no correlacionados).

Metiendo los datos en la calculadora, vemos que:

PP: Pasa de 42.7% a 40.6%, con una desviación estándar en la diferencia de 1.39%, luego la diferencia es de tan solo 1.5σ –> LA BAJADA DESDE ENERO NO ES SIGNIFICATIVA.
PSOE: Pasa de 28% al 29.6%, con una desviación estándar en la diferencia de 1.28%, luego la diferencia es de tan solo 1.25σ –> LA SUBIDA DESDE ENERO NO ES SIGNIFICATIVA.

Es decir: las supuestas subidas o bajadas desde enero son, con muy alta probabilidad, «ruido estadístico«, el producto de muestrear a unas personas sí y otras no. Recordar que normalmente se admite un umbral mínimo de 2 (o incluso 3) sigmas para considerar que un cambio es significativo.

Recuerdo que cuando vemos cifras de intención de voto, tenemos que imaginárnoslas como en la siguiente figura: cualquiera de esas líneas ruidosas tiene la misma probabilidad de ser la realidad.

Las gráficas y su «ruido estadístico». Si entra por los ojos espero que cale mejor la idea… (sacado de aquí)

Pero voy a más, ¿ha cambiado la intención de voto de los españoles desde las últimas elecciones del 20N? Se pueden utilizar las mismas fórmulas y calculadoras, sustituyendo el número de encuestas en las elecciones por un número muy grande, y tenemos:

PP: De 44.6% en las elecciones a 40.6% en encuesta: El PP ha bajado su intención de voto con 4.07σ –> ES UNA BAJADA MUY SIGNIFICATIVA (La bajada probablemente ES real).
PSOE: De 28.8% en las elecciones a 29.6% en encuesta: El PSOE ha subido su intención de voto con 0.91σ –> ES NADA SIGNIFICATIVA (La subida probablemente NO es real).
IU: De 6.9% en elecciones a 8.9%. Es una subida de 3.5σ –> ES UNA SUBIDA MUY SIGNIFICATIVA (La subida probablemente ES real).
UPyD: Sube del 4.6% al 5.1%, con subida de 1.13σ –> LA SUBIDA ES POCO SIGNIFICATIVA (La subida probablemente NO es real).

Recuerdo que las calculadoras también sirven para calcular la probabilidad de que un partido gane a otro, al menos en número de votos (el sistema de adscripciones hace muy difícil predecir el resultado en escaños). Por ejemplo, a día de hoy, IU ganaría a UPyD con un 99.999% (y me faltan algunos nueves más, pero… ¿qué más da? :-).

Mientras los medios generalistas no corrijan sus errores, aprovecharé este blog para corregirlos siempre que tenga tiempo en mi lucha particular. No sólo por «el gusto» de divulgar sobre estadística básica, sino porque pienso que es deber de cualquier periodista serio dominar estos conceptos.

Ignorarlos es, sencillamente, no contar la verdad.