miércoles, abril 26, 2006

La enorme chapuza del EGM: datos

Mucho hemos oído hablar últimamente de lo mal hecha que está la Encuesta General de Medios (EGM). Mucho se ha hablado de la COPE. Mientras que los más interesados en el EGM (también conocido como SERmómetro) intentar sacar el ventilador afirmando que la COPE ha manipulado los resultados, el grupo de José Antonio Abellán dijo desde el principio que todo había sido bajo notario, intenciones incluidas (¿o es que olvidan esto los demás?). Además, si quisieran manipularlo, ¿no se hubiera notado un cambio brutal?

Sólo hay que echar un ojo a los datos del EGM para descubrir que es una auténtica farsa matemática. Hay fallos de forma, de contenido e incluso fallos elementales de primaria. Así que, sin querer entrar en discusiones de política empresarial, veamos algunos de esos dislates, referidos en principio sólo a la radio generalista, que hacen del EGM un escándalo de primera:

La suma de los porcentajes de cuota no suma 100%

Si nos vamos a la página donde se relatan las cuotas de audiencia (shares) descubrimos que la suma de las audiencias no da 100%. Bueno, esto no deja de ser una cosa curiosa si supiéramos cuántas otras radios tienen contempladas (si es que las contemplan), pudiendo ser debido a un error de forma bastante grave ya que no se indica un porcentaje con un epígrafe de "resto" u "otros", como debería hacerse de acuerdo a unas buenas prácticas estadísticas. Y es que la diferencia es notable: entre el 15% y el 20%. ¿Tiene contemplado el EGM cientos de pequeñas emisoras con cuotas decimales y centesimales? ¿Entonces por qué la suma no da 100%? ¿Por qué no aparece ese valor como "otras"?


Tabla 1 - Número de oyentes en las últimas oleadas del EGM

El segundo informe de 2005 es particularmente interesante. Se incorporan al estudio RNE R1 y Punto Radio al estudio (tabla 1 en azul), pero los porcentajes de cuota no sufren variaciones distintas de la tendencia ya visible en la figura 1. ¿Por qué? Puede que esto explicara parte del decalaje existente entre el total y el teórico 100%, ya que en este caso y en el tercer informe de 2005, la suma de shares está en torno al 95%. Sin embargo, el valor residual que queda es superior a todos los shares indicados menos los de las cuatro emisoras principales.


Figura 1 - Evolución de la audiencia según el EGM de las principales emisoras de radio

Pero lo más gracioso es ver el EGM en el que han quitado a la COPE, ya que el resultado de los porcentajes supera escasamente el 75%. Asumiendo que el "resto" no indicado es similar a los dos anteriores, ¿quiere eso decir que la COPE subió varios puntos, desde el 17% hasta un 20-21% según las mismas mediciones chapuceras? A ver si sacan el informe con la COPE y vemos las diferencias o la confirmación de este dato. De todos modos pueden poner lo que quieran porque ningún dato cuadra…

La paradoja del total de oyentes

Este error es tan de bulto que no deja de sorprenderme, pero claro, el informe del EGM es tan malo que no hay manera de discernir cuáles de los posibles errores o manipulaciones han tenido lugar. El caso es que en la gráfica de número de oyentes aparece un recuadro con el número total de oyentes. La variación entre oleadas del dato indicado como total de oyentes no es significativa (ver tabla 1 y figura 2), al igual que son pequeños los cambios entre cada cadena. Sin embargo, lo más gracioso no es eso. Atención:

1. El valor total indicado no coincide nunca con el total calculado como suma de las audiencias individuales (ver tabla 1 y figura 2). Hasta la incorporación de RNE R1 y Punto Radio la situación es siempre que la suma calculada es inferior al total indicado, lo cual puede tener paralelismo con la existencia de datos de otras cadenas no publicados. Pero lo mejor de todo es que se incorporan esas dos cadenas al estudio y el número total de oyentes es el mismo (tabla 1 en azul). ¿En qué quedamos? ¿Sube, baja, se mantiene el total de oyentes de radio? No hay manera de sacar conclusiones.


Figura 2 - Comparación de los totales indicados y calculados

2. En el segundo y tercer informe de 2005, la suma de los oyentes (tabla 1 en amarillo) de cada cadena es superior (12041/12090) a la indicada en el total (11296/11277), lo cual es sorprendente. Y eso sin considerar ese "resto" de cadenas, que evaluadas en torno al 5% (según la tabla de shares, tabla 2) que quedaba deberían ser uno 500-600 mil oyentes.

3. En el primer informe de 2006 (el que acaba de salir), la suma total de oyentes es similar a la de la anterior oleada: 11295. Sin embargo, los valores individuales son similares (tanto la SER, como Onda Cero o RNE R1 apenas cambian en dos o tres decenas de miles; la SER ni eso) y no aparece la COPE. Pero ahora la suma de audiencias es de 9988. La diferencia es de 1307 (sin considerar restos que no aparecen y Com Radio que desaparece de la lista). ¿Creen de veras que la COPE va a manipular sus resultados al "alza" como dicen medios como la cadena SER o Vocento para manera pasar de más de 2 millones de oyentes a apenas 1 millón trescientos mil (más aún cuando otras mediciones indican que va mejorando su audiencia)? Pero peor aún, ¿qué pasa con ese resto? ¿Y qué pasa con la diferencia anterior entre el total indicado y la suma (casi un millón de oyentes)? Si tenemos en cuenta el dato de la suma de audiencias de las dos audiencias anteriores, la COPE sacaría un resultado similar al del informe anterior o ligeramente superior, teniendo en cuenta también la tendencia.

¿Para qué vamos a ordenar?

En el tercer informe de 2005, Com Radio aparece (tabla 1 en verde) con 57 mil oyentes por encima de otras dos con 61 mil y 60 mil oyentes respectivamente. ¿Por qué? Puede que se trate de una errata y fueran 157 mil oyentes, lo cual justifica su puesto, pero agrava más lo indicado en el punto 1 (12190 vs 11277) y no tiene coherencia con la tendencia de esa cadena. Admitiendo que sea una errata, la susodicha implica la tercera parte menos de audiencia, que pudiera afectar a los ingresos por publicidad de esa cadena de radio. De no serlo, es simplemente una chapucilla.

Las no cuotas

Hay un pequeño detalle en el segundo informe de 2005. En la tabla 1 se observa que Com Radio y Radio 9 tienen dato asociado de número de oyentes. Curiosamente vemos en la tabla 2 (en violeta) que en ese informe EGM no hay valor de share asociado. ¿Por qué si en el resto de informes sí aparece?

¿Share de audiencia o juego de dados?

Centrémonos ahora en las cuotas de audiencia. Los resultados de los informes están resumidos en la tabla 2. Más allá de lo ya mencionado anteriormente es interesante repetir el dato de que la suma de los shares no da 100%. La diferencia es sencillamente enorme. ¿Qué pasa con el resto de share? Podría ser debido a un redondeo de los datos, pero, incluso en el caso de que este redondeo fuera tendencioso (que si estuviera bien hecho no tendría más efecto que una o dos décimas), el error sería de un punto porcentual, y no de cinco o incluso del 18%.


Tabla 2 - Cuota de audiencia en las últimas oleadas del EGM

Pero sigamos. ¿En base a qué datos está calculado el share? La tabla 3 muestra el porcentaje de audiencia de cada cadena respecto al total indicado en el recuadro. No coincide. La tabla 4 muestra el porcentaje de audiencia de cada cadena respecto al total calculado como suma de audiencias. Tampoco cuadra. ¿Cómo se ha calculado el share? ¿Por qué la audiencia y el share siguen una tendencia clara y suave a lo largo del tiempo? ¿Cómo es posible que entrando radios al estudio, que no calculando algunos datos de share e incluso eliminando a la COPE, los datos son siempre tan suaves?


Tabla 3 - Cuota calculada en base al total de audiencia indicada


Tabla 4 - Cuota calculada en base al total calculado

Horrores de bulto

La propia web del AIMC cuenta con una interesante página: el error del muestreo. Según el cálculo que proporciona el error más pequeño es de un ±72% para el dato más alto o del ±120% para el dato de Onda Cero en el informe que acaban de sacar. Eso implica que el estudio da unos datos de audiencia para la SER que irían entre 1335 y 8290 miles y para Onda Cero de entre 0 y 3811 miles. Sencillamente inconcebible.

Otros parámetros misteriosos

El informe otorga otros parámetros que habría que analizar con más información delante. Empieza el documento con el porcentaje de penetración de los medios. Yo entiendo que se refiere al porcentaje de personas que entran en contacto con un medio a lo largo del día (o eso se deduce de la leyenda de la gráfica). Para la radio ese dato en el último informe es de 55,9%, siendo el universo poblacional de más de 37.400.000 de personas. ¿Quiere decir esto que el universo de personas que oyen la radio es de casi 21 millones? Bueno, si sumamos los datos aportados para la radio generalista y la radio temática el dato es de 21926, lo cual coincide. Sin embargo, si dividimos este dato entre el universo del estudio el dato es de 58,6%. ¿Qué pasa aquí?

El otro dato que se indica es el perfil del oyente. En estas gráficas el dato total de oyentes es de 20922, un millón de oyentes menos que el dato de la suma de totales indicados más abajo en datos de la radio generalista y temática (que de por sí también está mal). ¿Cómo es posible esta diferencia simplemente con pasar dos páginas? Una posible explicación es que en una misma encuesta se responda a ambos tipos de radio y el total de oyentes se calcule bien, sumando sólo uno en ese caso. Sin embargo de ser así el caso, ¿por qué no se indica en las tablas correspondientes de alguna manera? Lo que sí es cierto es que con este dato el porcentaje de penetración sí coincide. En cualquier caso, ¿por qué, a pesar de ser un resumen, no está bien indicado?

Sobre la radio temática

No perdamos de vista tampoco estos datos, aunque no quiero entrar en detalles los resultados de la radio temática. Si cogemos los valores totales del primer informe de 2006 descubrimos nuevas discrepancias: el total indicado es de 10631; la suma de datos individuales es 9927 (falta Cadena 100 que son unos 700 mil oyentes); la suma del desglose por tipo de radio temática (musical e informativa) da 10800. ¿De nuevo difieren? Bueno, cojamos pues los datos del tercer informe de 2005, que sí contaban con el dato de Cadena 100. La suma individual da 10366; la suma indicada 10282; la suma por desglose da 10456.. Y así, en todos…

Conclusiones

El informe público del EGM demuestra una clara y patente falta de precisión, calidad y profesionalidad. Existen muchos datos que no cuadran y que saltan a la vista de cualquiera. Los cálculos son deficientes e inconsistentes a lo largo del tiempo. Además, ¿qué valor tiene el dato puntual (me da igual que sea una media móvil) para la gestión de una emisora o la negociación de su publicidad? Lo normal sería aportar una evolución a lo largo del tiempo, que permite extraer algún tipo de conclusión. Lo que sí se puede concluir de este disparate de documento es que el EGM es una farsa estadística de nula fiabilidad y, visto que se cobra por ello, un timo.

Technorati tags
Blogalaxia tags