Demostración matematico-estadística: La mayoría de los resultados de "estudios científicos" son falsos

¡Compártelo!
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

La reciente denuncia de la forma en que los medios tradicionales reproducen acríticamente muchos «estudios científicos» me ha inspirado a escribir el post de hoy, que va dedicado a jafma 😉

El título del post, tan aparentemente radical, no lo he puesto yo sino el catedrático norteamericano John Ioannidis. Es el título de su paper («Why most published research findings are false» PDF), que batió records de descargas en la revista donde apareció en 2005.
El autor se centra principalmente en el mundo de la investigación en ciencias de la vida, donde típicamente un «estudio» intenta demostrar si existe, o no, relación causa-efecto en el caso de interés.
Para empezar a explicar el fondo del asunto, qué mejor que traducir el resumen del estudio de boca del mismo Ioannidis:

Hay una preocupación creciente sobre la posibilidad de que la mayoría de los resultados de investigaciones sean falsos. La probabilidad de que la aportación de una investigación sea cierta depende de la produndidad del estudio y su sesgo (bias, prejuicios), el número de otros estudios sobre la misma cuestión y, muy importante, el ratio de las relación-sí/relación-no que ya han sido demostradas en cada campo científico. […]

Y la mejor parte:

[…] para la mayoría de situaciones, es más probable que el resultado de un estudio sea falso que verdadero. Más aún, en muchos campos científicos, los supuestos descubrimientos no son más que una medición del prejucio prevaleciente.

Un ejemplo hipotético con numeritos para hacerse una idea de cómo funciona la teoría de este investigador:
¿Qué genes son responsables de la tendencia a la esquizofrenia?
Asumiremos que un equipo de investigadores quiere encontrar cuales de entre 100.000 genes (sus alelos, ver polimorfismo genético) tienen relación con tendencia a desarrollar esta enfermedad. Basado en lo que se sabe estadísticamente por herencia de esta enfermedad, se puede calcular que habrá unos 10 genes, por lo que las probabilidades a priori son de R=10/100.000 = 0.000001%.
Se puede demostrar (ver paper) que si los investigadores asumen (como es común) un umbral del 95% de seguridad para dar por válida una relación en los datos, tendrán 12e-4 probabilidades de encontrar una relación positiva entre un gen y la enfermedad.
Pero ahora asumamos que, por casualidad, el experimento se realiza de forma que algunos resultados entran en el umbral del 95% «por los pelos» debido a cambios como no contar a algún paciente por que «así los datos encajan mejor», analizar solo un subgrupo de los datos porque resulta más atractivo, sesgo en la elección de los pacientes, etc… Se muestra que incluso rediciendo el sesgo a un mínimo, las probabilidades de encontrar un gen realmente relacionado son de 4.4e-4.
Incluso asumiento que no hay sesgo alguno, si 10 equipos distintos en el mundo repiten el experimento, si alguno de ellos encontrase relación estadística de un gen, solo habría una probabilidad del 0.0000015% de que fuese cierta… ¡apenas mayor que el conocimiento «a priori» sin ningún estudio que asignaba probabilidades del 0.000001% a cada gen!
En palabras llanas: hay tan pocas probabilidades de encontrar la relación real entre gen y enfermedad, por que las probabilidades a priori son tan bajas, que casi seguro cualquier resultado encontrado es debido «al ruido» o la casualidad más que a una causa subyacente real.
Da que pensar, ¿verdad?
Como opinión personal, creo que el caso se podría extender (aunque no dejando tan mal), a muchísimos otros campos científicos no relacionados con biología, como ingeniería o incluso física aplicada. Otra cuestión serían los resultados como teoremas matemáticos y todo tipo de «Demostraciones» (con mayúsculas) que sean deducibles lógicamente, no a partir de encajar datos estadísticos con modelos. De esos me fío mucho más.

Imagen del científico loco: 1

PD: Reconozco que se trata de un «estudio» diciendo que los demás «estudios» son falsos (lo que casi entra en metafísica), pero en mi opinión el estudio crítico con el resto tiene bastante credibilidad al basarse en un análisis estadístico aparentemente válido y razonado.

¡Compártelo!
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
Etiquetado con: