Hace unos años, dos investigadores tomaron los ingredientes más utilizados de 50 en un libro de cocina y estudiaron cuántos se habían relacionado con un riesgo o beneficio de cáncer, según una variedad de estudios publicados en revistas científicas.
¿El resultado? Cuarenta de 50, entre sal, harina, perejil y azúcar. "¿Todo lo que comemos está asociado con el cáncer?" se preguntaron los investigadores en un artículo de 2013 basado en sus hallazgos.
Su investigación tocó un problema conocido pero persistente en el mundo de la investigación: muy pocos estudios tienen muestras lo suficientemente grandes como para apoyar conclusiones generalizadas.
Pero la presión sobre los investigadores, la competencia entre las revistas y el apetito insaciable de los medios de comunicación por nuevos estudios que anuncien avances revolucionarios ha significado que estos artículos continúen publicándose.
"La mayoría de los artículos que se publican, incluso en revistas serias, son bastante descuidados", dijo John Ioannidis, profesor de medicina en la Universidad de Stanford, que se especializa en el estudio de estudios científicos.
Este enemigo jurado de las malas investigaciones publicó un artículo ampliamente citado en 2005 titulado: "Por qué la mayoría de los resultados de las investigaciones publicadas son falsos".
Desde entonces, dice, solo se han hecho progresos limitados.
Algunas revistas ahora insisten en que los autores registren previamente su protocolo de investigación y proporcionen sus datos en bruto, lo que dificulta a los investigadores manipular los hallazgos para llegar a una cierta conclusión. También permite a otros verificar o replicar sus estudios.
Porque cuando los estudios se replican, rara vez se obtienen los mismos resultados. Solo un tercio de los estudios 100 publicados en las tres principales revistas de psicología podrían replicarse con éxito en una gran prueba 2015.
La medicina, la epidemiología, la ciencia de la población y los estudios nutricionales no tienen mejores resultados, dijo Ioannidis, cuando se intenta replicarlos.
“En todas las ciencias biomédicas y más allá, los científicos no se capacitan lo suficiente en estadísticas y metodología”, dijo Ioannidis.
Demasiados estudios se basan únicamente en unos pocos individuos, lo que dificulta sacar conclusiones más amplias porque los muestreos tienen muy pocas esperanzas de ser representativos.
“La dieta es una de las áreas más horribles de la investigación biomédica”, agregó el profesor Ioannidis, y no solo debido a conflictos de intereses con varias industrias alimentarias.
“Medir la dieta es extremadamente difícil”, enfatizó. ¿Cómo podemos cuantificar con precisión lo que come la gente?
En este campo, los investigadores a menudo realizan una búsqueda salvaje de correlaciones dentro de grandes bases de datos, sin siquiera una hipótesis inicial.
Incluso cuando la metodología es buena, ya que el estándar de oro es un estudio en el que los participantes se eligen al azar, la ejecución puede fallar.
Un famoso estudio de 2013 sobre los beneficios de la dieta mediterránea contra las enfermedades cardíacas tuvo que ser retraído en junio por la revista médica más prestigiosa, el New England Journal of Medicine, porque no todos los participantes fueron reclutados al azar; Los resultados han sido revisados a la baja.
Entonces, ¿qué debemos quitar de la avalancha de estudios publicados todos los días?
Ioannidis recomienda hacer las siguientes preguntas: ¿es esto algo que se ha visto solo una vez o en múltiples estudios? ¿Es un estudio pequeño o grande? ¿Es este un experimento aleatorio? ¿Quién lo financió? ¿Son transparentes los investigadores?
Estas precauciones son fundamentales en la medicina, donde los malos estudios han contribuido a la adopción de tratamientos que son, en el mejor de los casos, ineficaces y, en el peor, perjudiciales.
En su libro "Ending Medical Reversal", Vinayak Prasad y Adam Cifu ofrecen ejemplos aterradores de prácticas adoptadas sobre la base de estudios que se invalidaron, como abrir una arteria cerebral con stents para reducir el riesgo de un nuevo accidente cerebrovascular.
Fue solo después de 10 años que un estudio aleatorizado robusto mostró que la práctica en realidad aumentó el riesgo de accidente cerebrovascular.
La solución radica en el endurecimiento colectivo de los estándares por parte de todos los actores del mundo de la investigación, no solo las revistas, sino también las universidades, las agencias de financiación pública. Pero todas estas instituciones operan en entornos competitivos.