TN Nota: Un análisis atento y crítico del estado de la ciencia revela indirectamente la fuente de error en la ciencia falsa como la asociada con el calentamiento global. La última frase es una buena conclusión: "Los mejores amigos del Culto a la Ciencia son los peores enemigos de la práctica científica".
El problema con la ciencia es que gran parte de ella simplemente no lo es. El verano pasado, Open Science Collaboration anunció que había intentado replicar cien experimentos de psicología publicados, tomados de muestras de tres de las revistas más prestigiosas en el campo. Las afirmaciones científicas se basan en la idea de que los experimentos repetidos en condiciones casi idénticas deberían producir aproximadamente los mismos resultados, pero hasta hace muy poco, muy pocos se habían molestado en verificar de manera sistemática si este era realmente el caso. El OSC fue el intento más grande hasta la fecha para verificar los resultados de un campo, y el más impactante. En muchos casos, habían utilizado materiales experimentales originales y, a veces, incluso realizaron los experimentos bajo la guía de los investigadores originales. De los estudios que originalmente informaron resultados positivos, un asombroso porcentaje de 65 no pudo mostrar significación estadística en la replicación, y muchos de los restantes mostraron tamaños de efectos muy reducidos.
Sus hallazgos salieron en las noticias, y rápidamente se convirtieron en un club con el que golpear las ciencias sociales. Pero el problema no es solo con la psicología. Hay una regla tácita en la industria farmacéutica de que la mitad de toda la investigación biomédica académica finalmente resultará falsa, y en 2011 un grupo de investigadores de Bayer decidió probarla. Al observar sesenta y siete proyectos recientes de descubrimiento de fármacos basados en investigaciones preclínicas sobre biología del cáncer, descubrieron que en más del 75 por ciento de los casos los datos publicados no coincidían con sus intentos internos de replicación. No se trata de estudios publicados en revistas oncológicas que vuelen de noche, sino que son investigaciones de gran éxito presentadas en Science, Nature, Cell y similares. Los investigadores de Bayer se estaban ahogando en malos estudios, y fue a esto, en parte, que atribuyeron los rendimientos misteriosamente decrecientes de las tuberías de drogas. Quizás muchos de estos nuevos medicamentos no tengan efecto porque la investigación básica en la que se basó su desarrollo no es válida.
Cuando un estudio no se replica, hay dos posibles interpretaciones. La primera es que, sin el conocimiento de los investigadores, hubo una diferencia real en la configuración experimental entre la investigación original y la replicación fallida. A estos se les conoce coloquialmente como "efectos de fondo de pantalla", la broma es que el experimento se vio afectado por el color del fondo de pantalla en la habitación. Esta es la explicación más feliz posible para no reproducirse: significa que ambos experimentos han revelado hechos sobre el universo, y ahora tenemos la oportunidad de aprender cuál era la diferencia entre ellos e incorporar una distinción nueva y más sutil en nuestras teorías.
La otra interpretación es que el hallazgo original era falso. Desafortunadamente, un ingenioso argumento estadístico muestra que esta segunda interpretación es mucho más probable. Articulado por primera vez por John Ioannidis, profesor de la Facultad de Medicina de la Universidad de Stanford, este argumento procede de una simple aplicación de estadísticas bayesianas. Supongamos que hay ciento una piedras en un campo determinado. Uno de ellos tiene un diamante en su interior y, por suerte, tiene un dispositivo de detección de diamantes que anuncia un porcentaje de precisión 99. Después de aproximadamente una hora de mover el dispositivo, examinar cada piedra por turno, de repente las alarmas parpadean y las sirenas suenan mientras el dispositivo apunta a una piedra de aspecto prometedor. ¿Cuál es la probabilidad de que la piedra contenga un diamante?
La mayoría diría que si el dispositivo anuncia un porcentaje de precisión 99, entonces hay un porcentaje de 99 de que el dispositivo esté discerniendo correctamente un diamante, y un porcentaje de 1 de que haya dado una lectura falsa positiva. Pero considere: de las ciento una piedras en el campo, solo una es verdaderamente un diamante. Por supuesto, nuestra máquina tiene una probabilidad muy alta de declararla correctamente como un diamante. Pero hay muchas más piedras libres de diamantes, y aunque la máquina solo tiene un 1 por ciento de posibilidades de declarar falsamente que cada una de ellas es un diamante, hay un centenar de ellas. Entonces, si tuviéramos que agitar el detector sobre cada piedra en el campo, sonaría, en promedio, dos veces, una para el diamante real y otra cuando una piedra dispara una lectura falsa. Si solo sabemos que la alarma ha sonado, estas dos posibilidades son más o menos igualmente probables, lo que nos da aproximadamente un 50 de probabilidad de que la piedra realmente contenga un diamante.
Esta es una versión simplificada del argumento que Ioannidis aplica al proceso de la ciencia misma. Las piedras en el campo son el conjunto de todas las hipótesis probables posibles, el diamante es una conexión o efecto hipotético que resulta ser cierto, y el dispositivo de detección de diamantes es el método científico. Una cantidad tremenda depende de la proporción de posibles hipótesis que resulten verdaderas y de la precisión con que un experimento pueda discernir la verdad de la falsedad. Ioannidis muestra que para una amplia variedad de entornos y campos científicos, los valores de estos dos parámetros no son nada favorables.
Por ejemplo, considere un equipo de biólogos moleculares que investiga si una mutación en uno de los innumerables miles de genes humanos está relacionada con un mayor riesgo de Alzheimer. La probabilidad de que una mutación seleccionada al azar en un gen seleccionado al azar tenga precisamente ese efecto es bastante baja, por lo que al igual que con los cálculos en el campo, es más probable que un hallazgo positivo sea falso, a menos que el experimento sea increíblemente exitoso en la clasificación El trigo de la paja. De hecho, Ioannidis encuentra que, en muchos casos, aproximarse incluso al 50 por ciento de verdaderos positivos requiere una precisión inimaginable. De ahí el llamativo título de su artículo: "Por qué los hallazgos de investigación más publicados son falsos".
wpDiscuz