Fiabilidad de la ciencia

Qué es la fiabilidad en la investigación científica

El concepto procede de la misma raíz latina que la fiabilidad aplicada a pruebas diagnósticas (fidelis, digno de confianza), pero su alcance es más amplio. Mientras que en el contexto clínico la fiabilidad se refiere a la consistencia de un instrumento concreto (un test de laboratorio, una escala clínica, una lectura radiológica), en la investigación científica abarca la solidez del conjunto del proceso: diseño, recogida de datos, análisis estadístico e interpretación de los resultados.

Para entender la fiabilidad científica conviene distinguir dos términos que a menudo se emplean como sinónimos sin serlo. La reproducibilidad (reproducibility) se refiere a la posibilidad de obtener los mismos resultados reanalizando los mismos datos con los mismos métodos; es, en cierto modo, una verificación contable. La replicabilidad (replicability) va un paso más allá: exige que un investigador independiente, con datos nuevos y el mismo protocolo, obtenga conclusiones coherentes con las del estudio original. La fiabilidad en sentido pleno requiere ambas cosas.

La crisis de replicación

A partir de 2011, una serie de iniciativas colaborativas pusieron de manifiesto que una proporción preocupante de estudios publicados no podía ser replicada con éxito. El Reproducibility Project: Psychology, coordinado por Brian Nosek y publicado en 2015, intentó reproducir los resultados de 100 artículos de psicología experimental: solo un tercio arrojó resultados consistentes con los originales. En biomedicina, estudios de la empresa Amgen y del grupo de John Ioannidis en Stanford habían señalado problemas similares años antes.

Las causas son múltiples. Muestras demasiado pequeñas, análisis estadísticos exploratorios presentados como confirmatorios (la práctica conocida como p-hacking), sesgo de publicación que favorece los resultados positivos, y la presión institucional por publicar resultados llamativos contribuyen a inflar la tasa de hallazgos que luego no se sostienen. Ioannidis llegó a argumentar, en un artículo de 2005 muy citado, que la mayoría de los resultados de investigación publicados eran probablemente falsos. La afirmación era deliberadamente provocadora, pero el modelo matemático en que se apoyaba ha resultado difícil de rebatir en su totalidad.

Medidas para mejorar la fiabilidad

La respuesta de la comunidad científica ha sido gradual pero sustancial. El prerregistro de estudios, que consiste en publicar el protocolo y las hipótesis antes de recoger datos, limita la tentación de adaptar el análisis al resultado obtenido. Las revistas que adoptan el modelo de Registered Reports evalúan el artículo antes de conocer los resultados, lo que elimina el sesgo de publicación en la fase de revisión por pares.

Compartir datos y código de análisis en repositorios abiertos facilita la verificación independiente. Y el aumento del tamaño muestral mínimo exigido por agencias de financiación y comités editoriales reduce la probabilidad de que un efecto aparente se deba al azar. Ninguna de estas medidas es infalible por separado, pero su aplicación combinada ha empezado a modificar las prácticas de investigación en campos como la psicología, la oncología y la epidemiología.

Preguntas frecuentes

¿Qué diferencia hay entre esta entrada y la de fiabilidad diagnóstica?

La entrada fiabilidad se centra en la propiedad de un test o instrumento clínico concreto de dar resultados reproducibles. Esta entrada aborda la fiabilidad como propiedad de los resultados de la investigación científica en general, incluida la llamada crisis de replicación y las prácticas que la comunidad académica ha adoptado para contrarrestarla.

¿Fiabilidad y validez son lo mismo en investigación?

No, y la distinción es la misma que en el terreno diagnóstico. Un estudio fiable produce resultados consistentes al repetirlo; un estudio válido produce resultados que reflejan la realidad del fenómeno investigado. La fiabilidad es condición necesaria para la validez (sin consistencia no puede haber exactitud sistemática), pero no suficiente.

¿Afecta la crisis de replicación a todas las ciencias por igual?

Ha sido más visible en psicología social, farmacología preclínica y algunas ramas de la biomedicina. Las ciencias físicas muestran, en general, tasas de replicación más altas, en parte porque trabajan con sistemas menos variables y con protocolos experimentales más estandarizados. Pero sería imprudente asumir que el problema no existe fuera de las ciencias del comportamiento: en 2016, una encuesta de Nature reveló que más del 70 % de los investigadores de todas las disciplinas había intentado sin éxito reproducir al menos un experimento ajeno.

Referencias

1. Open Science Collaboration. Estimating the reproducibility of psychological science. Science. 2015;349(6251):aac4716.
2. Ioannidis JPA. Why most published research findings are false. PLoS Med. 2005;2(8):e124.
3. Goodman SN, Fanelli D, Ioannidis JPA. What does research reproducibility mean? Sci Transl Med. 2016;8(341):341ps12.
4. Baker M. 1,500 scientists lift the lid on reproducibility. Nature. 2016;533(7604):452-454.