La acumulación de evidencias sobre errores experimentales y de análisis cometidos en ciencias naturales, sociales y/o aplicadas, constatados a partir del examen de reproducibilidad de los resultados publicados en revistas científicas de prestigio, comienza a ser preocupante para la comunidad científica. El fenómeno demuestra la falta de rigor en los procesos de revisión peer-review, la falta de recursos en los sistemas de evaluación cualitativa de las comisiones de expertos así como cierta propensión al error y a la laxitud en la actividad investigadora cuando ésta está asociada a la presión por publicar y a la necesidad de reconocimiento de los méritos en el sistema científico-académico. Varias iniciativas se están desarrollando para neutralizar la avalancha de publicaciones de resultados científicos irreproducibles. Se trata de diseñar sistemas de evaluación abierta y de corrección de resultados con el objetivo de asegurar la calidad y la consistencia del progreso del conocimiento científico.
Una de las condiciones del método científico es la reproducibilidad de los resultados de la experimentación. Si el fenómeno observado no es espontáneo, teóricamente bajo las mismas condiciones y circunstancias cualquier otro investigador debería obtener los mismos resultados. La comunicación o publicación de los resultados obtenidos en la investigación científica debe facilitar el detalle de estas condiciones, los parámetros, las medidas y los indicadores utilizados, los instrumentos específicos, las técnicas y las metodologías de análisis, etcétera, que han permitido a la investigador llegar a las conclusiones que dice haber llegado.
El problema comienza cuando aún conocidos estos detalles, nadie se entretiene a comprobar, replicar y/o testear el experimento y el análisis de los datos efectuado y el artículo acaba publicado en una revista científica teóricamente de calidad y prestigio. Si el artículo muere en la revista o es leído, comentado y/o citado sin mayor compromiso o implicaciones, como es lo habitual, no hay mayor problema. El desastre llega cuando estos resultados publicados caen en manos de un científico profesionalmente riguroso o de una empresa que quiere hacer negocio con la aplicación efectiva de este conocimiento.
What a load of rubbish
El fenómeno ya es conocido desde hace tiempo y no es la primera vez que se trata con preocupación desde diferentes instituciones gubernamentales, académicas y empresariales.
El prestigioso semanario Economist publicaba el 6 de febrero del 2016 un interesante artículo “Let's just try that again” siguiendo la línea de un artículo anterior publicado el 19 de octubre del 2013 “How science goes wrong”, que se hacía eco de la creciente dimensión del problema y lo ejemplificaba en un examen de replicabilidad efectuado sobre los resultados de 98 artículos de psicología (publicados en 2015) encargado a 90 equipos de investigadores coordinados por Brian Nosek de la Universidad de Virginia, que consiguió replicar de forma satisfactoria los resultados de sólo el 39 % de los estudios investigados. El porcentaje es dramáticamente bajo y no es sólo exclusivo de ciencias aplicadas como la medicina.
La revista Nature publicaba el 3 de febrero de 2016 un artículo similar “Reproducibility: a tragedy of errors”, que hacía un sumario de los problemas asociados a la falta de rigor en las publicaciones científicas. Estos problemas eran básicamente que las revistas son reluctantes a la hora de recibir notificaciones o de tomar acciones apropiadas una vez detectado errores, o cargan sobre los autores la responsabilidad de estos errores, o no existen mecanismos para pedir los datos en bruto, etc.
Causas
Las causas del fenómeno del alto porcentaje de irreproducibilitad de los resultados de la experimentación publicados pueden identificarse y clasificarse por su naturaleza activa o pasiva.
Causas activas pueden ser la competitividad en ciencia y la presión por publicar, las exigencias para la construcción de un currículo y de una carrera, cierta propensión al error y a la laxitud en la actividad investigadora cuando ésta está asociada a la necesidad de reconocimiento de los méritos en el sistema científico-académico, o el maquillaje o eliminación de los datos que desvirtúen los resultados deseados.
Causas de naturaleza pasiva pueden ser la tediosa tarea de replicar y testear experimentos de otros, la falta de rigor en los procesos de revisión peer-review, la falta de recursos en los sistemas de evaluación cualitativa de las comisiones de expertos, los egos profesionales o la orientación de las ayudas económicas para la innovación en lugar de estar orientados a la revisión y control de resultados.
La intensidad en el creciente afloramiento de casos de resultados irreproductibles ha terminado siendo objeto de parodias y satírica como las que hace el Journal of Irreproductible Results, una publicación que llama a los científicos para rehuir la hipocresía, la arrogancia, los circunloquios y la ostentación de la profesión, una de las causas del fenómeno.
Iniciativas
Asegurar la calidad y la consistencia del progreso del conocimiento científico está en juego. Entre las iniciativas que se están desarrollando para neutralizar el la avalancha de publicaciones de resultados científicos irreproducibles y con el objetivo de diseñar y favorecer sistemas de evaluación abierta y de corrección de resultados, destacan dos.
The Preclinical Reproducibility and Robustness Channel se define como un repositorio / plataforma de publicación abierta y transparente de los exámenes de reproducibilidad, de confirmación y no confirmación, en la investigación biomédica. El canal quiere proporcionar replicaciones acumuladas en laboratorios comerciales o proporcionadas por científicos académicos, Está abierto por ello. a todos los científicos de la academia y la industria con el objetivo de proporcionar un espacio centralizado para que los investigadores comienzan un diálogo abierto, lo que permitirá mejorar la reproducibilidad de los estudios.
El instituto METRICS Meta-Research Innovation Centre en Stanford, California, es un iniciativa singular que tiene por objeto la ciencia forense de la ciencia. Su objetivo se centra en la transformación de las prácticas de investigación para mejorar la calidad de los estudios científicos en biomedicina y otras disciplinas. Se trata de testear de forma sistemática la replicabilidad de los resultados de la investigación de alta calidad, producir soluciones que aumenten la eficacia y el valor de la investigación científica, ayudar a magnificar el impacto de los académicos, legisladores y otras personas que trabajan en cuestiones de investigación, mejorar el discurso público y avanzar en el desarrollo de políticas y prácticas, maximizar el uso de las mejores prácticas de investigación, transformar las prácticas de investigación para fortalecer la base científica para la toma de decisiones informadas.
Cita recomendada
CAVALLER, Víctor. Resultados irreproducibles: la tragicomedia de los errores. COMeIN [en línea], febrero 2016, núm. 52. ISSN: 1696-3296. DOI: https://doi.org/10.7238/c.n52.1613
