Un macroestudio muestra que los mismos datos pueden dar resultados científicos distintos

Un macroestudio internacional en el que ha participado el Consejo Superior de Investigaciones Científicas (CSIC) ⁽¹⁾ ha revelado que distintos análisis aplicados a los mismos datos pueden arrojar resultados científicos diferentes, según una investigación publicada en la revista Nature ⁽²⁾.

El trabajo, en el que participaron 457 analistas independientes que realizaron 504 reanálisis de datos procedentes de 100 estudios científicos previamente publicados, pone el foco en cómo las decisiones metodológicas influyen en las conclusiones finales y por qué comprender esa diversidad de enfoques resulta clave para fortalecer la fiabilidad de la ciencia.

Decisiones que cambian resultados

La investigación parte de una idea central: un mismo conjunto de datos no conduce necesariamente a una única respuesta científica. Todos los equipos recibieron la misma base de datos y la misma pregunta de investigación, pero contaron con libertad total para decidir cómo limpiar los datos, cómo definir las variables, qué modelos estadísticos emplear y cómo interpretar los hallazgos. Según el CSIC, ese margen de elección explica que se obtengan conclusiones distintas sin que ello implique, por sí mismo, la existencia de errores.

Ese fenómeno recibe el nombre de “variabilidad analítica”, una expresión que alude a la influencia de los distintos caminos metodológicos posibles dentro de estándares científicos aceptados. La institución subraya que el estudio no cuestiona la validez de la ciencia, sino que aporta evidencia para entender mejor cómo se generan las conclusiones y de qué manera pueden hacerse más sólidas. En ese sentido, el trabajo sostiene que avanzar hacia una ciencia más fiable no pasa solo por replicar resultados, sino también por examinar y comunicar la variedad de decisiones analíticas que pueden conducir a ellos.

Los datos del artículo publicado en Nature reflejan con claridad esa diversidad. El estudio examinó una muestra aleatoria estratificada de 100 investigaciones publicadas entre 2009 y 2018 y halló que solo el 34% de los reanálisis independientes obtuvo el mismo resultado que el estudio original dentro de una región de tolerancia concreta. Al ampliar cuatro veces esa tolerancia, la cifra aumentó al 57%. Además, el 74% de los reanálisis alcanzó la misma conclusión que la investigación original, mientras que el 24% no encontró efectos o arrojó resultados no concluyentes y el 2% informó del efecto opuesto.

El papel del CSIC

La participación española en este proyecto ha corrido a cargo de Guiomar Niso, investigadora del CSIC en el Centro de Neurociencias Cajal (CNC). Según ha destacado la institución, Niso llevó a cabo un análisis avanzado de datos complejos con una metodología rigurosa y reproducible, una línea de trabajo que también caracteriza su investigación en neuroimagen y ciencia abierta.

La propia investigadora ha resumido el sentido del hallazgo al señalar que cada análisis implica decisiones metodológicas que pueden influir en los resultados. A su juicio, comprender y cuantificar esa variabilidad y garantizar la transparencia en los procesos analíticos permite reforzar la confianza en la investigación científica. Su aportación encaja con uno de los mensajes de fondo del trabajo: hacer visible el proceso analítico resulta tan importante como presentar el resultado final.

El CSIC enmarca esta participación como una muestra de su compromiso con la ciencia abierta, la transparencia metodológica y el impulso de estándares orientados a aumentar la robustez de los resultados científicos. La institución considera que la implicación de Niso en este proyecto internacional refuerza esa apuesta por prácticas de investigación más abiertas y verificables, especialmente en áreas donde los datos complejos exigen decisiones analíticas numerosas y encadenadas.

Ciencia más robusta

El estudio se integra en el programa internacional SCORE –siglas de Systematizing Confidence in Open Research and Evidence–, una iniciativa diseñada para evaluar la solidez, la reproducibilidad y la credibilidad de la investigación en ciencias sociales y del comportamiento. Dentro de ese marco, el trabajo publicado en Nature analiza hasta qué punto los resultados de estas disciplinas dependen de las elecciones realizadas por quienes examinan los datos.

En el artículo científico, los autores señalan que este estudio exploratorio indica que los análisis de camino único, habituales en la investigación social y del comportamiento, no deberían darse por robustos automáticamente frente a análisis alternativos igualmente justificables. Por ello, recomiendan desarrollar y usar prácticas que permitan explorar y comunicar esta fuente de incertidumbre, a menudo poco atendida. El planteamiento no desacredita los resultados previos, sino que invita a contextualizarlos mejor y a exponer con mayor detalle las decisiones que los sostienen.

La principal aportación del macroestudio reside, por tanto, en hacer visible una dimensión del trabajo científico que muchas veces permanece en segundo plano. Elegir un criterio para depurar datos, optar por una variable en lugar de otra o seleccionar un modelo estadístico concreto son decisiones que forman parte de la práctica investigadora cotidiana, pero que también pueden modificar el resultado final. El estudio muestra que esa variabilidad existe incluso cuando los analistas trabajan con la misma información de partida y con la misma pregunta.

Lejos de presentar esa diversidad como una anomalía, los responsables del trabajo la sitúan dentro de los márgenes de una investigación científicamente aceptable. La conclusión de fondo es que una ciencia más fiable requiere no solo capacidad de repetición, sino también mayor transparencia sobre los itinerarios analíticos seguidos. En ese punto, el macroestudio aporta una base empírica para reforzar debates ya abiertos sobre reproducibilidad, robustez y buenas prácticas en la producción de conocimiento científico.

El hallazgo cobra especial relevancia por la escala del proyecto y por el número de investigadores implicados. Reunir a 457 analistas independientes de instituciones de todo el mundo para reexaminar evidencia ya publicada ha permitido observar con detalle cómo varían los resultados cuando cambian los procedimientos, incluso si la pregunta inicial permanece intacta. Esa fotografía de conjunto refuerza la idea de que la fortaleza de la ciencia depende también de hacer explícitas sus decisiones, sus márgenes y sus incertidumbres.