Canarias Ahora
Un experimento dentro del megaproyecto SCORE, para medir la credibilidad real de las ciencias sociales y del comportamiento, ofreció los mismos datos a cerca de 500 investigadores para comprobar la robustez de los resultados y reveló la “variabilidad analítica” Hemeroteca - Dinero gastado, tiempo invertido y menos confianza en el sistema: cómo las cuatro grandes editoriales “drenan” la ciencia Cuando decimos que los datos científicos “hablan por sí solos”, habría que introducir algunos matices, según los resultados de megaproyecto SCORE que se presentan este miércoles en la revista Nature . Una de las líneas de este programa, financiado por la agencia estadounidense DARPA y cuyo objetivo es medir la credibilidad real de las ciencias sociales y del comportamiento, puso a prueba la robustez de la ciencia a través de un interesante experimento. El resultado revela que los mismos datos empíricos pueden llevar a conclusiones científicas diferentes. Para la prueba, los autores entregaron los mismos conjuntos de datos a 457 analistas independientes de instituciones a los que lanzaron la misma pregunta de investigación correspondiente a 100 estudios previamente publicados. Su única directriz fue tener libertad total para utilizar su propio criterio experto a la hora de decidir cómo procesar y analizar esa información. Los resultados de los 504 reanálisis que se llevaron a cabo son profundamente reveladores: solo un 34% logró dar con el mismo resultado estadístico que el artículo original dentro de un estrecho margen de tolerancia predefinido. Al observar las conclusiones generales que extrajeron de los datos, un 74% de los investigadores llegó a la misma conclusión que el trabajo original, un 24% arrojó resultados no concluyentes y un 2% encontró efectos diametralmente opuestos. El papel de la “variabilidad analítica” Estas discrepancias, advierten los investigadores, no se deben a una falta de pericia por parte de los científicos, ya que investigadores con una sólida formación estadística tuvieron la misma probabilidad de llegar a resultados divergentes. El estudio demuestra que la investigación empírica implica tomar de forma continua decisiones que son totalmente defendibles: cómo se limpian los datos en bruto, cómo se definen las variables o qué modelo estadístico se utiliza. Esta flexibilidad, conocida como “variabilidad analítica”, influye de manera decisiva en las conclusiones finales y genera mayor incertidumbre en estudios observacionales complejos, donde el investigador tiene más opciones metodológicas que en los diseños experimentales. Cada análisis implica decisiones metodológicas que pueden influir en los resultados. Comprender y cuantificar esa variabilidad nos permite fortalecer la confianza en la investigación científica Guiomar Niso — Investigadora del Centro de Neurociencias Cajal (CNC-CSIC) y participante en el estudio. Lejos de ser un fallo del sistema, los autores argumentan que visibilizar esta variabilidad es vital para hacer una mejor ciencia.“Cada análisis implica decisiones metodológicas que pueden influir en los resultados”, asegura Guiomar Niso , investigadora del Centro de Neurociencias Cajal (CNC-CSIC) y participante en el estudio. “Comprender y cuantificar esa variabilidad y garantizar la transparencia en los procesos analíticos nos permite fortalecer la confianza en la investigación científica”. “Estos hallazgos no cuestionan la credibilidad de investigaciones previas”, recalca Balázs Aczél , investigador principal del estudio de robustez. “Más bien, ponen de manifiesto que presentar un único análisis a menudo no refleja el verdadero grado de incertidumbre empírica, y que ignorar la variabilidad analítica puede conducir a una confianza excesiva en las conclusiones científicas”. Fragilidad y falta de trasparencia Además de la robustez, el megaproyecto SCORE evaluó esta credibilidad desde otros dos ángulos que también mostraron un evidente margen de mejora. En cuanto a la reproducibilidad (la capacidad de repetir el mismo análisis original con los mismos datos), los investigadores chocaron de frente con la falta de transparencia: solo el 24% de los artículos evaluados compartía públicamente sus datos originales. Cuando esta información sí estaba disponible y se intentó la reproducción, un 74% de los trabajos logró reproducirse de forma aproximada, pero solo un 54% alcanzó una reproducción precisa de las cifras. El mensaje principal de SCORE es sencillo: investigar es difícil. Y, en cierto modo, el trabajo duro comienza después de un descubrimiento Tim Errington — Director sénior de investigación del Centro para la Ciencia Abierta (COS) y uno de los líderes del proyecto Por otro lado, la replicabilidad (someter la misma pregunta de investigación a nuevos conjuntos de datos empíricos) evidenció que los hallazgos iniciales son más frágiles de lo que parecen. Apenas el 49 % de los estudios logró replicarse con éxito bajo los criterios estadísticos más comunes. Además, los tamaños de los efectos observados en estos nuevos ensayos replicados fueron, de media, menos de la mitad de la magnitud reportada en las investigaciones originales. En su conjunto, la serie de artículos presentados en Nature subraya que la credibilidad de la ciencia es multidimensional y que es improbable que existan atajos de aplicación general o un único indicador mágico para determinar si un estudio es fiable. “El mensaje principal de SCORE es sencillo: investigar es difícil”, resume Tim Errington , director sénior de investigación del Centro para la Ciencia Abierta (COS) y uno de los líderes del proyecto. “Y, en cierto modo, el trabajo duro comienza después de un descubrimiento. Se necesita un esfuerzo enorme para verificar los nuevos hallazgos y tener la suficiente confianza en ellos como para sentar las bases de futuras investigaciones”.
Go to News Site