¿Cómo saben los científicos si el experimento que están configurando no se ha intentado antes y falló, cuando todo lo que se publica son resultados positivos?

Aunque es cierto que hay una falta de resultados negativos en la revista científica, ha habido algunos cambios ligeros en la forma en que percibimos el resultado negativo.
Un ejemplo de esto es: Journal of Negative Results in BioMedicine
También hay otro ejemplo. Sin embargo, para que dicho escenario reduzca y aumente la eficiencia de la comunidad científica en su conjunto, realmente necesitamos un cambio fundamental en nuestra percepción del resultado negativo.

Su premisa es incorrecta (aunque posiblemente arriesgando ser cierta).
“Los resultados negativos” ahora representan solo el 14% de los artículos publicados, por debajo del 30% en 1990 “. Cómo la ciencia va mal

“Cada año hay una disminución del 6% en el número de publicaciones con resultados negativos, incluso cuando los investigadores reconocen la importancia de tener acceso a estos resultados”. El acertijo de los artículos editoriales con resultados negativos

Journal of Negative Results in BioMedicine

En algunos campos científicos, los resultados negativos a menudo se consideran altamente publicables. Un caso famoso es el experimento de Michelson-Morley que muestra que la velocidad de la luz era la misma independientemente de si se medía en la misma dirección del movimiento de la Tierra o en ángulo recto con el movimiento de la Tierra. La incapacidad de Michelson y Morley para encontrar una diferencia fue una de las cosas que llevaron a la teoría de la relatividad de Einstein.

En muchos campos, sin embargo, los hallazgos solo se consideran interesantes si se demuestra un efecto. En esos campos sería difícil publicar un resultado si su manipulación no tuvo ningún efecto. Un ejemplo clásico de eso son los medicamentos antidepresivos cuya efectividad se ve mucho mejor si solo se consideran los artículos publicados ( http://mentalhealthdaily.com/201 … http://mpsi.wayne.edu/research/s …, Sesgo de publicación) . Esta situación ha mejorado para las drogas porque el gobierno de EE. UU. Tiene reglamentaciones relativamente nuevas que dificultan la ocultación de estudios de medicamentos desfavorables simplemente al no publicarlos.

Los estudios grandes, bien realizados, tienen más probabilidades de ser publicados, incluso si no muestran ningún efecto. Por ejemplo, es probable que se publique una prueba muy grande que muestre, por ejemplo, que beber café no tiene ningún efecto en la duración de la vida. Además, si un científico reúne una serie de estudios que contienen algunos resultados negativos entre varios positivos, es probable que ese trabajo se publique.

Aquí es donde se vuelve desordenado. Algunos temas se estudian una y otra vez. Intente buscar en la literatura sobre los efectos de azúcares en la salud y encontrará muchos estudios aparentemente similares. Por lo general, los estudios difieren ligeramente, tal vez buscando en diferentes poblaciones de personas o diferentes cepas de ratas de laboratorio. Este tipo de replicación puede ser buena porque nos permite saber qué tan fuerte es el efecto. Si un fenómeno dado solo ocurre en adolescentes estadounidenses, pero no en ningún otro grupo de personas, entonces los fenómenos podrían no ser importantes.

La situación se vuelve desordenada de otra manera. Supongamos que un científico descubriera que una sustancia dada causa un daño sutil al ADN. Si otro científico intenta reproducir el efecto pero no puede hacerlo, podría ser porque el método del segundo científico para medir el daño al ADN no fue lo suficientemente preciso o sensible. O tal vez, el segundo científico, contaminó accidentalmente sus recipientes de reacción con algo que impide que se vea el daño en el ADN. Este tipo de situación es probablemente común en los campos donde se necesitan mediciones muy sensibles o complejas.

Es un gran problema. Sin embargo, no es tan serio como lo implica la pregunta. No es verdad que “todo lo que se publica es un resultado positivo”. Es más exacto decir que los resultados negativos no se publican por sí mismos . Es decir, es realmente difícil, mucho más difícil de lo que debería ser, publicar un documento que no diga nada más que ” Esto no funcionó “.

Lo que la mayoría de los científicos intentan hacer, creo, es incluir algunos datos positivos junto con los negativos, permitiendo que salgan los datos negativos. ” Esto no funcionó, y eso no funcionó, pero estas alternativas sí funcionaron ” . (Ver nota al pie para algunos ejemplos).

Por supuesto, no siempre se pueden encontrar datos positivos y, a menudo, se prefiere tener las cosas positivas por sí solas, en lugar de arrastrarlas hacia abajo con cosas negativas. Entonces, definitivamente es cierto que hay un problema real con los resultados negativos que no se publican.

Incluso los resultados negativos no publicados se extienden hasta cierto punto. Carteles o charlas breves en conferencias, menciones informales, charlas sobre cerveza, ese tipo de cosas son realmente útiles. También hay signos reveladores. Se publican cosas útiles e interesantes que son positivas. Si algo es obvio e interesante, y aún nadie aparentemente ha hecho algo al respecto … hmm. La próxima vez que tome una cerveza con fulano, le preguntaré si lo probaron.

Por supuesto, eso significa que los científicos menos conectados se quedan afuera. Si no estás en la conferencia correcta, o si no estás tomando cervezas con las personas adecuadas, no necesariamente escucharás sobre el tema.

Además, por supuesto, estas cosas no son revisadas por pares. Si alguien me dice que intentaron hacer algo y no funcionó, ¿es porque es realmente negativo, o porque son incompetentes, o porque simplemente hicieron algo que no está bien? Tal vez todavía necesito verificarlo por mí mismo.

En pocas palabras, es una preocupación definitiva, y es ampliamente reconocido que los resultados negativos deberían publicarse más de lo que son. Algunas de las revistas más recientes, como PLoS One, al menos se lo dicen, con su política de que los documentos no deberían revisarse en función de su importancia, sino únicamente de su precisión técnica. Creo que esto ayuda, pero no ha superado el otro lado del problema, que es que los resultados negativos son aburridos y escribir documentos es un trabajo duro, y los científicos están ocupados y no quieren molestarse en gastar mucho trabajo en cosas aburridas que no ayudará mucho a sus carreras.

No tengo una solución para el problema más grande. Creo que no es un problema tan grande como algunos piensan, pero tal vez sea porque estoy moderadamente bien conectado y escucho lo negativo lo suficiente como para no perder el tiempo con eso.

Editar: Aquí hay un ejemplo de eso. Este es un artículo que publiqué en 2006: Tripeptidyl Peptidase II es la principal peptidasa necesaria para recortar precursores antigénicos largos, pero no se requiere para la mayoría de presentación de antígenos MHC de clase I. Fue una reacción a una publicación anterior que sugería que esta enzima particular era esencial para la presentación del antígeno. Los autores de este trabajo anterior fueron (y son) excelentes científicos, con un largo historial de descubrimientos importantes y poderosos, pero en este caso particular sentí que habían perdido un control muy importante que, si resultara de una manera , más bien refutaría su argumento. Revisé ese control en particular y descubrí que desmentía su argumento.

Pero no quería publicar eso (resultados negativos). Por un lado, es desagradable publicar ese tipo de cosas; parece una especie de jardín de infantes “nyah nyah nyah, you’re wroong” que hacer. Por otro, el diario original probablemente no lo habría aceptado, como un documento de bajo impacto. Pero pude continuar mis experimentos y demostrar un verdadero papel para la enzima (resultados positivos). Incluir eso en el documento me permitió hacer una contribución positiva y corregir una conclusión incorrecta.

Por otro lado, hubo otro artículo -de nuevo, publicado por algunos muy buenos científicos- que sobre otro tema también llegó a una conclusión que puede o no ser correcto, pero que (en mi opinión) llegó allí por una cadena claramente incorrecta de experimentos. Una vez más, vi que los experimentos eran defectuosos y repetí algunos de ellos lo suficiente como para confirmar mis sospechas. En este caso, al conversar con otro grupo en una conferencia, supe que ellos también tenían la misma opinión, y que habían hecho los mismos experimentos y llegado a la misma conclusión. Acordamos trabajar juntos para agrupar nuestros datos y publicar el error. Pero en este caso, fue un proceso lento, no es emocionante hacer este tipo de trabajo negativo, y antes de tener un conjunto de datos más o menos completo hubo otros seguimientos que demostraron que la conclusión general era probablemente la correcta. (Las conclusiones pueden ser correctas aunque los experimentos individuales en realidad no las respaldan ) . Y prácticamente perdimos interés, y los experimentos todavía están en un cajón en alguna parte, y nunca serán publicados. Simplemente no valió la pena y el tiempo para escribir una corrección por una cosa bastante menor que solo un puñado de personas siquiera mirará, porque está en los detalles experimentales que la mayoría de las personas no leen, y eso no cambiar cualquier conclusión a gran escala. Y de las personas que sí miran los detalles experimentales, muchos detectarían el problema y no se dejarían engañar de ninguna manera; tenga en cuenta que de los dos laboratorios que hablaron sobre eso, ambos vimos lo mismo.

Por lo tanto, hay ejemplos de datos negativos que se publican y no se publican. Es como es.

¿Qué?

La mayoría de los resultados no son negativos ni positivos. Los científicos no son como en las películas, donde tienen una idea repentina, vierten líquidos rojos y azules en tubos de ensayo burbujeantes, ¡se vuelven Eureka! Hay “resultados”. Los resultados pueden ser concluyentes, o no concluyentes, y ayudar a confirmar algunas hipótesis, o pueden no, pero incluso eso es útil, tal vez la hipótesis básica es demasiado borrosa o no tiene un significado real y ESO es un resultado publicable.

Por ejemplo, tienen una idea aproximada como “veamos cómo las orejas de chinchilla responden y se recuperan de los sonidos fuertes”. Ejecutan experimentos durante años, trazan los datos y obtienen algunos resultados. Su agencia de financiamiento querrá saber, y su comité de tenencia también querrá saber, lo que hicieron con el dinero que no sea navegar, por lo que SIEMPRE PUBLICARÁN ALGO. Y casi nunca tiene la palabra “Eureka” o “Somos GENIOUSSESS” en él. Simplemente tiene una conclusión seca como ” Chinchillus smellitus tiene una caída promedio de 2dB en la sensibilidad después del estímulo con una vida media de 72 minutos”. Sin EUREKA o incluso mencionar que es “positivo” o “negativo”. Solo datos. Es posible que los datos no sean útiles para nadie de inmediato, pero es posible que algún día encajen en una imagen más amplia. Por lo tanto, SIEMPRE se publica, o al menos se presenta en una conferencia o sesión de póster. Ese es todo el punto.

Como un ejemplo muy significativo, que condujo a un gran avance, los científicos obtuvieron resultados no concluyentes, no estaban seguros de si algunos fenómenos cuánticos eran q, x, y, o z, y PUBLICARON ESO. Richard Feynman lo leyó e hizo “EUREKA!”, Se dio cuenta de que la conclusión original de que era “x” era incorrecta, y los resultados no concluyentes apuntaban a la respuesta real.

no concluyentes o los resultados que no respaldan la hipótesis son JUSTAMENTE tan importantes como para haber sido publicados.

Hay una revista que publica resultados negativos también. Lo que ha sido probado, el científico sigue publicando. Puede ser cambiando la metodología u otras cosas, aplicando parámetros de optimización. Todavía sigo intentándolo. Si algo está fallando, eso es investigación.