Parte de mi investigación consiste en explorar nuevas intervenciones de rehabilitación para personas con trastornos cognitivos, en particular las relacionadas con el lenguaje y la memoria. Por lo tanto, siempre estoy a la expectativa de una ciencia nueva e interesante, por lo que este artículo apareció en mi radar antes de tu pregunta.
Lo leí y desafortunadamente no encontré demasiado de lo que ser optimista. Lo digo a pesar de tener el máximo respeto por Janet Werker, uno de los científicos en el estudio.
Mis críticas, en la medida en que entendí los resultados, son:
Sin efectos a largo plazo
El “segundo brazo” del estudio (figura 2, panel derecho) no mostró ningún efecto, lo que significa que el efecto original desapareció. Para algo así como un estudio de aprendizaje / entrenamiento, esto debería ser un beso de la muerte.
Mediado por la cognición y el estado de ánimo
Descartan los efectos cognitivos / del estado de ánimo que de otro modo serían significativos (p. Ej., .049, .048) por lo que parecen ser razones de comparaciones múltiples. No estoy claro, en realidad, pero esa conclusión parece muy probable que sea un error de tipo I, dado el bajo tamaño de la muestra en el estudio. Por lo tanto, parece más probable que el rendimiento de la música sea una función del mejor estado de ánimo al realizar las pruebas, especialmente porque los efectos fueron a corto plazo.
VPA puede ser una droga desagradable para tomar
Según tengo entendido, en esa dosis, los efectos secundarios son muy reales y debilitantes para muchos: alguien con epilepsia puede saberlo mejor. 6 de 24 participantes (25%) tuvieron que abandonar por una razón u otra, siendo los efectos secundarios uno de ellos.
¿Es seguro tener relaciones sexuales con un paciente con epilepsia?
¿Cómo es la vida difícil para un epiléptico?
Epilepsia: ¿Cómo se puede describir mejor un “aura” experimentada antes de un ataque?
Esto cuestiona cuánto realmente funcionó el doble ciego. Si le dicen que la droga probablemente lo hará sentir enfermo y usted no, no estoy seguro de cuán cegado está usted con su grupo. De hecho, parece que 17/18 adivinó correctamente qué grupo había allí. Esas son malas noticias para su cegamiento.
Sin tamaños de efecto
Siempre es una mala señal cuando no se informan los tamaños del efecto. Con 9 en cada grupo y valores de p tan altos como los que se ven (0.002) sugieren un tamaño de efecto ENORME, un tamaño del efecto tan grande que es difícil de creer, especialmente dados los otros hallazgos.
Sin efecto en la sección de cruce
Según tengo entendido, tampoco hubo efecto después del cruce del tratamiento con AVA:
Para los participantes que recibieron VPA primero, hubo un efecto significativo de Tratamiento [F (1, 8) = 20.25, p = 0.002] debido a puntuaciones más altas en el tratamiento de VPA en comparación con el placebo. No hubo diferencias entre el VPA y el placebo para los 8 participantes que recibieron placebo primero [F (1, 7) = 1.13, p = 0.32].
Esto parece sugerir que la primera parte del estudio fue un golpe de suerte?
En conjunto, esto hace que parezca que estos hallazgos son un síntoma de The Filedrawer Problem y que probablemente no puedan reproducirse.
Ninguno de estos problemas puede disuadir a la prensa de tomar esto en cuenta y funcionar con él, como si estuviéramos en una movida de Bradley Cooper.
Debo decir que si hubiera obtenido los mismos resultados, ciertamente me hubiera esforzado para publicar el estudio. No sé si hubiera promocionado el ángulo del aprendizaje de idiomas, pero nada de eso está en las secciones de métodos y resultados , que generalmente son los primeros en evaluar si debe leer / creer el resto.
Pero los hallazgos deben ser tratados como una prueba de concepto que muestra, esencialmente, la prueba de que no hay nada real, pero que sugiere una posibilidad remota que podría valer la pena explorar si alguien considera que vale la pena dado el alto riesgo.
Que la introducción y el resumen promocionen afirmaciones fuertes no respaldadas por el estudio en sí, un juego que todos los científicos saben que deben jugar, es un mal presagio. Es probable que esto se convierta en un tema candente, en muchos estudios similares y, por lo tanto, en muchos errores de tipo II: muchos resultados positivos debido a la suerte, no a causa de un efecto.
