neurociencia

¿ES FIABLE LA NEUROCIENCIA?

Introducción

La ciencia es una de las principales actividades académicas y económicas de nuestros días. Aunque posee un amplio y diverso pasado, podría decirse que la ciencia se instituyó formalmente como una disciplina del conocimiento en el siglo XVII.

En Discurso sobre el método, el filósofo y matemático francés René Descartes postuló las reglas que la filosofía natural (ahora ciencia) debía seguir para llegar a la verdad a través de la razón y la experimentación.

Además de otras características, el método científico cuenta con dos pilares fundamentales: la reproducibilidad y la falseabilidad. El primero, hace referencia a la posibilidad de que alguna persona, en cualquier lugar, pueda repetir un experimento que ha sido comunicado anteriormente por algún medio. En la actualidad, el consenso académico utiliza el artículo científico como el principal medio de comunicación. Por su parte, la falseabilidad hace referencia a que los postulados científicos no son verdades absolutas, sino que bajo ciertas condiciones, un mismo experimento podría llevar a resultados o conclusiones distintas.

Sobre la Neurociencia

No hay duda de que la Neurociencia es una de las más importantes e interdisciplinares ciencias de las últimas tres décadas. La última década del siglo pasado fue considerada la década del cerebro, gracias a todos los esfuerzos y progresos a nivel mundial en esta materia.

Personalmente, como neurocientífico, me siento orgulloso de hacer parte de tan bella expresa: La exploración de un conjunto de elementos biológicos que conforman un órgano excepcional para conocer el universo: el cerebro, algo fascinante.

Sin embargo, asimismo, me sumo a aquellas voces de preocupación sobre el quehacer de esta disciplina. Nadie negaría que la neurociencia es una ciencia, sin embargo, sus pilares están en una importante crisis. ¿Será ciencia hacer bellos experimentos y obtener interesantes resultados, aunque nadie más los pueda reproducir? Aunque la pregunta puede causar asombro, es importante saber que al menos dos tercios de los experimentos en Neurociencia son irreproducibles.


¿Son reproducibles todos los experimentos neurocientíficos?

La publicación de los resultados de un experimento en un artículo científico, supone la posibilidad de que además de acceder a la información, otros científicos puedan repetir el mismo experimento, y tal vez, llegar a las mismas conclusiones. Sin embargo, solamente el 30% de los experimentos en Neurociencia, y otras ciencias naturales, son reproducibles. Las razones son variadas, pero vale la pena considerar algunas de las más importantes.

Un sondeo realizado por la revista Nature, que contó con la participación de 1500 científicos, muestra que el 90% de ellos considera que la irreproducibilidad es una crisis para la ciencia; que en biología entre el 60 y 80 % de los investigadores han fallado en reproducir experimentos propios o de otros; y que pocos investigadores logran publicar resultados de experimentos reproducidos, principalmente debido al poco valor que las revistas científicas dan a este tipo de estudios [1].

¿Por qué no son reproducibles determinados experimentos?

Entre los factores que llevan a la irreproducibilidad sobresalen el reporte selectivo, diseño experimental y análisis estadístico deficiente, la presión por publicar, y el fraude. Por desgracia, estos factores son bastante comunes en diferentes ámbitos de la investigación en neurociencia [4].

Reporte selectivo

Tal vez, el reporte selectivo sea el más común de ellos. Hace referencia al ocultamiento de información que se considera problemática o debatible. Por ejemplo, cuando se muestran los resultados de un tratamiento exitoso en 100 ratones, sin mencionar que el mismo tratamiento mató a otros 50; o que por razones prácticas (materiales, disponibilidad e incluso vacaciones) el experimentador tuvo que varias algunas de las condiciones durante el experimento. En otras palabras, cualquier cosa que haya ocurrido durante el experimento, aunque sea importante reportarla, se obvia para evitar preguntas, comentarios o rechazos por parte de los evaluadores.

Diseño experimental y análisis estadístico

El diseño experimental y el análisis estadístico deficiente son la principal fuente de base en los experimentos neurocientíficos.

Katterin Button y su equipo publicaron en 2013 en el Nature Reviews of Neuroscience [7] un análisis sobre los factores que afectan la fiabilidad de las neurociencias. Su principal conclusión indica que el poder estadístico de la mayoría de los experimentos en la disciplina es muy bajo, que sumado a la deficiencia en los diseños experimentales socavan la fiabilidad de los resultados.

Por ejemplo, se ha demostrado que en los experimentos donde se han utilizado técnicas de ciego y doble ciego para blindar a los investigadores, los efectos son menores que en los estudios donde el investigador conoce el tratamiento administrado.

Los investigadores mencionan: “estos reducen la reproducibilidad de las hallazgos neurocientíficos y afectan negativamente la validez acumulada de los hallazgos. Desafortunadamente, las prácticas de reporte y publicación es poco probable que cambien rápidamente”.

Lo anterior no es un tabú. Dorothy Bishop, profesor de Neuropsicología del Desarrollo argumenta que la Neurociencia utiliza en gran medida métodos que pre-suponen hipótesis y aumentan de manera considerable los falsos positivos. En otras palabras, los investigadores, al final, se las ingenian para encontrar lo que estaban buscando [4].

¿Cómo mejorar la reproducibilidad?

Tal vez Button y su equipo estén en lo cierto. En el 2010 se publicaron las ARRIVE (Animal Research: Reporting of In Vivo Experiments) guidelines como un recurso para mejorar la reproducibilidad y las condiciones experimentales con animales [7].

Estas guías solicitan que los investigadores ofrezcan información detallada sobre las condiciones experimentales en los animales que permitan a otros investigadores conocer las condiciones bajo las cuales se llevó un experimento.

Sin embargo, el título de un análisis en 2014 da cuenta del resultado “Two Years Later: Journals Are Not Yet Enforcing the ARRIVE Guidelines on Reporting Standards for Pre-Clinical Animal Studies”. Esto indica que tanto investigadores como editores tienen responsabilidad en la crisis de reproducibilidad [3].

La presión por publicar

La presión por publicar es un factor de aparente preocupación en el mundo cientifico. El premio Nobel en Física en el año 2012 Peter Higgs, dijo en una entrevista al diario The Guardian [6], que con el sistema actual él no conseguiría ningún empleo en una universidad por considerársele poco productivo. Sin embargo, con no más de 10 artículos publicados su descubrimiento del mecanismo que dota de masa a las partículas es considerada uno de los más importantes de la física.

Del mismo modo, Daniel Sarewitz, co-director del consorcio para la ciencia de la Universidad de Arizona, considera que la presión por publicar que imponen las universidades e institutos de investigación a sus trabajadores disminuye la calidad de la ciencia [9].

A diferencia de los años 50 y 60’s, cuando Higgs hizo su carrera científica, el sistema académico actual privilegia en gran manera el número de publicaciones de sus asociados. No importante mucho la calidad, el modelo, la relevancia, solo el número.

Quienes pertenecemos a la plataforma ResearchGate, podemos ver que hay investigadores que semanalmente suben múltiples artículos, una situación que entre otras cosas, genera preguntas sobre la real participación de estas personas en las publicaciones, algo que tiene relación con la ética profesional.

La combinación de estos y otros factores llevan a que la reproducibilidad en las ciencias de la vida, incluida la Neurociencia, no supere el 50%, y resulte en costos de 28 mil millones de dólares en investigaciones preclínicas irreproducibles, sólo en Estados Unidos [8].


Algunos datos

Por ejemplo, el campo de investigación al que me dedico, investigación en isquemia cerebral (stroke), Victoria O’collins y su equipo de investigación publicaron en 2006 un análisis sobre 1026 tratamientos para stroke [9].

Se reporta que a lo largo de tres décadas han incrementado exponencialmente los experimentos de neuroprotección, que apuntan a disminuir el tamaño del área infartada en varios modelos de accidente cerebrovascular.

De los 1026 tratamientos, se reporta que 603 fueron probados en modelos de isquemia cerebral focal, 374 fueron efectivos, 97 de ellos fueron utilizados en ensayos clínicos y solo uno, el Tissue Plasmoginen activator (Tpa) ha resultado útil para reducir el tamaño del infarto en humanos.

Aunque es un análisis de hace una década, en la actualidad el número de tratamientos probados se puede multiplicar 10 veces, y el resultado sigue siendo el mismo, solo hay un tratamiento de neuroptrotección que es efectivo, eso sí, bajo ventanas de tiempo muy cortas y condiciones clínicas específicas del paciente.

Asimismo, se reporta que muchos de los experimentos son irreproducibles, otros llevan a conclusiones distintas cuando se cambia el diseño experimental, y de manera importante, la mayoría sobreestima los efectos o hacen extrapolaciones inadecuadas.

Conclusiones

Para importantes Journals como Science o Nature la reproducibilidad es un problema importante para la ciencia. Desde hace un año recibo semanalmente la revista Nature en mi buzón, y es una sorpresa para mí ver que en muchos de los volúmenes hay uno o dos artículos abordando el problema.

La editorial de la edición del 25 de agosto de 2016 “Go Forth and replicate” atestigua que tanto investigadores como editores no están particularmente interesados en la reproducción de experimentos.

Por un lado, indica que el sistema de reproducibilidad carece de valor, visibilidad y convención, y además, que los investigadores sienten un extraño riesgo de retaliación, tanto los que intentan replicar un experimento, que no quieren entrar en conflicto con la publicación previa, como los pioneros, quienes en muchas ocasiones se niegan abiertamente a compartir detalles metodológicos.

En 1995 el afamado astrónomo y divulgador de la ciencia, Carl Sagan, publicó un libro titulado el mundo y sus demonios, donde nos expone las características ventajosas y exitosas de las ciencias sobre otras disciplinas no científicas como la astrología o la adivinación.

La hipótesis de Sagan es precisa: más allá de la validez o veracidad de sus postulados, el poder de la ciencia radica en la posibilidad que tienen los investigadores de reproducir un experimento que permita confirmar, refutar o falsear una teoría o hallazgo previo; disciplinas como la astrología no pueden hacer.

Sin embargo, qué opinaría Sagan en nuestros días, si observase que la Neurociencia (y otras disciplinas de la ciencia) son incapaces de reproducir al menos el 70% de los experimentos publicados en la literatura científica.

¿Debería seguir considerándose ciencia un experimento que no se puede reproducir? Si no se toman en serio las grabaciones de fantasmas, porque ningún investigador puede reproducir dichos hallazgos, por qué no debería tratarse de igual forma los resultados de un experimento que exitosamente promete un mecanismo para tratar el Alzheimer, pero nadie más puede reproducir?

Referencias bibliográficas

  1. Aitkenhead, D. (6 de diciembre, 2013). Peter Higgs: I wouldn’t be productive enough for today’s academic system.
  2. Baker, D., Lidster, K., Sottomayor, A., & Amor, S. (2014). Two Years Later: Journals Are Not Yet Enforcing the ARRIVE Guidelines on Reporting Standards for Pre-Clinical Animal Studies. PLoS Biology, 12(1).
  3. Baker, M. (2016). 1,500 scientists lift the lid on reproducibility, Nature 533, 452–454.
  4. Bal, Liz (2015). Is science broken? The reproducibility crisis.
  5. Button, K. S., Ioannidis, J. P. a, Mokrysz, C., Nosek, B. a, Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews. Neuroscience, 14(5), 365–76.
  6. Freedman, L. P., Cockburn, I. M., & Simcoe, T. S. (2015). The Economics of Reproducibility in Preclinical Research. PLOS Biology, 13(6), e1002165.
  7. Kilkenny, C., Browne, W. J., Cuthill, I. C., Emerson, M., & Altman, D. G. (2010). Improving Bioscience Research Reporting: The ARRIVE Guidelines for Reporting Animal Research. PLoS Biology, 8(6), e1000412.
  8. O’Collins, V. E., Macleod, M. R., Donnan, G. A., Horky, L. L., van der Worp, B. H. and Howells, D. W. (2006), 1,026 Experimental treatments in acute stroke. Ann Neurol., 59: 467–477. doi:10.1002/ana.20741
  9. Sarewitz, D. (2016). The pressure to publish pushes down quality. Nature, 533(7602), 147.
Daniel Manrique Castaño

Daniel Manrique Castaño

Doctorando Graduate School of Biomedical Science.

1 comentario
  1. Lucila
    Lucila Dice:

    Que interesante, me impresiona positivamente este analisis descarnado, autocritico. Porque entiendo que es vital ser honestos, transparentes, lo cual no significa que no se investigue en neurociencias. Hay que avanzar…

    Responder

Dejar un comentario

¿Quieres unirte a la conversación?
Siéntete libre de contribuir

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *