El tema en sí mismo no es nuevo. Durante décadas, han existido rumores sobre famosos científicos históricos como Newton, Kepler y Mendel. Se les acusaba de que su investigación era demasiado buena para ser cierta. Debían haber falsificado los datos, o al menos adornarlo un poco. Pero pese a todo Newton, Kepler y Mendel mantuvieron su sitio en el salón de la fama de la ciencia. La reacción habitual de quienes oían los rumores consistía en encogerse de hombros. ¿Qué más da? ¿Tenían razón, no?
Lo novedoso es que todo el mundo parece hacer esto hoy en día, pero no todos tienen razón siempre. De hecho, de acuerdo con Jon Ioannidis, ni siquiera tienen razón la mayor parte del tiempo.
John Ioannidis es el autor de un trabajo titulado “Por qué la mayoría de los hallazgos publicados son falsos”, que apareció en una revista médica en 2005. Hoy se describe este trabajo como “seminal” y “célebre”, pero al principio recibió poca atención fuera del campo de la medicina, e incluso los investigadores médicos no parecieron perder el sueño por él.
Entonces la gente de mi propio campo, la psicología, empezó a airear dudas similares. En 2011, la revista Psychological science publicó un trabajo titulado “Psicología de falsos positivos: Flexibilidad no revelada en la recolección y análisis de datos permite presentar cualquier cosa como significativa.” En 2012, la misma revista publicó un trabajo sobre “la prevalencia de prácticas de investigación cuestionables”. En una encuesta anónima con más de 2000 psicólogos, el 53% de éstos admitió no haber justificado todas las medidas dependientes de sus estudios, el 38% había decidido excluir datos tras calcular el efecto que tendrían en los resultados, y el 16% había dejado de recabar datos antes de lo planeado porque ya habían logrado los resultados buscados.
El golpe final se produjo en agosto de 2015. La noticia se publicó primero en la revista Science y se anunció rápidamente al mundo a través del New York Times, bajo un título que parecía una broma: “Los psicólogos dan la bienvenida a análisis que ponen en duda su trabajo.” El artículo mismo pintaba un cuadro más realista. “El campo de la psicología soportó un golpe dañino”, afirmaba al principio. “Un nuevo análisis descubrió que sólo el 36% de los hallazgos de casi 100 estudios en el top 3 de mejores revistas de psicología se sostenían al rehacerse correctamente los experimentos originales.” Como media, los efectos hallados en las replicaciones sólo alcanzaban la mitad de la magnitud de los que informaban las publicaciones originales.
¿Por qué han ido tan mal las cosas en la investigación médica y psicológica? ¿Y qué se puede hacer para remediarlas?
Creo que hay dos razones para el declive de la verdad y el auge de la vericidad (*) en la investigación científica. En primer lugar, la gente ya no hace investigación para divertirse, porque son curiosos. Se ha convertido en algo que la gente tiene que hacer, si quieren tener una carrera en el mundo académico. Les guste o no, sean buenos o no, deben producir trabajos cada pocos meses o sus carreras se irán al traste. Las recompensas por publicar han aumentado demasiado, en comparación a las recompensas por hacer otras cosas, como enseñar. La gente está haciendo investigación por las razones equivocadas: no para satisfacer su curiosidad sino para satisfacer sus ambiciones.
Hay demasiadas revistas publicando demasiados trabajos. La mayoría de los cuales son inútiles, aburridos o erróneos.
La solución es dejar de recompensar a la gente sobre la base de cuánto publican. Seguro que los comités universitarios de las grandes universidades pueden encontrar otros criterios en los que basar sus decisiones.
La segunda cosa que ha salido mal es la revisión de los trabajos de investigación. La mayoría de las revistas mandan a revisar los manuscritos recibidos. Los revisores son expertos no pagados del mismo campo, de los que se espera que lean el manuscrito cuidadosamente, que hagan juicios sobre la importancia de los resultados y la validez de los procedimientos, y que aparquen cualquier pensamiento sobre cómo podría afectar a sus propias perspectivas la publicación de ese trabajo. Es una tarea dura que se ha endurecido a lo largo de los años, a medida que la investigación se ha hecho más especializada y los datos de análisis más complejos. Propongo que esta tarea debería ser desempeñada por expertos pagados, especialistas acreditados en el análisis de investigación. Quizás esto podría proporcionar un sendero alternativo a la universidad para aquellas personas que no disfruten en particular de los entresijos de investigar pero a las que les encante rastrear fallos y virtudes en la investigación de otros.
En la película de Woody Allen El dormilón, situada 200 años en el futuro, un científico explica que las personas solían pensar que el germen del trigo, los filetes, y los perritos calientes eran insalubres, “precisamente lo contrario de lo que sabemos que es cierto ahora.” Es una broma que casi da en el blanco. La mala ciencia da un mal nombre a la ciencia.
No importa mucho si el germen de trigo es mala o buena comida. Pero es de crucial importancia que la gente crea que la investigación científica es importante para asegurar el futuro del planeta y sus habitantes.
(*) En el original “Truthiness”, neologismo inventado por el periodista Stephen Colbert. Se trata de un tipo de “verdad” que una persona “afirma saber intuitivamente desde las tripas o porque siente que es cierto, pero sin referencia a pruebas, lógica o examen intelectual”.
Publicado en EDGE.
Pingback: El declive de la verdad científica |
Muy buen artículo y sobre todo muy buena idea: especialistas en método científico. El autor tiene toda la razón del mundo; La mayoría de autores publica solo para cubrir expediente y eso explica la cantidad de basura que llega a ser divulgada en los periódicos supuestamente serios.
Segundo intento consecutivo.
Aporto aquí debajo una traducción menos aproximada de las interesantes palabras de Rich Harris a Edge.
Se han perdido, por razones propia de esta venta de comunicación las cursivas en los órganos de prensa.
max lacruz
La veracidosidad* en la investigación científica (Judith Rich Harris)
El tema no es nuevo. Durante décadas circularon rumores sobre célebres científicos de la Historia tales como Newton, Kepler y Mendel. Se les acusaba de que los resultados de sus investigaciones eran demasiado buenos como para ser ciertos. Debieron de haber falsificado los datos o, al menos, haberlos maquillado un poco. Pese a todo, Newton, Kepler y Mendel mantienen sus bustos en la Galería de la fama científica. La reacción habitual de quienes oían tales rumores consistía en encogerse de hombros. ¿Pero qué más da? Tenían razón, ¿no?
Lo novedoso es que hoy todos parecen hacer esto, pero no todos tienen razón siempre. De hecho, según John Ioannidis, ni siquiera tienen razón la mayor parte del tiempo.
John Ioannidis es el autor de un trabajo titulado Por qué la mayoría de los hallazgos que se publican son falsos, aparecido en una revista médica en 2005. Hoy se lo califica como “seminal” e “insoslayable”, pero al principio recibió poca atención fuera del campo de la medicina, e incluso a los investigadores médicos poco pareció quitarles el sueño.
Más tarde, gente de mi propio campo, el de la psicología, empezó a plantear dudas similares. En 2011, la revista Psychological Science publicó un estudio que lleva por titulo: Psicología del falso positivo: la flexibilidad encubierta en la recogida y análisis de datos permite presentar cualquier cosa como si fuera importante. En 2012, esta misma revista publicó un trabajo sobre “la prevalencia de las malas prácticas en investigación”. Resulta que en un estudio anonimizado llevado a cabo con más de 2000 psicólogos, el 53% de éstos admitió no haber justificado todas las medidas dependientes de sus estudios, el 38% había decidido eliminar datos tras ponderar el efecto que éstos podrían tener en los resultados y el 16% había dejado de recabar datos antes de lo previsto porque ya se habían logrado los resultados perseguidos.
La puntilla se dio este agosto de 2015. La noticia se publicó primero en la revista Science y se propaló rápidamente por todo el mundo a través del New York Times, con un título sin duda que quería ser chistoso: “Los psicólogos agradecen mucho aquellos análisis que ponen cuestión su trabajo”. El artículo pintaba un panorama bastante más realista. “El campo de la psicología acaba de encajar un revés tremendo”, es el arranque del texto. “Un nuevo análisis revela que de casi 100 estudios publicados en las tres revistas de psicología más prestigiosas, sólo el 36% de los hallazgos podían darse por buenos si se repetían con rigurosidad los experimentos iniciales”. En promedio, las réplicas sólo arrojaban la mitad de los efectos recogidos en las publicaciones originales.
¿Por qué han ido tan rematadamente mal las cosas en la investigación médica y psicológica? ¿Y qué puede hacerse para remediarlo?
Creo que hay dos razones que explican el declive de la verdad y el auge de la veracidosidad (*) en la investigación científica. En primer lugar, la gente ya no hace investigación por placer, para satisfacer su propia curiosidad. Investigar se ha convertido en algo que hay que hacer si se quiere prosperar en el mundo académico. Les guste o no, sean buenos o no, los investigadores deben presentar trabajos cada pocos meses para que sus carreras no se malogren. Las recompensas por publicar han aumentado demasiado, en comparación con las recompensas por hacer otras cosas, como por ejemplo: simplemente dar clase. Mucha gente está haciendo pues investigación por las razones equivocadas: no para satisfacer su curiosidad sino para satisfacer su ambición.
Y son demasiadas las revistas que publican demasiados estudios. La mayoría de lo que se recoge en éstos es irrelevante o aburrido o erróneo.
La solución sería dejar de recompensar a la gente sobre la base del volumen de lo que publica. ¡Seguro que las comisiones dictaminadoras en las grandes universidades pueden encontrar otros criterios en los que basar sus decisiones!
La segunda cosa que se ha hecho mal se da en los propios trabajos de investigación publicados. La mayoría de las revistas mandan valorar los manuscritos recibidos. Los críticos que se encargan de ello son expertos no remunerados del mismo ámbito, de los que se espera que lean el manuscrito cuidadosamente, emitan juicios sobre la importancia de los resultados y la validez de los procedimientos,todo ello dejando de lado cualquier consideración sobre cómo podrían afectar a sus propias perspectivas las publicaciones objeto de su evaluación. Es una ardua tarea que a lo largo de los años se ha ido volviendo más ingrata, a medida que la investigación se ha hecho más especializada y los datos analizados más complejos. Propongo que esta tarea sea desempeñada por expertos remunerados, especialistas de reconocido prestigio en el análisis de las investigaciones. Quizás esto podría proporcionar una vía alternativa para acceder al mundo académico a todas aquellas personas que no disfrutan especialmente con la meticulosidad que supone llevar a cabo una investigación, pero a las que les encanta detectar fallos y virtudes en investigaciones ajenas.
En la película de Woody Allen El dormilón, ambientada en un futuro dentro de dos siglos, un científico explica que antes las personas creían que el germen del trigo era muy saludable, y que la carne roja, los pasteles de nata y los caramelos blandos de azúcar no lo eran, “justo lo contrario de lo que ahora sabemos.” Es una broma que viene aquí casi como anillo al dedo. La mala ciencia acaba dando mala fama a la ciencia.
No importa tanto que el germen de trigo sea más o menos saludable; pero lo que sí es de crucial importancia para asegurar el futuro del planeta y de sus habitantes es que la gente crea en la investigación científica y no se la tome a rechifla.
(*) En el original: “Truthiness”, neologismo creado en 2005 por el periodista televisivo estadounidense Stephen Colbert. Se trata de un tipo de “verdad” que una persona “afirma saber intuitivamente, porque le sale de dentro o porque tiene el pálpito de que es cierta, pero sin que esta se base en pruebas, en la lógica o en el menor escrutinio intelectual”.
Me explico:
he intentado mandar esta otra traducción un rato antes pero el sistema no lo ha permitido…
Lo de las cursivas para diarios, revistas, obras y el uso de cursivas de intención, que se han perdido: si el lector quiere leer el texto de Rich Harris con todos sus atributos, puede usar la dirección HTML, de aquí debajo.
http://elextranjeroprofesional.blogspot.lu/2016/01/combatiendo-el-lunes-azul-con-rich.html