La publicación científica: "Peer review"

El renacimiento fue un tiempo de innovación. Kepler J, Gelbert W y Galileo G, dieron el primer paso para dejar atrás la argumentación mística. Descartes R, Willis T, Harvey W, estructuraron la metodología científica. Pero su establecimiento definitivo fue conseguido con el nacimiento de comunidades comprometidas con esta forma de abordar la realidad.  A mediados del siglo XVII nació la sociedad científica por excelencia: La Real Sociedad de Londres para el Avance de la Ciencia Natural (The Royal Society of London for Improving Natural Knowledge) encargada del desarrollo y difusión de los descubrimientos realizados en el mundo académico.

La experimentación y publicación de resultados era uno de sus principales objetivos y se consiguió eficazmente gracias a la fundación de la primera revista científica (journal) del mundo: Philosophical Transactions cuyo primer volumen fue emitido el 6 de marzo de 1665. A toda luz, la tradición de publicación científica tiene una larga trayectoria y este resultado se mantiene hasta hoy, con justa razón:  los científicos de todos los tiempos tienen como objetivo, el mismo de la Real Sociedad: experimentar y publicar.

Joseph Wright of Derby, 1768

En esta época, para validar la publicación en la revista era necesario que el artículo (paper) enviado sea “revisado” por otros expertos en el tópico particular del estudio, estos eran los encargados de determinar posibles errores pasados por alto por el autor, a este sistema lo conocemos como “peer review”.  Las revistas más importantes de hoy (Nature, Science, JAMA, Cell, etc) se caracterizan por someter sus publicaciones a esta metodología.

Y va por este lado: El equipo de investigadores realiza un artículo que resume su trabajo, lo envían a una revista de su elección,  aquí, la primera ronda de revisión tiene lugar, los EDITORES de la revista aceptan aquellos artículos que cumplen con los tópicos de interés de la misma (algunas, como Science, solo aceptan artículos cuyo aporte sea “innovador”), los otros, son rechazados y los investigadores tienen que llevar sus estudios a otras revistas.

Si el artículo es aceptado, es sometido a la segunda ronda de revisión, el “peer review” propiamente dicho.  La revista envía el artículo a un grupo de expertos (revisores) que pueden cumplir una de las siguientes características:

• Los revisores conocen a los autores y sus filiaciones institucionales pero no viceversa (single blind review). La forma clásica de revisión por años, justificada en pro de proteger a los revisores de posibles reacciones negativas por parte de los autores, pero que lógicamente presenta el sesgo de que el revisor pueda ser, precisamente, el suegro del autor (caso real…).

• Los revisores y los autores se desconocen (double blind review). En este caso el sesgo se presenta porque el anonimato se presta para que el revisor analice el artículo con menor seriedad.

• Los autores conocen a los revisores y sus filiaciones institucionales y viceversa (open peer review). Uno de los nuevos acercamientos debido a las críticas contra los otros dos modelos y que ofrece la supuesta ventaja de un “mayor compromiso” por parte del revisor.

La labor de los revisores va más allá de encontrar errores, se encargan también de justificar la importancia del estudio, de verificar los métodos y el diseño, de determinar la originalidad del trabajo… además de recomendar si el artículo debe o no publicarse. Los editores de la revista reciben esta información y son ellos los que en última instancia deciden si el artículo se presenta.

La publicación de resultados experimentales es una gran responsabilidad. La nueva información tiene que ser precisa, puesto que es la semilla para que el proceso científico se mantenga: nuevos descubrimientos,  nuevas hipótesis, nuevas temáticas; un proceso que se desmorona  si la información es errónea.

Además de cumplir este ideal, publicar información veraz es necesario  para el quehacer profesional del científico. El autor (el equipo de trabajo) se hace conocido en la comunidad, sus resultados influyen  en la publicación de otros estudios, la revista adquiere prestigio por ofrecer información útil…condicionantes que repercuten directamente en la posibilidad de obtener patrocinadores dispuestos a invertir dinero en nuevos estudios, lo que es crucial, sino, de que viven los científicos?.

Podemos observar la importancia de este sistema. De una u otra forma se asegura  que el material que sale a la luz sea el de mayor calidad y represente el conocimiento de vanguardia. Por ejemplo, de los 10000 artículos presentados a la revista Nature cada año, el 60% son eliminados en la primera ronda de revisión y tan solo 7% llegan a ser publicados (1), esa rigurosidad refleja la importancia de la información emitida.

En 2009, la organización Sense about Science (2) publicó los resultados de una de las mayores encuestas a revisores y autores sobre el proceso de publicación, y con respecto al “peer review” encontraron:

Tomado de Sense About Science (2009)

…y si bien la mayoría de la comunidad científica (69%) se siente conforme con el sistema, el 31% (y especialmente el 1%) tienen excelentes razones para estar inconformes. Hay muchos ejemplos que demuestran como todo el sistema de publicación fracasa y como información “fraudulenta” logra ser publicada.

Uno de los casos emblemáticos involucra una revista de renombre en el mundo médico: The Lancet. En febrero de 1998 el Dr. Andrew Wakefield y 12 coautores publicaron un artículo en el que demostraban una asociación estadísticamente significativa entre niños vacunados con MMR (el inglés de paperas, sarampión, rubeola, conocida en nuestro medio como “triple viral”) y el desarrollo de autismo (3). El artículo tuvo una rápida respuesta de la comunidad científica, ya en 1999 en una misma publicación de la revista, se encontró que no existía tal asociación (4). Aún así, en 2000 el mismo autor publicó otro artículo de revisión (5) en el que nuevamente mostraba evidencia de la asociación mencionada, esta vez, los medios de comunicación hicieron una gran cobertura de los resultados y el impacto fue importante: la tasa de vacunación en Inglaterra disminuyó y tuvo como consecuencia un incremento en la incidencia de sarampión durante estos años que continúa en aumento (6,7).

Incidencia de sarampión por años, nótese el incremento en 2002-2003, el posterior declive que tiene que ver con las campañas de Inglaterra por desmentir la asociación y el posterior aumento por mal uso de la vacunación (7)

Posteriormente, investigaciones independientes encontraron que toda la información del Dr. Wakefield había sido falsificada, el autor tenía múltiples conflictos de interés que no fueron advertidos ni a la revista ni al resto de coautores, los resultados habían sido modificados para que los datos coincidieran con la relación mencionada…y otros problemas…en última instancia, el artículo y sus conclusiones fueron identificadas como falaces (toda la historia aquí). Pero el daño ya estuvo hecho. Y lo que nos compete, el sistema de publicación fracasó.

Por este y otros casos (la famosa publicación del consumo de transgénicos y tumores en ratas que analizaremos próximamente)  existe peso en la oposición al sistema de publicación y revisión: no detecta errores elementales en el diseño de los artículos, falla en prevenir que los “malos” artículos sean presentados,  demora la publicación de resultados (las rondas de revisión pueden volverse eternas), lleva a descartar artículos valiosos… es necesario encontrar formas en las que estas complicaciones sean resueltas. El internet, y sus recursos mediáticos de rápida difusión son herramientas que impulsan nuevas propuestas, como la temática del “Open Acces Journal” que discutiremos también en su respectivo momento.

A pesar de esos errores garrafales, el sistema funciona, todos hemos saboreado aquellas publicaciones impresionantes en metodología y estudio que realmente aportan al continuum del conocimiento de nuestro mundo pero: “…poco hay que decir de la beatitud y de la vida placentera antes de que concluyan; pues las obras bellas y maravillosas, mientras duran todavía y es posible contemplarlas, son su propio testimonio, y solo cuando están en peligro o se quebrantan para siempre pasan a las canciones” – J.R. Talkien / El Silmarillion.

Referencias:

1. http://www.nature.com/nature/peerreview/debate/nature05535.html
2. Sense About Science. (2009). Peer Review Survey 2009. En linea http://goo.gl/dZ8nE Consultado 04 de Noviembre de 2012
3. Sabra, A., Bellanti, J. A., & Colón, A. R. (1998).Ileal-lymphoid-nodular hyperplasia, non-specific colitis, and pervasivedevelopmental disorder in children. The Lancet, 352(9123), 234-235. 
4. Taylor, B., Miller, E., Farrington, C., Petropoulos, M. C., Favot-Mayaud, I., Li, J., & Waight, P. A. (1999). Autism and measles, mumps, and rubella vaccine: no epidemiological evidence for a causal association. Lancet, 353(9169), 2026-2029
5. http://www.nature.com/ajg/journal/v105/n5/full/ajg2010149a.html
6. http://news.bbc.co.uk/2/hi/health/7872541.stm

Escrito por: Daniel Romero

Más información:

• http://arstechnica.com/science/2011/07/do-we-need-an-alternative-to-peer-reviewed-journals/
• http://science.howstuffworks.com/innovation/scientific-experiments/scientific-peer-review2.htm
• http://www.columbia.edu/cu/21stC/issue-1.1/peer.htm
• http://www.guardian.co.uk/commentisfree/2011/sep/09/bad-science-research-error
• http://online.wsj.com/article/SB10001424052748704022804575041212437364420.html
• http://briandeer.com/mmr/lancet-summary.htm