viernes, 12 de octubre de 2012

Chocolate, función cognitiva y divulgación científica (ejemplo de problemas)

Por: Daniel A. Romero-Álvarez
Twitter: @Vakdaro

La cantidad de información a la que tenemos acceso hoy en día es espectacular. Podemos ir desde las últimas fotografías de la superficie marciana a cargo del Curiosity, hasta la nueva epidemia de ébola en la República Democrática del Congo. La información fluye sin detenerse, noticias de toda clase irrumpen la difusión on-line. En este manantial inagotable, discriminar cuál es la información en la que podemos confiar y a partir de la cual podemos formarnos una opinión adecuada respecto a determinado tema, es crucial.


En esta publicación vamos a mostrar lo fácil que es perdernos en este mar de información. El New England Journal ofMedicine (NEJM) es una de las revistas científicas más respetadas en todo el mundo, con una muy larga trayectoria de publicación académica, este año celebran sus 200 años de carrera. Uno de los indicadores que más se utiliza a la hora de evaluar una revista es lo que se llama FACTOR DE IMPACTO (IF por sus siglas en inglés), en pocas palabras, es una medida del número de veces en que los artículos publicados en una revista son citados, así, un factor de impacto más alto, representa un mayor número de artículos citados y es una medida indirecta de la influencia de los artículos (y por ende de la revista) en las publicaciones científicas. El NEJM cuenta con el factor de impacto más alto en lo que respecta  a revistas médicas (http://www.freemedicaljournals.com/index.htm#top como se observa en esta lista de revistas de acceso libre, con un IF de 46.604, seguido por JAMA con un IF de 20.8), y se encuentra al mismo nivel que las internacionalmente famosas Nature y Science que abarcan temas más allá de la medicina.

El día de ayer, se publicó en esta (ahora podemos decir) influyente revista el siguiente artículo: Consumo de chocolate, función cognitiva y  Premios Nobel (http://www.nejm.org/doi/full/10.1056/NEJMon1211064). La publicación propone una relación directa entre el consumo de chocolate y una mayor inteligencia, y por ende un mayor número de premios Nobel en un determinado país. La conclusión textual del autor dice: “El consumo de chocolate mejora la función cognitiva, la cual es un sine qua non  para ganar un Premio Nobel, y está relacionado estrechamente con el número de Premios Nobel en cada país”. Si hacemos una búsqueda rápida en google, podemos ver que el río informático ya ha regado sus aguas por doquier, con la misma conclusión, sin cuestionamientos, sin dudar.

Ahora, analicemos la metodología y todo aquello que hace de esta una publicación…”rara”. Parte de una asociación relativamente sencilla, número de Premios Nobel por 10 millones de personas y consumo de chocolate anual per capita en 22 países; se hace una regresión linear y se obtienen resultados estadísticamente significativos con respecto a la asociación: Más consumo de chocolate = más premios nobel.


Es curioso observar que en los análisis estadísticos, Suecia representaba una exageración del modelo, puesto que su consumo de chocolate, aunque inferior que otros países, le daba un mayor número de Premios Nobel, una muestra de cómo la asociación simplista entre chocolate y premios falla (a pesar de que el autor trata de resolver este conflicto sugiriendo un supuesto "sesgo patriótico"). El autor también propone una relación causal inversa que debe ser descartada, que países con gente más brillante consumen más chocolate, cuál es el argumento: números vacíos. Analicemos una de las variables: ¿Cuáles son los requerimientos para que determinado individuo sea galardonado con un Nobel?, ¿Un reconocimiento mundial es un indicador fiable de una mejor función cognitiva?, ¿Qué es una mejor función cognitiva? Sin responder cualquiera de estas preguntas, la asociación carece de sentido. Las afirmaciones estadísticas tienen que complementarse con argumentos precisos, sino, se desmoronan por sí mismas…pero no todos pueden apreciar el fenómeno, sino estamos alertas de estos detalles, podemos ser engañados con facilidad.

El NEJM tiene en claro que el artículo no tiene un verdadero trasfondo científico, y tampoco es algo serio; lo publica en la sección “OCCASIONAL NOTES”,  descrita como: “relatos de experiencias personales o descripción de materiales fuera de las áreas de investigación y análisis médico”. Pero pocas de las publicaciones le dan importancia a este detalle, y si lo hacen, le dedican pocas líneas (http://www.theheart.org/article/1458189.do, de hecho, las dos del final).



Nótese además que si existen publicaciones que ligan el chocolate (el consumo de flavanoles) con una mejoría en la función neurológica: http://www.ncbi.nlm.nih.gov/pubmed/21982844, pero es necesario hacer, igualmente, una revisión concienzuda de este tipo de artículos. Los factores involucrados que permiten que un individuo sea galardonado son demasiados como para afirmar qué contribución real podrían aportar los flavanoles. Sistema educativo, oportunidades, desarrollo del país, etc, hay muchas más cuestiones que merecen un análisis independiente, y el número de Premios Nobel, no necesariamente representa cualquiera de estas otras variables.

En conclusión, este es un artículo divertido, muestra cómo se puede jugar con la estadística para afirmar cualquier cosa, pero publicado en una revista como el NEJM sin el contexto adecuado, se presta para que próximamente todo el mundo hable de esta insignificante asociación.