viernes, 12 de octubre de 2012

Chocolate, función cognitiva y divulgación científica (ejemplo de problemas)

Por: Daniel A. Romero-Álvarez
Twitter: @Vakdaro

La cantidad de información a la que tenemos acceso hoy en día es espectacular. Podemos ir desde las últimas fotografías de la superficie marciana a cargo del Curiosity, hasta la nueva epidemia de ébola en la República Democrática del Congo. La información fluye sin detenerse, noticias de toda clase irrumpen la difusión on-line. En este manantial inagotable, discriminar cuál es la información en la que podemos confiar y a partir de la cual podemos formarnos una opinión adecuada respecto a determinado tema, es crucial.


En esta publicación vamos a mostrar lo fácil que es perdernos en este mar de información. El New England Journal ofMedicine (NEJM) es una de las revistas científicas más respetadas en todo el mundo, con una muy larga trayectoria de publicación académica, este año celebran sus 200 años de carrera. Uno de los indicadores que más se utiliza a la hora de evaluar una revista es lo que se llama FACTOR DE IMPACTO (IF por sus siglas en inglés), en pocas palabras, es una medida del número de veces en que los artículos publicados en una revista son citados, así, un factor de impacto más alto, representa un mayor número de artículos citados y es una medida indirecta de la influencia de los artículos (y por ende de la revista) en las publicaciones científicas. El NEJM cuenta con el factor de impacto más alto en lo que respecta  a revistas médicas (http://www.freemedicaljournals.com/index.htm#top como se observa en esta lista de revistas de acceso libre, con un IF de 46.604, seguido por JAMA con un IF de 20.8), y se encuentra al mismo nivel que las internacionalmente famosas Nature y Science que abarcan temas más allá de la medicina.

El día de ayer, se publicó en esta (ahora podemos decir) influyente revista el siguiente artículo: Consumo de chocolate, función cognitiva y  Premios Nobel (http://www.nejm.org/doi/full/10.1056/NEJMon1211064). La publicación propone una relación directa entre el consumo de chocolate y una mayor inteligencia, y por ende un mayor número de premios Nobel en un determinado país. La conclusión textual del autor dice: “El consumo de chocolate mejora la función cognitiva, la cual es un sine qua non  para ganar un Premio Nobel, y está relacionado estrechamente con el número de Premios Nobel en cada país”. Si hacemos una búsqueda rápida en google, podemos ver que el río informático ya ha regado sus aguas por doquier, con la misma conclusión, sin cuestionamientos, sin dudar.

Ahora, analicemos la metodología y todo aquello que hace de esta una publicación…”rara”. Parte de una asociación relativamente sencilla, número de Premios Nobel por 10 millones de personas y consumo de chocolate anual per capita en 22 países; se hace una regresión linear y se obtienen resultados estadísticamente significativos con respecto a la asociación: Más consumo de chocolate = más premios nobel.


Es curioso observar que en los análisis estadísticos, Suecia representaba una exageración del modelo, puesto que su consumo de chocolate, aunque inferior que otros países, le daba un mayor número de Premios Nobel, una muestra de cómo la asociación simplista entre chocolate y premios falla (a pesar de que el autor trata de resolver este conflicto sugiriendo un supuesto "sesgo patriótico"). El autor también propone una relación causal inversa que debe ser descartada, que países con gente más brillante consumen más chocolate, cuál es el argumento: números vacíos. Analicemos una de las variables: ¿Cuáles son los requerimientos para que determinado individuo sea galardonado con un Nobel?, ¿Un reconocimiento mundial es un indicador fiable de una mejor función cognitiva?, ¿Qué es una mejor función cognitiva? Sin responder cualquiera de estas preguntas, la asociación carece de sentido. Las afirmaciones estadísticas tienen que complementarse con argumentos precisos, sino, se desmoronan por sí mismas…pero no todos pueden apreciar el fenómeno, sino estamos alertas de estos detalles, podemos ser engañados con facilidad.

El NEJM tiene en claro que el artículo no tiene un verdadero trasfondo científico, y tampoco es algo serio; lo publica en la sección “OCCASIONAL NOTES”,  descrita como: “relatos de experiencias personales o descripción de materiales fuera de las áreas de investigación y análisis médico”. Pero pocas de las publicaciones le dan importancia a este detalle, y si lo hacen, le dedican pocas líneas (http://www.theheart.org/article/1458189.do, de hecho, las dos del final).



Nótese además que si existen publicaciones que ligan el chocolate (el consumo de flavanoles) con una mejoría en la función neurológica: http://www.ncbi.nlm.nih.gov/pubmed/21982844, pero es necesario hacer, igualmente, una revisión concienzuda de este tipo de artículos. Los factores involucrados que permiten que un individuo sea galardonado son demasiados como para afirmar qué contribución real podrían aportar los flavanoles. Sistema educativo, oportunidades, desarrollo del país, etc, hay muchas más cuestiones que merecen un análisis independiente, y el número de Premios Nobel, no necesariamente representa cualquiera de estas otras variables.

En conclusión, este es un artículo divertido, muestra cómo se puede jugar con la estadística para afirmar cualquier cosa, pero publicado en una revista como el NEJM sin el contexto adecuado, se presta para que próximamente todo el mundo hable de esta insignificante asociación.



3 comentarios:

alfre dijo...

Tengo demasiadas preguntas que no son contestadas en el blog, pero capaz en el articulo (tendre que revisar)... primero hay q partir que son estudios estadísticos y por ende no necesariamente dicta lo que es la realidad aunque tenga una p demasiada baja que indique un error alfa casi improbable, insisto la estadística y la realidad no son siempre lo mismo... Me pregunto por que no se cuestiona si hubo alguna medida de ajuste para extrapolar datos de diferentes países (Por ejemplo: se dice comúnmente que los médicos tienen una tasa de suicidios mas alta que la población promedio pero si se controla la variable del nivel socioeconómico y se le hace un ajuste se ve que no es verdad)... Se ve que el estudio utiliza la correlación de Pearson como instrumento estadístico para ver si hay una relación entre las dos variables (dos variables de intervalos) y se ve que se obtiene una pendiente hacia la izquierda casi recta en su totalidad que indica una fuerte relación, ahora eso si se discute con un epidemiologo va a tomar esa arma y argumentar (con clara validez) que hay relación, mas sin embargo la discusión debería plantearse en los posibles sesgos cometidos para que se hayan podido publicar tales resultados..

alfre dijo...

Ademas lo veo como una oportunidad para que se pueda realizar un estudio mas serio en base de la hipótesis planteada... No hay q olvidar que los últimos descubrimientos de la medicina nacen de esta clase de publicaciones como por ejemplo Reporte de Casos (Así fue como se comenzó con el estudio de una enfermedad desconocida y rara en los comienzos de la década de 1980 a la que posteriormente se la denomino VIH-SIDA)...

Carlos Antonio Rodríguez-Saltos dijo...

El punto que comenta alfre es muy importante, y es justamente por qué artículos cómo este son tan criticados; y pienso que el blog sí se acerca al problema real. La estadística y la realidad son la misma si las interpretaciones y los supuestos son correctos. Obviamente, la observación de los autores del artículo es interesante, porque es difícil conseguirla al azar; pero cometieron un error, típico en análisis estadísticos, y que pocos comentan: el error Tipo III, responder acertadamente a las preguntas equivocadas.
Probablemente, el consumo de chocolate está relacionado con otra variable, cómo el desarrollo económico, que a su vez es lo que permite la existencia de premios Nóbel. Pero, ¿Quién sabe?, el estudio es tan simple, que no permite hacer ningún contraste para responder a estas preguntas, y nos deja tan sólo una correlación, sin establecer su causa. Los autores lo atribuyen a los flavonoides, pero no tienen prueba contundente para establer esta relación de causa-efecto; y hay otras variables, que en lo personal, pienso deberían ser juzgadas, contrastadas y corregidas (como las que Daniel Romero menciona en el blog), antes de probar lo de los flavonoides. La estadísitica no debe sustituir a un debate basado en argumentos sólidas.