Por Jennifer Couzin-Frankel
Un estudio de los beneficios para la
salud de una dieta mediterránea se reescribió después de que un análisis
estadístico hizo sonar las alarmas. JOZEF POLC / 500PX.
Un año
después de que una revisión condenatoria sugiriera que muchos ensayos clínicos
publicados contienen errores estadísticos, The New England Journal of Medicine
( NEJM ) hoy está corrigiendo cinco de los artículos señalados y retractados y
republicando un sexto, sobre si una dieta mediterránea ayuda a prevenir la
enfermedad cardíaca. (Alerta spoiler: todavía lo hace, de acuerdo con la nueva
versión del documento.) A pesar de los errores perdidos hasta ahora, en muchos
sentidos el sistema diario funcionó como se esperaba, con NEJM lanzando una
investigación días después de las acusaciones.
La movida inusual
de la revista fue provocada por un controvertido análisis publicado en junio de
2017. En un artículo publicado en Anesthesia , donde también es editor, el
anestesiólogo John Carlisle del Torbay Hospital en Torquay, Reino Unido,
realizó una inmersión estadística en 5087 ensayos controlados y aleatorizados.
Con la ayuda de un programa de computadora, Carlisle buscó un tipo específico
de anomalía : asignación no aleatoria de voluntarios a diferentes tratamientos,
cuando el ensayo había afirmado que las asignaciones eran aleatorias. Esto
puede sesgar los resultados de un ensayo; por ejemplo, si asignan a muchas
personas mayores a un grupo de control mientras que los más jóvenes reciben un
tratamiento experimental, es posible que el nuevo fármaco tenga menos efectos
secundarios porque las personas que lo obtienen son más saludables.
A través de
ocho revistas, Carlisle analizó cómo ciertas características de los
voluntarios, como su altura, peso y edad, se extendieron a través de los
tratamientos probados. Si no veía ciertos patrones, si la distribución era
demasiado perfecta o demasiado lejana, sospechaba que las asignaciones no eran
verdaderamente aleatorias, ya sea por mala conducta científica o error honesto.
Aproximadamente el 2% de los documentos que publicó en su programa cayeron en
esta categoría cuestionable.
Pero,
"Aunque mi análisis arroja preguntas, no necesariamente arroja
respuestas", dice Carlisle. Para eso, las revistas necesitaban intervenir.
A los pocos días del informe de Carlisle, NEJM se había centrado en 11 de sus
periódicos con las alarmas más fuertes. Seis resultaron contener errores. En
cinco casos, el problema fue una mezcla de términos estadísticos, por ejemplo,
escribir "desviación estándar", que mide la variabilidad entre los
datos, en lugar de "error estándar", un tipo de desviación estándar
que depende del tamaño de la muestra.
Pero en el
sexto, un gran ensayo clínico en España publicado en 2013, que informó que una
dieta mediterránea podría prevenir la enfermedad cardíaca en personas en riesgo
, surgieron problemas más profundos. "Resultó que cuando nos pusimos en
contacto con los investigadores, ya habían estado trabajando en ello, habían
visto lo mismo que nosotros y estaban preocupados", dice Jeffrey Drazen,
editor en jefe de NEJM en Waltham, Massachusetts.
Casi 7500
personas en toda España se habían inscrito en el ensayo hace 15 años, por lo
que rastrear lo que podría haber salido mal no fue tarea fácil. Una
investigación de un mes de duración realizada por los investigadores españoles
y el personal de NEJM reveló que hasta 1588 personas en el ensayo no habían
sido aleatorizadas adecuadamente: algunas fueron asignadas a la misma dieta que
otra persona en su hogar (una característica común de los estudios de dieta,
pero no reportado en el documento original). Otros, que vivían en un área
rural, fueron asignados a diferentes dietas según la clínica más cercana a
ellos; por ejemplo, un grupo tuvo que recoger un litro de aceite de oliva cada
semana. "El investigador se dio cuenta de que no podía hacer que la gente
viajara tan lejos como lo necesitaban, por lo que hizo su estudio 'aleatorio
por conglomerados'" por clínica y no por individuo, dice Drazen.
Los autores
volvieron a analizar sus datos sin esos 1588 participantes y descubrieron que,
a pesar de los errores, la conclusión era que las nueces, el aceite de oliva y
los pescados grasos seguían siendo un factor positivo para la salud cardíaca ,
aunque las conclusiones vinieron con menos ganancias estadísticas que en el
artículo original. .
¿Y qué hay
de las otras siete revistas apuntadas por Carlisle el año pasado? Science
contactó a todos para preguntar si ellos también habían investigado. El editor
en jefe de uno, el Canadian Journal of Anesthesia , dijo que se está llevando a
cabo una investigación, pero que se realiza lentamente debido a los recursos
limitados. En otra revista, Anesthesiology , los editores habían revisado los
documentos y no habían encontrado motivos para retractarse de ninguno de ellos.
Las otras revistas no respondieron o eligieron no investigar. Algunos señalaron
que el artículo de Carlisle había sido criticado cuando se publicó, en parte
porque sus métodos asumieron que ciertas variables, como la altura y el peso,
no están relacionadas. (Carlisle acepta que esto era una limitación, y dice que
no todos los artículos que identificó necesariamente contienen errores).
Carlisle
señaló ocho papeles en su propio diario, Anesthesia , que vale la pena sondear.
"Escribimos a los autores y obtuvimos dos respuestas ... los otros no
respondieron", dice. En uno de esos dos, se publicó una corrección esta
semana, aunque no tuvo impacto en las conclusiones del documento; en el
segundo, los autores dijeron que ya no tenían los datos del paciente que la
revista estaba solicitando. Para los seis cuya respuesta fue el silencio de la
radio, Carlisle no está seguro de lo difícil que es empujar. "¿Qué tan
lejos lo perforas?", Se pregunta, especialmente cuando el tiempo y el
dinero para hacerlo son escasos.
Aunque la
mayoría de los errores hasta ahora son menores, Carlisle se pregunta si son un
presagio de problemas estadísticos en partes de documentos que no examinó, como
la sección de resultados de gran importancia. Drazen estaba lo suficientemente
inquieto por lo que su propia revista encontró para dar a sus editores de
manuscritos un curso de estadística, e implementar un escrutinio adicional de
las estadísticas en los artículos aceptados.
