Hace unos días, estando en San Sebastián participando en un curso de verano organizado por la UPV/EHU, recibí un correo electrónico en el cual una prestigiosa revista me invitaba a participar en el tradicional proceso de revisión por pares (peer review) de un artículo científico. Tras ver el título del trabajo en cuestión pensé en aceptar pero, una vez leído el resumen del artículo no solamente rechacé la invitación a revisarlo sino que cogí un cabreo de aúpa. Les cuento.
A lo largo de mi trayectoria científica he publicado dos artículos acerca de un determinado compuesto perteneciente al grupo de las moléculas antioxidantes. En uno de esos trabajos, publicado en Journal Agricultural and Food Chemistry, caractericé físico-químicamente el proceso de encapsulación molecular de dicho compuesto para su posible uso en la elaboración de alimentos funcionales. En el otro, que vio la luz en otra revista del mismo área, propuse una posible ruta de degradación de dicha molécula en el reino vegetal.
Pues bien, al leer el resumen del artículo que recibí para revisar observé que el trabajo abordaba el posible efecto de la administración de dicho antioxidante sobre la salud de un grupo de ratas. En el trabajo también se evaluaba la respuesta de diferentes marcadores tumorales de los roedores, así como la capacidad de dicha molécula para actuar frente a procesos inflamatorios… ¿y qué pintaba yo ahí?
Es cierto que un servidor tiene dos artículos publicados relacionados con la molécula protagonista del artículo a revisar, pero no tienen nada que ver con el contenido del trabajo que tenía que evaluar. En mi curriculum vitae se puede observar que jamás he participado en ningún trabajo clínico por lo que sería absurdo e irresponsable revisar un trabajo de ese tipo. Por ello rechacé cordialmente la invitación recibida por el editor jefe de la revista en cuestión trasladándole las razones que les he expuesto… pero una serie de preguntas me asaltaron.
¿Qué proceso sigue un editor para seleccionar los revisores de los trabajos que llegan a su revista? ¿Leyó el revisor mi historial de publicaciones antes de seleccionarme como revisor? ¿Son los revisores que evalúan trabajos auténticos especialistas en el campo que están evaluando? ¿Hay investigadores que, con el objetivo de engordar su curriculum, aceptan revisar cualquier tipo de trabajo que se les ofrece? ¿Son conscientes editores y revisores que un artículo rechazado por falta de conocimientos de los referees puede echar por tierra el trabajo de muchos meses? ¿Se dan cuenta tantos unos como otros que en el caso de aceptar trabajos que no tengan rigor científico le están haciendo un flaco favor al desarrollo científico?
Todas esas preguntas me llevaron a cuestionarme, una vez más, el delicado proceso de revisión por pares de los trabajos científicos. Por ello decidí trasladar el debate a las redes sociales y, a través de mi cuenta de twitter, formulé la siguiente pregunta: ¿qué aspectos del famoso sistema de revisión “peer review” mejorarían?
Rápidamente una infinidad de respuestas inundaron la red social y comenzó un acalorado debate. Debo reconocer que, aunque muchas de las opiniones que pude leer me las esperaba, hubo interesantísimas aportaciones que me sorprendieron por lo que he decidido continuar el debate en el blog si ustedes lo consideran oportuno.
Si en algo coincidieron la mayoría de los contertulios es en la necesidad de que el proceso de revisión debería ser doble ciego, es decir, ni los revisores deberían conocer el nombre de los autores de los trabajos ni viceversa. ¿Por qué? Porque es posible que un revisor se deje influir a la hora de evaluar un trabajo por la procedencia de los autores del trabajo en cuestión. No hay que olvidar que en muchas ocasiones editores y autores comparten líneas de investigación comunes y eso puede condicionar decisiones. Sí, ya lo sé queridos puristas, eso no es ético, pero ocurre muchas más veces de lo que el público se puede imaginar… y a veces en la bibliografía encontramos trabajos que nadie se explica como han sido publicados y, otras veces, nos enteramos de las tremendas trabas que se le ponen a ciertos artículos de gran calidad para ser aceptados.
No nos escondamos. Hay editores y revisores que ven con distintos ojos los artículos según de quien proceda… y nadie les pide responsabilidades. Claro que también podemos promover una pequeña variación y, en vez de que el sistema sea doble ciego, podrían hacerse revisiones donde la identidad de los revisores se conozca lo que, según muchos, haría que estos se corten a la hora de revisar a la ligera los trabajo científicos … y ya que nos ponemos no estaría mal obligar a los revisores y editores a firmar una declaración de conflicto de intereses.
¿Estoy diciendo con todo esto que el proceso de revisión no es limpio? No. Estoy plenamente convencido de que en la mayoría de los casos el rigor y la ética científica se impone a otras actitudes pero también estoy seguro de que cada vez hay mayor número de casos donde el proceso no es todo lo adecuado que debería de ser… y esto hay que solucionarlo.
Por otra parte algunas de las personas que participaron en el debate que promoví en twitter comentaron que el proceso de selección de revisores por parte del editor no es el más pertinente… y la prueba de ello es el ejemplo del artículo que acabo de rechazar para revisar. ¿Por qué no tienen todos los editores una cartera de revisores en condiciones para cada uno de los temas que les toca enjuiciar? Desde mi punto de vista por dos razones: a) el editor no tiene tiempo para realizar un correcto trabajo de selección de revisores; b) aunque el editor tuviese tiempo para seleccionarlos cada vez hay menos científicos que se presten a participar “por amor al arte” en un proceso de tanta responsabilidad …lo que me sirve para dar paso a la siguiente punto que se puso sobre la mesa en el debate.
Muchas voces solicitan que, para hacer un proceso de revisión serio y justo, se necesita mucho tiempo. Por ello urge que la labor del editor y el revisor sea reconocida bien sea curricularmente o mediante remuneración económica. En caso contrario esto irá cada vez a peor y ni uno sin otros se implicarán suficientemente en el proceso.
Además, muchos científicos se quejan de que existan revistas que exigen a los autores que recomienden posibles revisores para su propio trabajo. Es esperable que, en ese caso, los autores propongan a revisores que crean que van a hacer una revisión lo más justa y equilibrada posible… pero también puede darse el caso de que los autores propongan a revisores que no sean precisamente de grupos de investigación “contrarios”.
Una de las cuestiones que más se repitió en esta interesante discusión fue la indefensión en la que a veces se encuentra el autor ante las sorprendentes decisiones de algunos editores o revisores de rechazar a la primera un trabajo. En muchas ocasiones los comentarios de los revisores delatan claramente que no han entendido el trabajo, pero el rechazo frontal del trabajo por parte del editor al leer dichos comentarios impide a los autores ningún tipo de aclaración.
Han leído ustedes las principales opiniones de los seguidores de mi cuenta de twitter que pude recoger en aquel intenso debate que se originó acerca del proceso de revisión por pares de trabajos científicos. Sin embargo, he dejado para el final un tema que “me toca” muy de cerca.
Varios investigadores solicitaron a las revistas científicas que acorten el proceso de evaluación. Una de las principales quejas de los científicos es la demora existente en cualquiera de las etapas del proceso de revisión lo que retrasa el proceso de publicación. Las principales retrasos se centran en el tiempo que transcurre desde que se envía el artículo por primera vez a la revista hasta que obtienen la primera respuesta del editor, en el periodo que pasa desde que los autores mandan la revisión que les ha sugerido el editor hasta que éste da el visto bueno final o en los meses que transcurren desde que el artículo es aceptado hasta que es publicado en su versión definitiva.
¿Y por qué digo que este tema “me toca muy de cerca”? Les refresco la memoria. El 24 de febrero de 2012, hace ya más de año y medio, publiqué en este blog un artículo titulado “Carta abierta al editor de una revista de investigación”. En dicha entrada me dirigí irónicamente al editor de una revista perteneciente a la editorial Taylor and Francis que doce meses atrás había aceptado definitivamente una revisión científica (Review) que yo le había enviado para publicar… pero que, a pesar de estar aceptado casi un año, aun no había sido publicado. En aquel post mostraba los posibles perjuicios para los investigadores que podía tener el hecho de que aun no hubiese visto la luz aquel artículo que llevaba tanto tiempo aceptado.
Pues bien, hoy día 17 de Septiembre de 2013, les muestro la prueba fehaciente de que pasados casi DOS AÑOS Y MEDIO desde la aceptación (no desde el envío original) del artículo “Cyclodextrins and antioxidants”, la revista Critical Reviews in Food Science and Nutrition que ocupa el primer lugar en cuanto a índice de impacto en el área de ciencia y tecnología de los alimentos, aun no ha publicado definitivamente dicho artículo.
Debo reconocer que mi fase de indignación ha evolucionado y esto ya me lo tomo a cachondeo. Sin embargo, aun se me revuelven las tripas cuando pienso que a principios del año 2011 la revista Critical Reviews in Food Science and Nutrition aceptó una exhaustiva revisión bibliográfica del estado “actual” de un tema y que a finales del 2103 aun no se ha publicado. ¿Saben ustedes lo que eso implica? Que en el mejor de los casos, si se publica en este año 2013 (o puede ser que en el 2014), esa revisión tendrá una bibliografía compuesta por artículos publicados en su gran mayoría en el año 2010 o anteriores… ¡¡pues vaya un estado actual del tema!!
Estimados lectores, antes de acabar me gustaría darles mi contestación personal a la pregunta que he formulado en el título de este post: ¿se puede cambiar el sistema de actual de revisión de artículos científicos? “Se puede… y se debe”. No podemos escudarnos en la famosa frase de que “no existe otro sistema mejor” para no tomar iniciativas que mejoren el actual. Desde mi punto de vista la clave a los problemas expuestos en este post se esconde tras una sola palabra: “PROFESIONALIZACIÓN”.
Urge profesionalizar el mundo de las publicaciones científicas… lo que implica profesionalizar a los editores y profesionalizar a los revisores. No vale con confiar en la buena fe de todos los implicados en el proceso de revisión de artículos científicos y en su amor por la ciencia. La única forma de poder exigir responsabilidades a editores y revisores es valorar y recompensar su trabajo.
Si esto se consigue muchos de los problemas que se han expuesto en este post podrían llegar a solucionarse…pero son las editoriales las que tienen mucho que decir en todo esto.
Si estas siguen resistiéndose a cambiar su política de cobrar grandes cantidades de dinero a suscriptores individuales o institucionales (o incluso a autores por publicar) y negándose a recompensar a editores y revisores por su trabajo, tendrán que ser los investigadores los que deban darle un vuelco de verdad, y no con medias tintas, al proceso de publicación de los trabajos científicos.
En mi modesta opinión el sistema necesita urgentemente un cambio y ya son muchas las voces que lo piden a gritos. Es el momento. Veremos lo que ocurre.
No me gustaría concluir sin dejar claro que todo lo que ustedes han leído es solamente una reflexión personal tras 20 años en el mundo de la investigación como miembro del comité editorial de revistas científicas y también como revisor y autor de artículos científicos… pero lo que me gustaría ahora saber es su respuesta ante la siguiente pregunta: ¿qué piensan ustedes de todo esto?
Jose
Nota: Si te ha gustado este post puedes ayudarme a difundirlo pinchando en este enlace. GRACIAS
SCIENTIA 
Muchas gracias por el articulo, nos desvela muy bien el entramado mundo de los articulos cientificos y lo burocratico que esta. Un gran saludo
«¿Qué piensan ustedes de todo esto?»
Lo primero, en mi blog he hablado en múltiples ocasiones sobre el tema (p.ej. El timo de la revisión por pares, o ¿Cuánto tiempo cuesta revisar un artículo científico? ¿Para qué sirve la revisión por pares?). Por tanto mi opinión es bien conocida. La resumo para los vagos que no la quieran leer en mi blog.
¿Para qué sirve la revisión por pares? Para ayudar al editor de una revista a elegir qué artículos publicar y cuáles rechazar. ¿Qué cosas son importantes de la revisión? Que el artículo presente resultados interesantes para un lector cualquiera de la revista y además que sean interesantes para un lector experto en la materia del artículo. ¿Qué es lo que más le importa al editor de la revisión? Que el artículo aceptado tenga mucho impacto y reciba muchas citas. Nada más. Para ello son importantes tanto la opinión de los lectores expertos como los no expertos, pues ambos pueden llegar a ser futuros citadores. ¿Importan cosas abstractas como el avance de la ciencia y demás cuestiones filosóficas? No. No importa un comino. Lo siento, así es.
«¿Qué proceso sigue un editor para seleccionar los revisores?» Suelen tener una base de datos interna donde los revisores están clasificados por un código según su área. Depende de la revista y del editor el mecanismo por el cual se realiza esta clasificación (en la mayoría de los casos secreta).
«¿Leyó el revisor mi historial de publicaciones?» No, nunca. Le basta con asignarte uno (o varios) códigos.
«¿Son los revisores que evalúan trabajos auténticos especialistas en el campo?» No, casi nunca, y además no tienen que serlo. Lo ideal sería que hubiera dos o tres revisores, un experto en el tema concreto, otro experto en temas colaterales y otro que no tenga ni idea pero que sea lector habitual de la revista en cuestión. Pero no siempre es así.
«¿Son conscientes editores y revisores que un artículo rechazado por falta de conocimientos?» Lo son, pero no les importa. Tiene que ser así. Si los artículos sólo los va a entender una minoría de los lectores de la revista, ¿para qué publicar el artículo? Lo importante es que el artículo lo lea cuanta más gente sea posible, para que se maximice la probabilidad de que tenga un alto impacto.
«¿Se dan cuenta que en el caso de aceptar trabajos que no tengan rigor científico?» Se supone que todos los trabajos enviados a una revista tienen rigor científico. Además, ante la menor duda sobre el rigor científico, un revisor tiene que solicitar que el artículo sea rechazado de forma inmediata. El editor tiene que velar que todo lo que acepta tenga rigor científico; en su defecto, que lo tenga en apariencia, es decir, que al menos engañe a los revisores y a la mayoría de los posibles lectores.
No doy más la murga para no parecer «el cansino» del peer review.
Saludo, Francis
Para agitar un poco más y con el permiso de Jose, os recomiendo la siguiente lectura «Want to Change Academic Publishing? Just Say No»
http://chronicle.com/article/Want-to-Change-Academic/134546/?utm_source=buffer&utm_campaign=Buffer&utm_content=buffer05f31&utm_medium=twitter
En su momento, y a raíz de un artículo donde comenta precisamente los problemas que yo mismo veía en el sistema de revisión por pares («Publica o Muere» http://caramelosblog.es/2011/09/publica-o-muere/) recuerdo que me puse a investigar y me topé con algunas iniciativas de Revisión en dos etapas y abiertas, por ejemplo (creo que era esto: http://www.nature.com/nature/peerreview/debate/nature04988.html) donde es la propia comunidad científica la que participa en el proceso de revisión. Muy bonito, pero ¿Es un sistema viable?, hasta ahora Nature lo ha probado y ha funcionado relativamente bien.
Este proceso no es sino un primer paso, explicaban los Chief Editor de la revista, a un sistema mejorado de Revisión aunque lleva tiempo la cosa un poco para me temo. Por otro lado, existía también la intención de mejorar el sistema conocido mediante el cambio, no del sistema de revisión, sino de publicación: Open Access green y gold, publicaciones con prioridad, etc. Método, para mi gusto más parche que solución, como se ha podido comprobar ya.
Yo creo que, efectivamente, el «Peer Review» se encuentra en una profunda crisis, pero no solo por la publicación sino por la influencia directa en la investigación del Científico. Por tanto, necesita un cambio prácticamente radical. Es lo más natural puesto que es un sistema que lleva funcionando desde el siglo XVIII, por lo que las iniciativas frescas, como la de Nature, y a la cual se opone fuertemente una gran parte de la comunidad, serán la solución. Posiblemente, incluso, cambios más radicales. El principal problema, en mi humilde opinión, es la propia Sociedad Científica, que es muy de costumbres.
Pingback: ¿Se puede cambiar el sistema actual de revisión de artículos científicos?
No puedo ver los comentarios. Snifff, sniffff
Gran artículo, como siempre D. José
Pingback: ¿Se puede cambiar el sistema actual de revisión de artículos científicos? | SCIENTIA
Lógica aplastante. Está claro que a poca gente le gustará leer como actual (si como histórico) un artículo científico de hace 3 años. Seguramente ha habido avances desde entonces que hacen obsoletos los temas tratados.
¿No podría ser la solución la propia Internet que es mucho más dinámica que cualquier revista? (p.e. foros científicos especializados cerrados a profesionales del tema).
Entiendo que la profesionalidad y la dedicación tiene que ser retribuida tanto para autores como para revisores.
Excelente artículo de nuevo.
Pues… me asusta un poco la idea pero la verdad es que quizás tu artículo se publique cuando termine el plazo de validez de alguna patente farmacéutica relacionada con su tema… en especial si tu artículo cuestiona la eficacia o la idoneidad de esa patente…
Hay ejemplos perversos de cuando no se hace interdisciplinaridad en la investigación científica… o cuando los revisores hacen corrillos y se validan unos a otros. O cuando un gobierno impone el criterio a seguir.
Un ejemplo tonto… invito a los que han estudiado física y unidades de medida me digan como es posible cierta fórmula:
Este es el artículo:
Haz clic para acceder a ESA%20Manual.pdf
Página 50. Aparece una fórmula…
Para empezar «S» el resultado, se mide en TONELADAS / HECTAREA (Mal vamos…)
q= metros cubicos de agua por unidad de medida
pero q está elevado a un exponente aleatorio m!!! (o empírico)…
¿Salen las unidades de medida? pues no… pero no importa… en Europa hay que usar esa fórmula se quiera o no se quiera… es la fórmula de base oficial…
No voy a añadir más a lo que ya está, brillantemente, expuesto. Estoy de acuerdo contigo en todo. Y sí, yo tengo la sensación de que muchas veces ha bastado y sigue bastando con que uno de los firmantes tenga un nombre con peso en el área correspondiente para que la revisión sea más rápida y, ¿cómo no?, favorable.
En el área en la que yo trabajo, Geometría Computacional, se ve además que, en muchos casos, no se preocupan de implementar los algoritmos propuestos por los autores, la mayoría de las veces, en pseudocódigo, y cuando tratas de hacerlo, a veces, o bien no funcionan, o bien no han contemplado toda la casuística posible del problema. Y, déjame que sea mal pensada, pero muchos de estos casos de los que hablo y en los que mis estudiantes de Geometría Computacional han detectado los errores, corresponden a gente ‘gorda’ del área. Tengo que decir que la mayoría de las veces, estos errores se solucionan con una línea de código o una variación pequeña, lo que me llama la atención es el hecho de que le pase por alto a revisores que en mis artículos corrigen hasta las comas.
Y ya, que el tema me calienta y estoy corrigiendo exámenes, no vayan a pagar justos por pecadores 🙂
Enhorabuena y gracias.
Está claro que siempre se puede mejorar pero depende de la buena voluntad de todos. Para empezar depende que los editores hagan su trabajo y no sean unos meros «routers» de lo que les llega enviando información entre autores y revisores y viceversa sin apenas leer lo que tienen en mano, ni tomar decisión alguna. Además y como bien mencionas, la mayoría de las veces escogen un revisor solo porque les suena que de alguna manera están el tema pero sin preocuparse de si realmente es un especialista o no. Seguro que tienen la excusa de que están hasta arriba de trabajo y hacen lo que pueden; que apenas les pagan, si les pagan, y que tiene muchas obligaciones. Así no vamos a ningún sitio! Bueno si, cada vez nos hundimos más y la gente desconfía más del proceso.
También los científicos debemos contribuir, cuando hacemos de revisores, calmar un poco el ego y ser constructivos. Está claro que la competencia existe pero si no construimos entre todos tampoco avanzamos. Tengo la sensación de que con todo lo que se está moviendo, en España y el mundo, o los científicos aunamos esfuerzos e intentamos sacar la ciencia adelante o habrá poco que hacer….
Pingback: ¿Se puede cambiar el sistema actual de r...
Muy buena lectura.
Lo de los revisores a veces se ve quién conoce el tema y quien no lo conoce, especialmente por algunos comentarios que te llegan en las correcciones que acabas diciendo… pero tú sabes de esto en realidad? No sabes que ese método se hace así?
Luego un detalle, es que en bastantes revistas veo últimamente, si uno los tres revisores no está de acuerdo y rechaza el artículo, el artículo se rechaza… aunque ese revisor haya realizado unos comentarios que demuestran que no se ha leído el artículo.
Además, el proceso de revisión se hace muy muy muy largo… pero evidentemente para solucionar todos estos problemas que comentamos, una solución pasaría por algún tipo de incentivo para el revisor (véase económico) en el que la revisión se «profesionalizara» y posiblemente este tipo de fallos y problemas se evitarían… o no.
«del mismo área» no. Área es de género femenino. Sólo se utiliza «el» en reemplazo de «la» cuando va pegado a la palabra. No se dice «la área» pero sí se dice «la misma área» ¿por qué? porque cuesta mucho pronunciar la-área (se pegarían las dos «a»).
Es solo un síntoma. La enfermedad es la mercantilización de la investigación y su consecuente deriva productivista. Si lo que importa es publicar y tener impacto, entonces todo lo demás será objeto de intentos fraudulentos, negligencia, clientelismo, etc. Ningún sistema basado en autoridades (como las del editor, el revisor, el autor, el amigo del autor, la universidad, etc.) estará a salvo.
La solución es Internet: repositorios y buscadores de artículos. Si uno es un experto en un tema, sabrá perfectamente encontrar gracias a los buscadores los artículos que versen sobre su tema y de entre ellos será capaz de seleccionar los que, a su juicio, merezcan ser leídos y considerados en toda su profundidad. Los revisores no son necesarios, salvo que uno no sea lo suficientemente competente en el tema o no confíe en su competencia, en cuyo caso tampoco tendría sentido que se dedicara a investigar en el mismo. Las valoraciones serán diversas dependiendo de cada investigador, pero seguirán criterios básicos comunes según las tradiciones a las que cada uno pertenezca. Esto garantizará un mínimo consenso metodológico, un mínimo de controversia metodológica y un mínimo de innovación teórico-práctica. Respecto a las métricas de evaluación, no creo que este sistema supusiera un obstáculo insalvable, pues igualmente podrían cuantificarse la citas y, a partir de ellas, realizar otros análisis. Una cita válida, además, no tendría por qué ser cualquier cita, sino solo aquellas que cumplieran ciertos requisitos, como que no hayan sido realizadas por compañeros del grupo de investigación, etc. Finalmente, podría aplicarse un algoritmo similar al del PageRank para asignar puntuaciones a los investigadores según la cantidad de citas de sus artículos.
Tal vez cabría otro enfoque. ¿No se supone que la posibilidad de reproducirlo es la madre del cordero de un estudio científico? ¿Y cuántos de los que pasan el «peer-review» se pueden reproducir de verdad, con los datos aportados en la publicación?
http://www.the-scientist.com/?articles.view/articleNo/37382/title/Many-Papers-Lack-Detailed-Methods/
Ojo, solo dice que casi la mitad no son reproducibles por falta de identificación de lo necesario para hacerlo. No dice que la otra mitad haya sido reproducida. Probablemente nadie se ha puesto a ello, en la mayor parte de lo casos.
¿No se podría dejar el «peer-review» como está, paja inservible en porcentaje abrumador -pero todos muy contentos por el número de publicaciones en el CV-, y hacer para lo importante una categoría de trabajos realmente replicados? ¿No sería una labor útil la de quien busca entre la paja lo que puede tener interés, lo reproduce, y si está bien, lo manda a una revista de «ciencia realmente replicada» (bajo su responsabilidad de que la reproducción es correcta)? Sería un doble filtro. Alguien lo considera suficientemente interesante para tomarse el trabajo de hacerlo de nuevo a partir de los datos y método descritos, y la confianza de que lo ha conseguido. Y el que hace al trabajo original sabría que si no aporta lo necesario, nunca se lo van a reproducir, y no pasará a «división de honor». Claro que habría que valorar -económica y académicamente- el esfuerzo del replicador. Pero es que es un esfuerzo de la mayor utilidad. Si no se puede hacer a base de vender revistas, se podría intentar con premios, becas, esponsorización, o similar.
Se debe cambiar el sistema… pero no solo el método de revisión. Las editoriales nos hacen pagar por todo siendo nosotros los que les surtimos de contenidos, llegando al límite de tener que pedir permiso por usar tus propios esquemas. Actualmente hasta nos hacen mandar el artículo en pdf en el formato final, haciendo que ellos no se gasten un duro en maquetación. Internet les ha venido de perlas, ya no tienen que imprimir las revistas. Que si hay alguna que te cobra por poner esquemas en color (cada vez menos, gracias a internet)…
Creo que hay que cambiar muchas cosas, la revisión por pares no está tan mal, creo que la mejor propuesta para empezar un cambio en la revisión estaría en el doble ciego. He escuchado rumores de gente que pone los nombres de gente «con facilidad para publicar» a pesar de no trabajar con ellos para publicar mejor y más rápido.
Pingback: ¿Se puede cambiar el sistema actual de revisión de artículos científicos? | Los antisistema son:
Tanto texto como comentarios cubren ampliamente todas las cuestiones más relevantes del tema, así que, para dar un poco de color, me andaré por los cerros de Úbeda un poquete.
Porque otra cuestión importante que hay que tener en cuenta es la siguiente: una vez el artículo ha pasado la barrera de la revisión por pares, terminará publicado. Pensemos entonces no en lo difícil y arduo que es publicar un trabajo bien hecho y relevante, que lo es muchas veces y constituye un problema serio; sino lo irreversible que es que un trabajo mediocre o directamente con resultados erróneos se publique una vez aceptado. Parece que la revisión por pares sea un proceso tan eficiente e irrevocable, que una vez aceptado un artículo como no se demuestre mediante un vídeo grabado en secreto que el investigador hizo trampa en sus experimentos, no hay manera sencilla ni rápida de criticar un trabajo y que se produzca una rectificación. Sólo sucede en casos flagrantes de falseo de resultados, pero cuando un artículo no es bastante riguroso o incurre en errores metodológicos que pueden pasar desapercibidos para la mayoría de lectores, no es fácil hacer una vuelta atrás. O si se hace, no hay casi repercusión. Ya sabemos multitud de ejemplos en campos polémicos como vacunas o transgénicos, donde auqnue se haya retractado una publicación sigue habiendo mucho mal causado por su publicación irresponsable.
Claro, tampoco es plan de ir echando para atrás todos los trabajos (casi todos tienen aspectos criticables o no del todo acertados), en ese sentido es mejor evitar su publicación mediante una revisión por pares concienzuda y exhaustiva. Pero como bien se ha expuesto, está claro que eso es cada vez más difícil, así que una fórmula intermedia como la que comentan arriba, en la que la revisión se lleve a cabo en diferentes etapas por diferentes personas y de manera más «pública», digamos… gracias a internet podría conseguirse una retroalimentación beneficiosa para el que publica y para el que lee el trabajo, sin malos rollos, conflictos de intereses ni enlentecer demasiado el trabajo de nadie. En fin, es un tema complejo, pero anda que no hay que cambiar cosas. La de tiempo que perdemos persiguiendo resultados de otros que resultan irreproducibles… y encima, intentar refutarlos mediante un nuevo trabajo se encuentra con la losa de que muchos editores rechazan de plano cualquier cosa que contradiga una tendencia anterior vista en otra publicación. Eso también es de traca.
Bueno, ya he divagado bastante, saludetes y a ver en qué acaba todo esto porque lo que está claro, es que algo tiene que cambiar.
Hola
Sin entrar al tema de los problemas del peer review, que sí que los tiene, me gustaría hacer notar que muchos de los males del sistema de revisión, del sistema de edición y del sistema de publicación es el afán y el interés por publicar. Por parte de las revistas, cobran a los autores, cuanto más se publica, más se cobra. Cuanto más se descarga, más se cobra. Por parte de los investigadores (aunque no sea culpa suya), se publica todo lo que se puede escribir en una hoja de papel (tenga interés o no para una comunidad amplia) para ampliar su cv. El volumen de publicación es tan alto, que se hace imposible que funcione cualquier sistema. Se llega a hacer casi imposible encontrar revisores (hay tantísimos temas y tantos artículos para censar…). De hecho, censar desvía al investigador del objetivo de publicar y no compensa de ninguna forma. Hay culpas para repartir para todos. Pero el auténtico problema es que se publica excesivamente. Cuando se publica poco, un artículo es un hito. Cuando se publica todo lo publicable, un artículo es eso, unas páginas escritas sin mayor mérito y tampoco hay que darle tanta importancia.
Por último, discrepo de la idea de que el problema se arregle profesionalizando. Supongamos que a mi me «contratan» para censor. ¿Quién va a censar mi actuación? Nadie. Luego, me interesa censar muchos artículos y muy rápido para cobrar más. ¿Cómo acabará el asunto? Ciertos investigadores de prestigio acabarán censado todo lo que se pueda censar y cobrando por ello. ¿El autor recibirá un censado más justo? Pues dependerá de la buena voluntad de los becarios del investigador de prestigio… Al menos, en España, será así, hoy y siempre, que nos conocemos.
Un saludo,
Sebastián
No podemos olvidar que las revistas científicas son NEGOCIOS que buscan la máxima rentabilidad de sus publicaciones, y a mi parecer, sus objetivos de ventas y subscripciones están reñidos con el objetivo científico: CONOCER. Si bien es cierto que no todas las revistas tienen ánimo de lucro, no suponen un instrumento de medida y publicación efectivo ni eficiente. La realidad es que entorpecen el desarrollo, dejando trabajos obsoletos muchas veces, bien en el proceso de revisión, bien en el de publicación. Debería existir un sistema de evaluación y publicación común, abierto e instantáneo dentro de la propia comunidad científica al margen del dinero. Entiendo que suena a utopía, pero el actual sistema solo lleva a la publicación de aquello que más impacte, y raíz de ello se ha generado una competición absurda x el máximo reconocimiento. Los científicos deberíamos trabajar colaborativamente y no competitivamente.
1) Cada vez que veo traducido ‘peer review’ como revisión por pares se me revuelve el estómago. No me extraña que publicaciones grupos españoles escaseen en revistas importantes con tal nivel de traducción.
2) Enviar un trabajo a un investigador que nunca (o casi) ha hecho nada en ese campo te permite evaluar el impacto de ese trabajo: es fácil de entender éste manuscrito? es realmente importante? Si gente sin ningún tipo de formación en ese campo son capaces de entender ese artículo, y además verle importancia aún con esa falta de formación, ese artículo irá a parar (potencialmente) a una revista de alto impacto. No se llama alto impacto porque tenga un número más grande o bajo, sino porque esa información llegará a más personas. Por el contrario, si sólo te van a entender científicos que trabajan con el escarabajo pelotero… ese trabajo tendrá un impacto menor. Menos personas van a poder entenderte y, por tanto, evaluar tu importancia. Por eso muchas veces el artículo es devuelto a revisión pidiendo, generalmente, más experimentos para poder estar seguro de que lo que se afirma en los artículos tiene sustento (que dependiendo ya del campo de cada revisor, podrán ser razonables o no).
Las revistas de más impacto son también las más importantes y/o famosas (Nature o Science entre las generalistas, las de medicina siempre están arriba porque «es lo primero que uno busca cuando se pone malo»). Si quieres mantener ese prestigio, hay que tener mucho rigor y estar seguro de las cosas que se publican ahí (aunque *puntualmente* les pueda la novedad, como ocurrió con la memoria del agua -que retiraron y publicaron una disculpa-). Eso requiere del peer review de científicos competente y, por supuesto, editores competentes que mantengan ese listón.
Si las revistas tienen menos impacto la cosa podría cambiar, en función de lo «desesperada» que esté la casa editorial por aumentar el numerito de impacto (especialmente si son nuevas publican conforme les envían prácticamente, sin revisar). Aqui ya se podría esperar de todo.
Tu problema desde luego no es pequeño, pero desde luego no veo la culpa del sistema por ningún sitio. Profesionalizarlo le pondrá otro collar al perro, sino a peor. Porque…. para lo que me pagan aqui… ¿para qué me voy a molestar en revisar esto, comerme la cabeza con lo que podrían o no podrían hacer, etc? digo que sí (o que no) y punto. Yo no sé si has llamado a esa persona, sino es así deberías hacerlo. Una conversación puede ahorrar tiempo y disgustor.
Suerte y saludos
Oiga compañero, pero no nos deje así; ¡ilústrenos con la correcta traducción de «peer review»! No creo que le lleve demasiado tiempo, y será por el bien de futuras publicaciones de grupos españoles.
Reblogueó esto en CajalesyGalileos.
Lo que yo me pregunto es para que se necesitan las editoriales en el S. XXI.
¿No sería más simple una web colaborativa donde los cientificos puedan publicar sus trabajos y sus colegas votar o puntuar la relevancia de cada artículo? Todos los artículos quedarían publicados inmediatamente y cualquiera podría revisar, puntuar y comentar ese artículo. Evidentemente la capacidad de puntuar debería estar limitada a científicos cualificados.
Poco que añadir.
Excepto que está claro que el sistema editorial científico necesita nuevos aires. Publicaciones más rápidas acordes al mundo online en el que vivimos, nuevo sistema de revisiones (abierto, doble ciego, otras opciones?), publicación de resultados negativos para evitar el gasto de tiempo y dinero en reproducción de investigaciones infructuosas, además de que un resultado negativo también es un dato (menos glamuroso, eso sí)… en definitiva, cambios que mejoren el actual scientific ego-publishing.
Imprescindible seguir haciendo ruido. Gracias por el artículo.
Que opinais sobre la propuesta de open scholar «open peer review protocol» http://www.openscholar.org.uk/wp-content/uploads/2013/07/OPR-protocol.pdf y
http://www.youtube.com/watch?v=25ji9-52k7c ?
¿Qué opinión os merece iniciativas como la de openscholar del ¨open peer review protocol¨ http://www.openscholar.org.uk/wp-content/uploads/2013/07/OPR-protocol.pdf
Buena entrada, Jose
Como ya te comenté en Twitter, esta semana ha sido para mí un ejemplo meridiano de lo que comentas al principio de la entrada, ya que me han llegado 3 artículos para revisar, de 3 revistas distintas. Una la acepté gustoso, y estoy disfrutando y aprendiendo de ese artículo, aunque hay cosillas para mejorar. Sin embargo, los otros dos tuve que rechazarlos. Y no sólo por falta de tiempo – que también – sino porque la temática estaba relacionada con mi investigación de manera muy tangencial. Y no se que harán los demás, pero yo no puedo meterme a revisar un artículo que sé que no entiendo.
Aunque el hecho de que me lleguen 3 en una semana bien puede ser casualidad, me hizo reflexionar: ¿es normal que a mí, un investigador junior con la tesis recién terminada, le lleguen 3 artículos de golpe? Y creo que la respuesta está en la dificultad de los editores para encontrar investigadores que acepten revisar, casi siempre por falta de tiempo. A mí, revisar un artículo supone una «medallita» más en mi CV, sobre todo si es para una revista «nueva» (para la que aún no he revisado), pero a un investigador senior le supone más pérdida de tiempo que ganancia. Hace tiempo leí que cada vez es más común que los editores consigan un sí por parte del revisor al quinto, sexto e incluso séptimo intento, con lo que la idoneidad del revisor se tiene que resentir a la fuerza.
Hace un tiempo surgió una propuesta basada en los llamados PubCreds, créditos de publicación que se ganarían revisando y se gastarían al publicar (http://www.esajournals.org/doi/full/10.1890/0012-9623-91.3.325). De esta manera, si alguien agota sus créditos porque ha publicado mucho, debe revisar en contrapartida para volver a tener créditos y poder volver a publicar. La iniciativa distaba mucho de ser perfecta, pero suponía al menos una alternativa y fomentaba un debate que, coincido contigo, es muy necesario.
¡Un saludo!
Totalmente de acuerdo con todo lo que dice el post (y eso que dice mucho). Al final, en el fondo de gran parte de los problemas de la ciencia están las editoriales científicas. Yo creo que, sencillamente, si no cambian deben ser eliminadas. Ahora mismo su única función práctica es obstaculizar el acceso al conocimiento (cobrar por leer artículos que los autores estaríamos encantados de poner gratuitamente en nuestra web).
Por cierto, si te han aceptado un artículo, presentar un certificado firmado por el editor de que ha sido así suele bastar para la mayoría de convocatorias (y de rebote, consigues molestarlo un poco y que se plantee si no deberían acelerar la publicación). Eso sí, en algunas convocatorias (como por ejemplo los sexenios) no sirve.
Lo peor es si ni te lo revisan… yo tengo un trabajo enviado hace 15 meses del que no he recibido ni siquiera la primera respuesta. Y ni siquiera es especialmente largo. Como después de ese tiempo me lo rechacen, los referees van a tener suerte de que el proceso no sea doble ciego, porque era como para prenderles fuego a su casa 😛 Me lo tomo con humor, pero este tipo de cosas, sobre todo en disciplinas en las que se publican pocos artículos, pueden hundir una carrera (sacar o no una plaza puede depender de la publicación de un artículo, y más en estos tiempos). Los revisores que aceptan mirar un artículo y luego tardan AÑOS en hacerlo cometen una grave irresponsabilidad y parece que ni piensan en las consecuencias que tiene, no me explico cómo pueden mostrar tan poca empatía. Os aseguro que si llego a ser yo el referee tardón, dormiría mal por la noche pensando que le podría estar fastidiando la carrera a alguien con mi negligencia.
Totalmente de acuerdo con todo lo que dice el post (y eso que dice mucho). Al final, en el fondo de gran parte de los problemas de la ciencia están las editoriales científicas. Yo creo que, sencillamente, si no cambian deben ser eliminadas. Ahora mismo su única función práctica es obstaculizar el acceso al conocimiento (cobrar por leer artículos que los autores estaríamos encantados de poner gratuitamente en nuestra web).
Por cierto, si te han aceptado un artículo, presentar un certificado firmado por el editor de que ha sido así suele bastar para la mayoría de convocatorias (y de rebote, consigues molestarlo un poco y que se plantee si no deberían acelerar la publicación). Eso sí, en algunas convocatorias (como por ejemplo los sexenios) no sirve.
Lo peor es si ni te lo revisan… yo tengo un trabajo enviado hace 15 meses del que no he recibido ni siquiera la primera respuesta. Y ni siquiera es especialmente largo. Como después de ese tiempo me lo rechacen, los referees van a tener suerte de que el proceso no sea doble ciego, porque era como para prenderles fuego a su casa Me lo tomo con humor, pero este tipo de cosas, sobre todo en disciplinas en las que se publican pocos artículos, pueden hundir una carrera (sacar o no una plaza puede depender de la publicación de un artículo, y más en estos tiempos). Los revisores que aceptan mirar un artículo y luego tardan AÑOS en hacerlo cometen una grave irresponsabilidad y parece que ni piensan en las consecuencias que tiene, no me explico cómo pueden mostrar tan poca empatía. Os aseguro que si llego a ser yo el referee tardón, dormiría mal por la noche pensando que le podría estar fastidiando la carrera a alguien con mi negligencia.
A mí lo que más me sorprende del actual sistema de publicaciones científicas no es el sub-sistema de revisión, ni el de edición, ni todo lo que comentáis (que sí, que tenéis razón, pero no lo veo lo peor). En mi opinión lo más llamativo es algo que ya se ha dicho de pasada en este hilo: que el autor o autores, que son los que proveen el contenido del que la revista saca el dinerillo, PAGUEN por ello (en el peor de los casos, léase open, cargos por página extra, etc.) o NO COBREN NADA por ello (en el mejor). Será que conozco un poco el ámbito literario, pero en literatura, eso se llama estafa.
Como también dicen arriba, si todo esto, de partida, es un negocio, vamos mal (a lo que añado: si el negocio, además, es un sistema para engañar a la gente cobrando de dinero público para beneficio de empresas privadas, peor que vamos). ¿Para cuándo «revistas» web gestionadas por personal a sueldo del estado encargadas de publicar los trabajos científicos de forma que todo el mundo pueda descargárselos y leerlos cuanto quiera, sin que haya ni una empresa privada por medio, ya que esa ciencia se hace con dinero público? Sé que eso presentaría problemas, por supuesto, pero como idea de partida no creo que sea tan descabellada, ¿no? Al menos, sería éticamente correcta.
Es la ventaja de los paradigmas: Siempre se pueden cambiar por otros igualmente erróneos. Al final, fe es fe la pintes como la pintes.
Yo me hago la siguiente pregunta de microeconomía con respecto a los costes de producción de las revistas científicas:
Yo escribo un artículo, fruto de una investigación, que le ha costado dinero a:
– Mi mismo, puesto que he invertido tiempo en realizarla.
– Mi institución (universidad, laboratorio,etc) puesto que he hecho uso de sus instalaciones.
– Mi sponsor, puesto que es el que ha financiado el proyecto (pagado las becas, etc)
Envío el paper a una revista, y un editor envía mi artículo a un revisor para que lo critique y opine sobre sus cualidades o defectos, lo cual le cuesta dinero a:
– El revisor, puesto que invierte tiempo en realizar la revisión.
Un editor recupera el artículo inmaculado preparado para publicar, hasta con el formato, las figuras y la edición en pluscuamperfecta y prístina corrección. Tras lo cual lo publica en un servidor, para acceder al cual cobra un dinero a:
– Individuos no abonados que cobran 30$/paper.
– Instituciones abonadas a los que cobran un dinero menor, pero una pasta gansa a fin de cuentas por acceder al artículo. Una vez por cada vez que es consultado.
De lo que es la labor productiva, es decir el ingente trabajo que hay detrás de cada paper, ¿qué cojones ha producido la editorial? ¿por qué cobran tanto por hacer nada?¿Por qué incrementan el precio de las matrículas de la universidad?¿Cual es la relación de las editoriales con los propietarios de los «index» de calificación?¿Cómo de transparentes son los «index» de calificación?
Menuda burbuja tenemos por aquí…
No puedo estar más de acuerdo. En mi campo, además, es habitual que los revisores exijan que se añadan citas en el artículo. Citas que normalmente pertenecen al propio revisor. Por otro lado, en mis artículos se incluye casi siempre tal o cual desarrollo matemático (soy ingeniero especializado en teoría de grafos) que los revisores rara vez se detienen a analizar por un sencillo motivo: revisar una sola página de fórmulas matemáticas puede llevar varias tardes. Y eso nadie lo hace por amor al arte. Así que coincido perfectamente con la propuesta del autor: urge profesionalizar el proceso de publicación en revistas científicas. Ahora mismo a mí, mayormente, me parece todo un cachondeo.
Reblogueó esto en VOS en PLURAL.
el artículo es interesante, exepto por lo de «acalorado debate en twitter» jajaja
Pingback: ¿Se puede cambiar el sistema actual de revisión de artículos científicos? | Políticas en TIC y Educación Superior, un análi
Ayer mismo di con este artículo del NewScientist sobre «papers» sin sentido que son aceptados:
http://www.newscientist.com/article/dn17288-crap-paper-accepted-by-journal.html#.UjhzqsZShjg
Actualmente, el lapso entre «publicación de verdad» y pre-publicación, la llamada época «online-first», en mi opinión, diluye todo este tiempo absurdo de espera, que de hecho puede demorarse más de 2 años, desde la aceptación hasta la publicación. Por lo tanto, no me preocuparía por que un artículo de revisión del estatus quo de 2010 «se publique» oficialmente en 2014, si ya desde el invierno del 2012 está accesible, como bien se aprecia en la imagen que adjuntas. Lo que a mí me preocupa de todo el proceso de revisión por pares, además, es que el discurso oficial habla de pares expertos pero el hecho real es que no existe ningún filtro de esta maestría y a la hora de la verdad cualquier persona que tenga «la osadía» de enviar un artículo propio a una revista se convierte en ese mismo momento en revisor potencial. De hecho, en mi área es requisito casi sine qua non. … Esto, para mí, no es garantía de calidad alguna.
No sé si se ha comentado, pero desde el punto de vista ‘mercantilista’ en el que nos movemos, en donde parece que más valen los índices de una determinada revista que la calidad del manuscrito, otro peligro de que un artículo salga publicado 2 años después de su aceptación no es solo que lo que ahí se diga ya esté en algún aspecto obsoleto, sino también que en el momento en que se envió y aceptó, esa revista tenía un determinado índice de impacto y ocupaba un cuartil determinado, cosa que 2 años después puede que siga igual o cambie para bien o para mal. Si es para bien, pues fenómeno, pero si es para mal…
Si nadie hiciera de revisor hasta que pagaran, se acababa el asunto, pero claro, como el ser humano es del genero bobo, va a ser muy dificil. Igual que siempre ganan las elecciones los mismos por mucho que nos machaquen, la gente no se atreve a dejar de revisar trabajos, bien por el qué dirán, bien por qué no vaya a ser, o por multiples razones absurdas
Quizá interese a los lectores saber más sobre una iniciativa que propone un sistema alternativo de revisión que es gestionada por los autores mismos de forma independiente de las revistas. La plataforma gratuita llamada LIBRE (Liberating Research) que va a facilitar este tipo de revisión se va a lanzar este Noviembre y está desarrollada por una organización no lucrativa, abierta a todos los académicos que comparten la visión de una ciencia abierta y transparente. Para más información sobre la plataforma y la filosofía detrás pueden ver nuestro video informativo —también con subtítulos en castellano— y leer un artículo reciente en el LSE blog.
Es bien conocido que las revistas tienen «la sarten por el mango» cuando de publicaciones se trata. Hace algún tiempo me rechazaron un artículo sin explicación alguna. Es más solicite explicaciones varias veces y no obtuve respuesta.
Muy interesante esta entrada y los comentarios. Os voy a dejar el enlace al artículo en pdf «Cómo publicar en revistas científicas de impacto: consejos y reglas sobre publicación científica» que aporta información al debate, sobretodo muy útil para aquellos más profanos al mundillo de los «papers». El punto 6 habla de «Cómo superar el proceso de revisión por pares»… Allá va:
Haz clic para acceder a 2-ART%C3%8DCULO-C%C3%B3mo-Publicar-en-Revistas-Cient%C3%ADficas-de-Impacto_Consejos-y-Reglas-sobre-Publicaci%C3%B3n-Cient%C3%ADfica.pdf
Pingback: Debate en Twitter sobre revisión de artículos científicos | Saluz, la salud según Luzán
Interesante post, no he leído todos los comentarios pero quisiera opinar que no creo que la revisión por pares deba ser remunerada, al tiempo que el acceso a la información científica tampoco. Creo que de algún modo deberían darse a conocer los revisores para dar seguridades también a los que son revisados,(aunque no sea totalmente explicitado quién es el que revisa), al menos debería haber un listado de revisores por áreas en la revista para que quienes envían el artículo se sientan tranquilos de que hay evaluación por expertos en su tema. Eso resolvería también el necesario reconocimiento de los abnegados revisores.
También quería agradecer por este último artículo recomendado por la gente de EC3metrics, siempre generosos con sus aportes.
Saludos
Pingback: La charla más irreverente | SCIENTIA