Seminario-Taller: Gestores y editores de revistas científicas en Panamá Evaluación y calidad de...

Seminario-Taller: Gestores y editores de revistas científicas

en Panamá

Evaluación y calidad de las revistas científicas

José Octavio Alonso-GamboaDirección General de Bibliotecas, UNAM,

México9 de septiembre de 2008

Latindex 2009 - J.O. Alonso Gamboa

Contenido

• Las revistas y sus funciones• Tipología de revistas según sus objetivos• Principales retos de la revista científica• Principales retos de la revista en América

Latina• Indicadores de calidad para las revistas:

Calidad intrínseca Calidad formal

• Evaluación de revistas. Enfoques y usos• Revisión de diferentes esquemas

Sistema Latindex CONACYT, México ISI Web of Science


Las revistas y sus funciones

Instrumento para el registro sistemático del conocimiento

Herramienta que otorga reconocimiento social a autores, editores, revisores y a las instituciones.

Canal de comunicación formal y público para difundir información

Valida la calidad de la información Institución social que confiere prestigio y recompensas Apoya a la construcción de comunidades científicas Canal de comunicación preferido (y a menudo

excluyente) para comunicar los avances del conocimiento


Tipología de revistas según sus objetivos

Revistas de investigación científica :

• Publican principalmente artículos originales, producto de la investigación científica o tecnológica.

• Están dirigidas a un público altamente especializado. • Tienden a ser muy especializadas

• Se publican en prácticamente todas las disciplinas científicas: ciencias exactas y naturales; tecnología; ciencias sociales y humanidades.



Revistas técnicas y profesionales

• Difunden artículos cuyo objetivo es dar a conocer avances tecnológicos, productos y servicios profesionales• Sirven de instrumento para la enseñanza. • Los artículos que publican son resultado de la investigación aplicada. • Tienen una comunidad de lectores más amplia toda vez que, además de ser del interés de investigadores y científicos, están dirigidas también a profesionales, técnicos y docentes.



Revistas de difusión científica y cultural:

• Son multidisciplinarias en su contenido.

• Permiten llevar la ciencia a audiencias más amplias

• Pone al alcance de no especialistas, información de naturaleza académica.

• En los artículos publicados en este tipo de revistas se utiliza un lenguaje que es de acceso para un público universitario o con ese nivel escolar.



Al conjunto de revistas científicas, técnicas y difusión se le suele identificar genéricamente como revistas académicas, es decir, aquellas que contienen de manera sistemática información de interés para investigadores, especialistas, profesionales, técnicos, estudiantes, y agentes de actividades productivas, educacionales y culturales.

El término no incluye revistas que sean de interés para los integrantes de empresas o entidades específicas, ni las de carácter exclusivamente promocional de productos o servicios.


Principales retos de la revista científica

Proliferación a causa de un aumento en las actividades de investigación y la importancia dada a la revista como un mecanismo de prestigio académico

Mayor número de personas que publican (síndrome del publish or perish)

Creciente especialización y compartimentación de las disciplinas

Creciente industria de la información comercial

Vertiginoso desarrollo de la tecnología El soporte electrónico no ha aumentado el

acceso a la información a revistas editadas dentro del círculo comercial


Principales retos de la revista en América Latina

Gestión editorial Problemas de sustentabilidad, que se traducen en dificultad para cumplir con los plazos de aparición. Periodicidad poco frecuente: revistas con frecuencias semestrales o anuales. Dificultades para cumplir con la periodicidad Observancia irregular de normas editoriales, por lo que a menudo no cumplen con criterios formales de presentación.


Principales retos de la revista en América Latina

Difusión y visibilidad Contenidos de carácter local o nacional que pueden no ser de interés para las bases de datos internacionales. Prevalencia de contenidos en idiomas nacionales, con las mismas consecuencias del punto anterior. Dificultades para identificar las revistas existentes, debido a problemas de distribución, escasa presencia en bibliotecas o en directorios de revistas.


Indicadores de calidad para las revistas

Calidad intrínseca: Indaga sobre la estructura y contenido de las contribuciones (artículos), así como los mecanismos que la revista tiene para asegurar la calidad de sus contenidos.

Calidad formal: Observancia de normas y aspectos relacionados con la gestión editorial de una revista


Evaluación de revistas: enfoques y usos

Bibliotecas: para seleccionar revistas a ser adquiridas para desarrollar una colección Organismos de política científica: para identificar un núcleo de revistas a ser financiadas Editores: para ayudarlos en la presentación formal de sus revistas Bases de datos: para seleccionar revistas a ser difundidas en algún servicio de información


Revisión de diferentes esquemas

1. Criterios de calidad formal

Sistema Latindex

2. Agencias financiadoras nacionales

Consejo Nacional de Ciencia y Tecnología de México

3. Bases de datos de cobertura mundial

ISI Web of Knowledge


Latindex

• Sistema regional de información para las revistas científicas de América Latina, el Caribe, España y Portugal.

• Producto del trabajo cooperativo de 17 países.

• Creado en 1997, disponible para consulta gratuita en http://www.latindex.org

• Ofrece tres bases de datos:

Directorio. Registro amplio de revistas académicas, en papel y/o electrónicas, vigentes o cesadas. 16,800 revistas

Catálogo. Selección de revistas vigentes que cumplen criterios de calidad editorial. 3,215 revistas

Revistas electrónicas. Enlaza a revistas disponibles a texto

completo. 2,686 revistas


Catálogo Latindex

Sistema de información sobre indicadores de calidad editorial de las revistas, basados en características de aplicación internacional.

Disponible para consulta desde finales de 2002

Se califican las revistas previamente registradas en el Directorio

Cada país aplica la batería de criterios a sus respectivas revistas nacionales

Todavía se continua el proceso de aplicación de los criterios por lo que más revistas irán incorporándose al catálogo

El catálogo Latindex ha sido utilizado por otros servicios de información como un referente de calidad de las revistas.


Criterios para revistas impresas

Características básicas(obligatorias)

1.- Mención del cuerpo Editorial 2.- Contenido (40% académico) 3.- Antigüedad mínima 1 año 4.- Identificación de los autores 5.- Lugar de edición 6.- Entidad editora 7.- Mención del Director 8.- Mención de la Dirección

Características de presentación de la revista (9)9.- Páginas de presentación 10.- Mención de periodicidad 11.- Tabla de contenidos (Índice) 12.- Membrete bibliográfico al inicio del artículo 13.- Membrete bibliográfico en cada página 14.- Miembros del consejo editorial 15.- Afiliación institucional de los miembros del consejo editorial 16.- Afiliación de los autores 17.- Recepción y aceptación de originales

Revistas impresas


Características de gestión y política editorial (8)

18.- ISSN 19.-Definición de la revista 20.- Sistema de arbitraje 21.- Evaluadores externos 22.- Autores externos 23.- Apertura editorial 24.- Servicios de información 25.- Cumplimiento de

periodicidad

Características de los Características de los contenidos contenidos (8)(8)

26.- Contenido (40% 26.- Contenido (40% originaloriginal) ) 27.- Instrucciones a los autores 27.- Instrucciones a los autores 28.- Elaboración de las 28.- Elaboración de las

referencias bibliográficas referencias bibliográficas 29.- Exigencia de originalidad 29.- Exigencia de originalidad 30.- Resumen 30.- Resumen 31.- Resumen en dos idiomas 31.- Resumen en dos idiomas 32.- Palabras clave 32.- Palabras clave 33.- Palabras clave en dos 33.- Palabras clave en dos

idiomas idiomas


Características básicas (obligatorias)

• Mención del cuerpo editorial

• Contenido científico• Generación continua de

contenidos• Identificación de los autores• Entidad editora• Mención del editor• Mención del URL de la

revista• Mención de la dirección

Características de presentación de la revista

• Navegación y funcionalidad• Mención de periodicidad• Acceso a los contenidos• Acceso histórico al contenido• Membrete bibliográfico al

inicio del artículo• Miembros del consejo

editorial• Afiliación institucional de los

miembros• Afiliación de los autores• Recepción y aceptación de

originales

Revistas electrónicas


Características de gestión y política editorial

• ISSN• Definición de la revista• Sistema de arbitraje• Evaluadores externos• Autores externos• Apertura editorial• Servicios de información• Cumplimiento de

periodicidad

Características de contenido

• Contenido original• Instrucciones a los autores• Elaboración de referencias

bibliográficas• Exigencia de originalidad• Resumen• Resumen en dos idiomas• Palabras clave• Palabras clave en dos

idiomas• Metaetiquetas• Buscadores• Servicios de valor añadido

Revistas electrónicas


Consejo Nacional de Ciencia y Tecnología (CONACYT), México

Mantiene el Índice de Revistas Mexicanas de Investigación Científica y Tecnológica con base en un ejercicio de evaluación. Las revistas seleccionadas reciben financiamiento y estímulos durante un período de cinco años.

Forman parte del Índice 99 revistas mexicanas como resultado de la Convocatoria 2006-2007http://www.conacyt.mx/Indice/Index_ListadoCompleto.html

http://www.conacyt.mx/Indice/Index_ListadoCompleto.html








CONACYT-Criterios generales de evaluación

1.Contenido

2.Arbitraje

3.Edición y distribución

4.Aspectos formales (normatividad editorial)

http://www.conacyt.mx/Indice/Convocatorias/Criterios_Eval_Revistas_0607.pdf


1. Contenido

1.1 Artículos y reseñas resultado de la investigación. Al menos un 75% de todos los documentos publicados en un año deben ser artículos o reseñas producto de la investigación, con resultados originales y sujetas a un estricto arbitraje. No deben incluirse en los números regulares materiales como memorias de congresos; en todo caso, éstas deberán publicarse en números especiales o suplementos.

1.2 Autores externos. Al menos el 60% de los documentos publicados durante un año deben provenir de autores cuya adscripción es diferente al de la institución editora de la revista.


2. Arbitraje

2.1 Comité editorial. Debe estar formado por investigadores de calidad reconocida por la comunidad nacional o internacional. Es fundamental que su composición sea multinacional. Debe evitarse que el director de la institución editora sea (ex oficio) el director de la revista.

2.2 Cartera de árbitros. Debe contar con especialistas de todas las áreas (o subáreas) que cubre la revista y estar compuesta por líderes en su especialidad, adscritos a instituciones nacionales y extranjeras. Los artículos generados por la institución editora de la revista no deben ser evaluados por árbitros de la misma.


2. Arbitraje

2.3 Calidad del arbitraje.

El arbitraje debe estar documentado y ser riguroso, especializado y argumentado. Cada artículo publicado debe ser aprobado al menos por dos árbitros. El rigor debe ser apreciado en las respectivas actas de dictámenes. Se debe mencionar la originalidad y calidad del artículo, así como su contribución al campo de conocimiento. Se debe omitir el nombre del árbitro y en caso de emplear un formato, éste debe obligar al comentario in extenso. Se debe incluir el índice de rechazo de la revista.


3. Edición y distribución

3.1 Antigüedad. Una trayectoria mínima de tres años de publicación ininterrumpida, para evaluar la trayectoria y evolución de la revista. En el caso de revistas electrónicas deberán estar disponibles en línea con la misma antigüedad.

3.2 Periodicidad y puntualidad. La periodicidad mínima debe ser semestral. La publicación debe ser ininterrumpida y sin retraso conforme la periodicidad establecida y la fecha de publicación debe estar especificada. No se acepta que un solo número cubra todos los correspondientes a un volumen o a un año. Para las revistas electrónicas se debe hacer explícita la periodicidad de la publicación en la página descriptiva y sus características de publicación.


3. Edición y distribución

3.3 Distribución. La revista debe tener distribución nacional e internacional. Se debe anexar la estadística de distribución. La revista electrónica tiene que estar en Internet con un módulo de estadísticas que permita conocer el número de accesos; descargas de artículos por formato; número de visitantes y países de origen. Dicho módulo debe estar visible para el usuario.


4. Aspectos formales

4.1 Estructura de los artículos. Cada artículos debe incluir: resumen; palabras clave; fechas de recepción y aceptación, así como la dirección institucional de los autores.

4.2 Normatividad editorial.

Portada (título, fecha, ISSN, volumen y número).

Contraportada (nombre de los editores; comité y/o consejo editorial)

Tabla de contenido

Colofón (fecha de impresión y tiraje)

Instrucciones a los autores


4. Aspectos formales

4.3 Visibilidad. La revista debe mostrar su visibilidad a través de su registro en servicios de índices y resúmenes internacionales, relevantes al área de especialidad de la revista.

La lista de índices y resúmenes donde está registrada la revista debe ser visible, tanto en las versiones impresas como electrónicas.


Consideraciones sobre los ejercicios de evaluación de las agencias financiadoras

• Determina qué revistas deben ser financiadas en función de las características de la revista

• Requiere (por parte de los editores) la conformación de un expediente voluminoso y detallado que permita validar algunas de los requerimientos de evaluación

• Los editores solo ven enunciados generales de los criterios, no explicación a detalle

• El perfil de evaluación no beneficia a las revistas de divulgación, aunque éstas cumplan con la rigurosidad demandada

• Los parámetros se aplican por igual a revistas de diferentes disciplinas (el caso de los anuarios).

• Parámetros controversiales : ¿Cómo medir la distribución adecuada de una revista? ¿Cómo medir la originalidad de una contribución?


ISI Web of Science

• Conjunto de tres bases de datos producidas por la compañía Thomson Scientific que provee acceso a artículos publicados en revistas académicas.

• Los artículos están ligados entre sí por las referencias bibliográficas de cada artículo.

• La compañía produce otras bases de datos (patentes, informes nacionales sobre citas, reacciones químicas, etc.) que en su conjunto constituyen el ISI Web of Knowledge

• Se requiere pagar una suscripción anual para tener acceso

•Herramienta que proporciona análisis estadísticos a partir de información bibliográfica compilada en una selección de revistas a nivel internacional


ISI Web of Science

10,000 títulos de revistas (2007)

Cobertura retrospectiva hasta 1900 (Siglo de la Ciencia)

Cobertura multidisciplinaria

Science Citation Index Expanded: 7,085

Social Sciences Citation Index: 1,790

Arts & Humanities Citation Index: 1,125

Registros bibliográficos con enlaces a textos completos

Cada año evalúan 4,000 títulos pero solamente aceptan el 10%


ISI Web of Science: criterios de selección

1.Criterios básicos de publicación

- Puntualidad. Compromiso de publicar y distribuir a tiempo, el número de fascículos conforme a la periodicidad declarada.

- Normas editoriales. Los títulos tienen que ser informativos y proporcionar la dirección completa y normalizada de cada autor, incluyendo e-mail. Referencias completas.

- Información bibliográfica en inglés. Títulos, tablas de contenido, resúmenes y palabras clave.

- Revisión por pares. Verificación del método de revisión utilizado en cada revista.



2. Contenido editorial

- Cobertura por tema. Si un tema está suficiente cubierto por el Web of Science, no se agregan nuevas revistas de ese tema.



3. Diversidad internacional

- De autores y editores. ¿Los editores son miembros de algún consejo editorial fuera de su país?

- Enfoque global de los contenidos. ¿Los contenidos publicados reflejan el contexto global en que los investigadores se desempeñan actualmente?

- Uso internacional de la publicación. ¿La publicación está siendo utilizada en otros países?

- Publicaciones regionales relevantes. Son aceptadas, siempre que a juicio del ISI reflejen el “contexto global” en que se realiza la investigación.



4. Análisis de citas

- Verifican las citas de la revista candidata, tanto en publicaciones ISI como no ISI

- A partir del análisis verifican la influencia o aprovechamiento de la revista

- Se valora si los autores y editores son miembros de algún consejo consultivo de relevancia nacional o internacional.


Los indicadores de ISI

Factor de impacto (FI)

Es un indicador calculado cada año por la empresa ISI Thomson solamente para las publicaciones que da seguimiento. El FI de cada revista es publicado en el Journal Citation Reports, que incluye unas 10,000 revistas.

Análisis de citas

Estudia las interrelaciones entre los documentos, con base en los patrones de citas y referencias que aparecen en cada artículo publicado.


El factor de impacto (FI) de ISI

Es uno de los indicadores más referidos para valorar la calidad de una revista El factor de impacto se usa a menudo como referente del reconocimiento que la comunidad científica otorga a cierta revista y con frecuencia se asocia también con la calidad de sus artículos El FI se calcula con base en el número de veces en que los artículos publicados en un período de 2 años (2004-2005), han sido citados por las publicaciones a las que ISI da seguimiento a lo largo del siguiente año (2006).


200620052004

Artículo fuente publicado en 2006

Referencias citadas en 2004 y 2005

Citas

Todos los años previos

2003 2007

Factor de impacto =

Cantidad de artículos publicados por una revista en los últimos dos años

Número de citas recibidas en el mismo período

Tiempo

Factor de impacto 2006

Cálculo del Factor de impacto

Fuente: Jim Testa, Thomson Corporation, 2006.


Algunas consideraciones sobre el factor de impacto de ISI

Tiene una influencia enorme, pero controvertida, en cuanto a la manera como las revistas científicas son percibidas y evaluadas.

¿El número de citas mide calidad o cantidad? Las citas no siempre son positivas El factor de impacto no debe sustituir en ningún

caso al análisis crítico del contenido de un artículo Tendencia de los autores a citarse a sí mismos,

por lo que el factor de impacto debe calcularse sin considerar las autocitas

Hay publicaciones cuyo tiempo de publicación y de citación requiere algo más de dos años


Algunas consideraciones sobre el factor de impacto de ISI

Las agencias que financian la investigación utilizan el factor de impacto para valorar a las publicaciones y asignarles recursos y a los autores que publican en ellas, para otorgarles reconocimientos y estímulos.

El FI suele ser diferencial dependiendo de la naturaleza y especialidad de la revista. Por ejemplo, las revistas biomédicas tienden a tener un mayor factor de impacto que las de ciencias sociales o las de matemáticas.

Un buen factor de impacto aumenta la visibilidad de una revista ante su comunidad

Desventaja para las revistas de América Latina: pocas revistas indizadas y un bajo FI


Usos del FI

• Apoya en las decisiones para el desarrollo de colecciones de revistas especializadas

• Herramienta de mercadotecnia para los editores al ubicar las revistas con mayor potencial

• Resulta ser un mecanismo de evaluación del impacto de revistas específicas en cierta área del conocimiento

• Mecanismo de evaluación de investigadores, líneas de investigación y ranking de instituciones.



Para mayor información:

Journal Selection Essay

http://scientific.thomson.com/free/essays/selectionofmaterial/journalselection/

http://scientific.thomson.com/free/essays/selectionofmaterial/journalselection/


Muchas gracias

José Octavio Alonso Gamboa

[email protected]

mailto:[email protected]

Seminario-Taller: Gestores y editores de revistas científicas en Panamá Evaluación y calidad de...

Documents

Transcript of Seminario-Taller: Gestores y editores de revistas científicas en Panamá Evaluación y calidad de...