Aproximación de criterios entre los evaluadores
description
Transcript of Aproximación de criterios entre los evaluadores
Aproximación de criterios entre los evaluadores
Carlos M. Tejada ArtigasCoordinador editorial
Jornada Sobre Calidad de Revistas de Ciencias Sociales (CRECS). Valencia, 10 de mayo 2012
Definición
• Proceso para evaluar los trabajos enviados a una publicación científica para garantizar la calidad de las investigaciones publicadas
• Sinónimo de: revisión por pares, juicio por pares, arbitraje científico
Algunos datos
Año 2011:• 228 evaluaciones encargadas• 47 evaluaciones encargadas no se han llegado a
hacer• 17 se han hecho superando el plazo estipulado• 164 se han hecho en el plazo estipulado• Coste: 13.120 euros
Objetivos
Evitar la publicación de textos:• Con mala calidad científica• No originales (excepción: repositorios)• Redundantes• No contengan información relevante para
los lectores de la revista: importancia del editor
Criterios de aceptación de artículos
• ARTÍCULOS• Trabajos de investigación, teóricos y de
revisión.• ANÁLISIS• Textos descriptivos de instituciones, productos
informativos, proyectos y experiencias. • SOFTWARE DOCUMENTAL• INDICADORES
Criterios de aceptación de artículos
Organización, sistemas, métodos, gestión y comunicación de la información y del conocimiento
TIPOS DE TRABAJOS QUE NO SON DE INTERÉS EN EPI:1. Análisis bibliométricos que no aporten métodos nuevos2. Análisis de usabilidad de webs3. Conteos de características de publicaciones4. Estudios de usuarios (resultados esperados)5. Estudios referidos a un solo país (en el caso a posibles transposiciones a otros países , posibilidad
de excepción)6. Artículos sobre métodos y relatos periodísticos (temas particulares o especializados del quehacer
periodístico, sí se aceptan los que traten la comunicación en general, así como métodos de gestión, visualización, preservación, etc., de la información periodística).
7. Actualización de observatorios, rankings y estadísticas (los artículos deben aportar al menos un 60% de novedad respecto a versiones anteriores publicadas en cualquier lugar).
8. Publicación parcial de resultados (fragmentación injustificada, y la "producción de artículos en serie“).
9. Estados del arte o de la cuestión realizados por personas sin experiencia previa en la materia
Algunas cifras globales
Rechaz-ados (no ad-mi-ti-
dos)29,0%
Rechazados (tras evaluación) 28,6%
Aceptados para publicar; 42,2%
Textos que entraron en el 2011
Número
Totales 213
Rechazados (no admitidos)
62
Rechazados (tras evaluación)
61
Aceptados para publicar
90
Total tasa de rechazo: 57,6%
Quién interviene
• Determinar quien toma la decisión final: o los editores con las opiniones de los evaluadores o los revisores.
• En el caso de EPI:• Dos o tres especialistas (expertos) que son
designados árbitros o revisores (referees)• Coordinador editorial, director y subdirector
Los evaluadores
• Reconocimiento y prestigio• Acceso privilegiado a información relevante
para el trabajo de investigación propio• Compensación económica 50 euros si se
hace antes de 10 días
• La elección
Los evaluadores
En el 2011:71 evaluadores
Nº evaluadores Nº evaluaciones
30 119 27 34 43 52 61 72 10
Los evaluadores
94%
6%
EspañaExtranjero
País Nº evaluadores
España 67
Brasil 1
Grecia 1
México 1
Uruguay 1
Los evaluadores
AndalucíaAragón
Castilla-LeónCataluñaValencia
ExtremaduraGaliciaMadridMurcia
Navarra
4.5%3.0%3.0%
42.0%10.0%
1.5%1.5%
31.0%1.5%1.5%
Región Nº evaluadores
Andalucía 3
Aragón 2
Castilla-León 2
Cataluña 28
Valencia 7
Extremadura 1
Galicia 1
Madrid 21
Murcia 1
Navarra 1
Los evaluadores
Administración Pública
CSIC
Empresa
Fundación
Organismo internacional
Universidad
4.2%
10.0%
5.6%
1.4%
2.8%
76.0%
Región Nº evaluadores
Administración Pública 3
CSIC 7
Empresa 4
Fundación 1
Organismo internacional 2
Universidad 54
Los evaluadores
Profesores
Investigadores
Profesionales
75%
7%
18%
Región Nº evaluadores
Profesores 53
Investigadores 5
Profesionales 13
El proceso
• Tiempo: 10 días al revisor
• Artículos que entraron en el 2011:• 151 que se evaluaron como media 66 días para
la decisión final• 80 que se publicaron: como media 106 días
para su publicación
• Además una corrección completa de estilo
Informe
• Aceptar• Rechazar• Aceptar con cambios importantes• Aceptar con cambios menores
Nuevos retos
• Perfeccionamiento del peer review• Exploración de otros sistemas
• Estudio en desarrollo por Tomás Baiget, Javier Guallar, Elea Gimenez, Isabel Olea y Carlos Tejada:• Informe de la evaluación durante 2010 y 2011:• Cuestionario a revisores: nuevo modelo de plantilla y
conocer sus percepciones• Cuestionario a consejo editorial: política editorial• Cuestionario a autores: Sus puntos de vista de cómo
ha sido el proceso
MUCHAS [email protected]