Quartes Jornades sobre Gestió de la Informació...
Transcript of Quartes Jornades sobre Gestió de la Informació...
![Page 1: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/1.jpg)
Métricas 2.0
para una
Ciencia 2.0
Isidro F. Aguillo [email protected]
Quartes Jornades sobre Gestió de la Informació Científica
Barcelona, 21 Mayo 2015
![Page 2: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/2.jpg)
AGENDA
Science 2.0 Un “nuevo” modelo de la demagogia política de la UE
Diagnóstico de la rendición de cuentas en Ciencia
Métricas
ahora …
Daños de la bibliometría “fácil”: Declaración DORA
cambiando el foco: Perfiles de autor
¿Indicadores compuestos?: Rankings, Ranking Web
… y más
adelante
Métricas 2.0 (Declaración de Leiden)
2 2
![Page 3: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/3.jpg)
Evaluación
Métricas 2.0
Nuevos actores
Ciencia ciudadana
Nativos digitales
Difuminando
las fronteras entre la
comunicación formal e
Informal
Integrando
todo el ciclo de la
investigación y sus actores
Interconectando
datos, técnicas,
resultados en abierto
SCIENCE 2.0
Big Data
Linked Data
Open Data
Reproducibilidad
3
INVESTIGACIÓN 2.0 Herramientas Web 2.0
COMUNICACIÓN
CIENTÍFICA 2.0
Acceso Abierto
Transparencia
![Page 4: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/4.jpg)
Una revolución en marcha
∑
4
Urgente: Se necesita más Cloud
Computing accesible y asequible en
Europa
El Big Science ya no es el único
proveedor de Big Data
![Page 5: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/5.jpg)
5
En la encrucijada: El escenario actual
Análisis
DAFO
FORTALEZAS DEBILIDADES
AMENAZAS OPORTUNIDADES
ACCESO ABIERTO
Big Data
Redes Sociales
BIBLIOMETRÍA
Experiencia y
fiabilidad probada
MALA
BIBLIOMETRÍA
DORA Declaration
ALTMETRÍA
Sinificado e
interpretación
comprometida
![Page 6: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/6.jpg)
Una visión más moderna de la evaluación cuantitativa
Multi- fuente
Nuevas bases de datos bibliométricas (incl. las de países emergentes)
Y también las no bibliométricas
Multi- dimensión
Considerando todas las etapas del proceso investigador
Descubriendo nuevos aspectos de la publicación y el impacto
Mejor atribución
De la autoría
De las circunstancias: Recursos, financiación, políticas
Excelencia Rankings e indicadores relativos
Foco en el cuartil 0: Artículos en el 10% más citado
6
![Page 7: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/7.jpg)
7
MÉTRICAS
“Journal-Level”
IF
SJR, SNIP
MÉTRICAS
“Article-level”
CPP, MNCS
PLoS ALM
RANKINGS
de Universidades
Leiden, Scimago
NTU, URAP
PERFILES
de Autor
GS Citations
ResearcherID
ResearchGate
Evolución deseable
![Page 8: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/8.jpg)
8
Imetría (I-Metría)
WEBOMETRICS
Número de veces la URL de
un documento o la página
de un autor/grupo es
enlazada desde otra página
web
ALTMETRÍA
Número de veces los
elementos son
mencionados (compartidos)
en sitios web, wikis, blogs,
y otras redes sociales
USOMETRÍA
Número de veces un
documento es leido, visitado o
descargado de un servidor
web
BIBLIOMETRÍA
Número de veces un registro
bibliográfico (identificador) de
un libro o artículo es citado
en un obra de formato similar Metricas nivel de Documento Título
Fuente:revista/libro/patente
Año de publicación
Citas
Identicadores: URL/DOI/Handle
Disciplina, palabras clave
Métricas nivel de Autor Autor(es)
Institución (Afiliación)
Año de publicación
Disciplina, palabras clave
Identicadores: ORCID, ResearcherID
Perfiles Web y redes sociales
![Page 9: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/9.jpg)
Una crítica y propuesta constructiva sobre la Altmetría
Problemas Un nombre horrible
¡Peor!: Un conjunto de herramientas heterogéneo, confuso, de valor cuestionable
“A rose is a rose” Bibliometría a la bibliometría: Mendeley, ResearchGate, F1000, …
Resto, disciplinas independientes: Twittermetrics, wikimetrics, …
Expulsar El Uso es en si mismo una fuente riquísima de datos: Visitas, visitantes, descargas, …
¡Usometría!
9
![Page 10: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/10.jpg)
10
Un poco más alto
![Page 11: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/11.jpg)
11
Problemas de la bibliometría: Diagnósticos incompletos
![Page 12: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/12.jpg)
12
Problemas (II): Ausencia de contexto en los
ARTÍCULOS
LIBROS
TESIS
PATENTES
SESGOS POR
DISCIPLINA
SESGOS
GEOPOLITICOS
Sugerencia: Evaluar las propuestas
del proyecto europeo ACUMEN
Indicadores de ACTIVIDAD
![Page 13: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/13.jpg)
13
Integrar en el tiempo: Ruta y edad académica
Tesis
Art
ícu
los
Puesto técnico
EDAD ACADÉMICA: (2014-1995)-(2001-1999)-0,5 = 16,5 años
(MUJERES DESCONTAR UN AÑO POR HIJO)
INDICADOR M = H-INDEX/EDAD
Estancia
post-doc
Investigador
Junior Enfermedad
grave
(6 meses)
Proyecto
EU 1 Proyecto
EU 2 Proyecto
EU 3
Investigador
Senior
Premio
Stephens
Comité NSF-Nobel
Summer School Caltech
Año
0
![Page 14: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/14.jpg)
14
CITA
MENCION
ME GUSTA
VISITA
IRRELEVANCIA
FALSEDAD; PLAGIO
VISUALIZACIÓN
AMIGABLE
Clave: ¿Para cuando el castigo a los
malvados?
BIEN
MAL
Problemas (III): Ausencia de contexto en los
Indicadores de IMPACTO
![Page 15: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/15.jpg)
15
Problemas (IV): Fuentes
![Page 16: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/16.jpg)
16
Problemas (V): Cobertura
![Page 17: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/17.jpg)
17
Problemas (VI): Atribución de autorías
![Page 18: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/18.jpg)
Tres propuestas a la comunidad de bibliómetras
Dos
conjuntos Indicadores “size dependent”
Y también los “size independent”
Autoría Acabar con el conteo completo
Repensar el fraccionado, manteniendo “one size fits all”
Ranks ¿Indicadores compuestos?
Del „”publica o desaparece”· al “palo y zanahoria”
18
![Page 19: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/19.jpg)
19
Controversia
Ventajas
Cálculo más sencillo
Promueve la cooperación científica
Problemas
Sobrestima los trabajos multi-autor
Favorece al débil en la cooperación asimétrica
Ventajas
Refleja mejor la contribución relativa
Aprecia mejor las circunstancias locales o temporales
Problemas
Artículos con centenares de autores
¿Modelo para el reparto de citas?
![Page 20: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/20.jpg)
20
Una propuesta intermedia
* Trabajos firmados
por 2 o más autores
![Page 21: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/21.jpg)
21
Una propuesta rompedora
* Trabajos firmados
por 2 o más orgs.
![Page 22: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/22.jpg)
22
5154 autores
¿Solución?: Excluir la física
de altas energías de ciertos
estudios bibliométricos
![Page 23: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/23.jpg)
23
Agregando métricas al nivel de autor
PERFILES PÚBLICOS DE LOS AUTORES
METRICAS BASADAS EN CITAS (Y MENCIONES)
ATRIBUCIÓN CORRECTA DE LA AUTORÍA
![Page 24: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/24.jpg)
24
¿Un modelo?
![Page 25: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/25.jpg)
Un juicio preliminar
Bien Un portal único (“one shop”)
Indicadores bibliómetricos y de uso (altmetricos)
Indicador relativo
Mejorable
Indicador compuesto confuso
Sin API
25
![Page 26: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/26.jpg)
26
Un segundo modelo
![Page 27: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/27.jpg)
Evaluación sucinta
Bien
Público, gratis (?)
Cobertura enorme
Mejorable Inscripción voluntaria
Solo indicadores bibliométricos
Sin control documental de afiliaciones y palabras clave
Tampoco hay API
Fácil de manipular
27
![Page 28: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/28.jpg)
28
CRIS: ¿Otro posible modelo?
![Page 29: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/29.jpg)
CRIS
Bien
Público (no el del CSIC), gratuito
Auto-perfil institucional (completo, exhaustivo)
Mejorable No hay estándares, difícil análisis comparativo
Indicadores básicos (incluso incorrectos)
Herramienta para burócratas (¿u bibliotecarios?)
29
![Page 30: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/30.jpg)
30
Del „Publica o desaparece” al „Palo y zanahoria”
![Page 31: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/31.jpg)
31
Ejemplo de indicadores relativos
http://www.scimagojr.com/countryrank.php
Isidro F. Aguillo 56 432 7.71 2 (h>=38)
Autor/Disciplina-País 2.2% 3.8% 105% 5.3%
![Page 32: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/32.jpg)
32
Rankings e indicadores compuestos
Ejercicio de
Secundaria Corta y Pega Mala
Bibliometría
Sin Indicador
Compuesto
![Page 33: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/33.jpg)
33
Ranking Web: Mission, Vision
MULTIFUENTE
Bibliometría
Altmetría
Webometría
Cobertura GLOBAL
24,000 IESs
ABIERTO
Acceso
a los Datos
a la Sociedad
a la Industria
Gobernanza
MODELO (1:1)
del
Indicador compuesto
UN RANKING
Unico reflejo de todas
las misiones
PRESTIGIO
Presencia Web es el
escaparate de toda la
Universidad
VISIBILIDAD
Impacto Web sobre
audiencias globales, diversas
y gigantescas
IMPACTO
Sobre los colegas y más allá
COMPROMISO
Proxy de la calidad en la
primera misión
APERTURA
Repositiorios institucionales
tesoro de la Universidad
EXCELENCIA
La mejor investigación
TRANSPARENCIA
Democracía, étical
INTERNACIONALIZACIÓN
Atrayendo talento
![Page 34: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/34.jpg)
34
3624
166
290
20
987
2
8311
84
3798
16
705
3
6172
209
23887
Top 500 Enero 2015
Cobertura geográfica y élite
![Page 35: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/35.jpg)
35
Fuentes del Ranking (2.0) Web
Biblio-
metría
Webo-
metría
Indicador
Compuesto
Indicador de Excelencia:
10% de trabajos más
citados en 21 disciplinas
Número de páginas web
bajo el dominio principal
ACADEMIA
MENDELEY
RESEARCHGATE
SCRIBD
SLIDESHARE
WIKIPEDIA (todas)
WIKIPEDIA (inglés)
YOUTUBE
Menciones en
SCIMAGO
Alt-
metría
MAJESTIC / AHREFS
Número de enlaces
externos y dominios de
origen de los mismos
Número de trabajos recogidos
en la bbdd bibliográfica
GOOGLE SCHOLAR
![Page 36: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/36.jpg)
36
Métricas 2.0
SUPER-PERFILES
MULTIMETRÍAS
CONTEXTUALIZACIÓN
GLOCAL=GLOBAL+LOCAL
TRANSPARENCIA
A la búsqueda del prestigio perdido
Para empezar:
Declaración de Leiden
![Page 37: Quartes Jornades sobre Gestió de la Informació …blogs.iec.cat/observatori/wp-content/uploads/sites/2/...Métricas 2.0 para una Ciencia 2.0 Isidro F. Aguillo isidro.aguillo@csic.es](https://reader034.fdocument.pub/reader034/viewer/2022042307/5ed2da37a079355bb26d98eb/html5/thumbnails/37.jpg)
37
¡Muchas gracias!
¿Preguntas?
SaCSbeoAAAAJ 124106
isidro-f-aguillo
A-7280-2008
0000-0001-8927-4873
IsidroAguillo
3481717
@isidroaguillo
6507380175