e1~11111il

INDICADORES BIBLIOMÉTRICOS EN LA EVALUACIÓN DELA INVESTIGACIÓN

BRUNO MALTRÁS (*),MIGUEL A. QUINTANILLA (")

JAVIER VIDAL (•**)

INTRODUCCIÓN

Una de las características de los pro-yectos de evaluación institucional impulsa-dos por el Consejo de Universidades enEspaña, desde el Plan Experimental de1992, es que se ha pretendido siempreadoptar una perspectiva integral en la eva-luación de la universidad, utilizando unametodología homogénea para la evalua-ción de todas sus actividades: docencia, in-vestigación y prestación de otros servicios.Esta es la razón de que en la Guía de Eva-luación que editó el Consejo de Universi-dades (1996) se incluyera un documentopreparado explícitamente para la evalua-ción institucional de la investigación en losDepartamentos e Institutos Universitarios '.La lógica interna del modelo utilizado y al-gunos de los problemas derivados de suaplicación, se tratan en otra contribuciónde este mismo volumen, por lo que no in-sistiremos aquí sobre ello. Nuestro objetivose ciñe, por el contrario, a explicar algunos

aspectos técnicos del uso de indicadores bi-bliométricos en el modelo de evaluación dela investigación que estamos comentando.

En el Protocolo de Evaluación de la In-vestigación se utilizan una serie de indica-dores cuantitativos (en buena parteinspirados en los trabajos de Vidal, 1996 yMaltrás, 1996) que permiten describir deforma sintética algunos aspectos relevantesde la actividad científica que se realiza enlos departamentos universitarios: nivel deactividad en proyectos, contratos, tesis, in-dicadores de éxito, evolución y concentra-ción de esa actividad, etc. Por otra parte seutilizan también algunos indicadores paraevaluar resultados. Entre ellos figuran losindicadores bibliométricos, a los que sólose dedican un par de tablas. Para rellenarestas tablas se pide a los Comités de Au-toevaluación que indiquen los tipos de pu-blicaciones que han realizado losmiembros del departamento durante el pe-riodo evaluado y que los clasifiquen en

(*) Universidad de Salamanca.

(") Universidad de Salamanca. Miembro del Comité Técnico del Plan Nacional de Evaluación de la Cali-dad de las Universidades.

(***) Universidad de León.

(1) El documento fue inicialmente redactado por Miguel A. Quintanilla y Javier Vidal. La versión final sebenefició de las sugerencias de los miembros del Comité Nacional de Evaluación, en especial de Miguel Valc-ár-cel y José María Luxan. Pero no se publicó de forma independiente, sino fragmentado y adaptado para poderser incluido en la Guía de Evaluación editada por el Consejo.

Revista de Educación, núm. 315 (1998), pp. 141-151

141

tres grupos (A, 13 y C) según el juicio queles merezca su nivel de calidad. Comocomplemento, en el caso de las áreas deciencias experimentales, tecnológicas y dela salud, se ha proporcionado a los comitésun listado con la clasificación de las revis-tas del SCI en tres grupos, de modo que loscomités puedan utilizar esta clasificacióncomo referencia para su propia evaluación(Quintanilla y Maltrás, 1996).

En la Guía se insiste en que la evalua-ción debe entenderse de forma comprensi-va e integral, y no reducirse al merorecuento y clasificación de publicaciones.Sin embargo, somos conscientes de que lautilización de indicadores bibliométricossuele suscitar más interés y más polémicade la que en principio cabría esperar. Porotra parte, el uso de estos indicadores en elprotocolo específico que estamos comen-tando contrasta con algunas prácticas habi-tuales en la evaluación de investigaciónque pueden desvirtuar los objetivos y lametodología utilizada en el PNECU. Final-mente la aplicación de esta metodologíaen la primera fase del Plan nos ha permiti-do detectar algunos problemas y dificulta-des que nos proponemos aclarar.

A continuación explicaremos las carac-terísticas de la clasificación en tres grupos delas revistas del SCI, las limitaciones y el al-cance que este instrumento puede tener parala evaluación institucional. Después explica-remos los intentos fallidos que hemos reali-zado para obtener un instrumento similar enel caso de las ciencias sociales y humanas.

LOS INDICADORES BIBLIOMÉTRICOSEN LAS CIENCIAS EXPERIMENTALES

Como referencia para la evaluación dela producción científica de cada comité deautoevaluación se ha elaborado una clasi-ficación de fas revistas del SCI en tres gran-eles grupos. Nos proponemos ahora exponerla metodología seguida para la elaboraciónde esta lista y explicar su alcance y sus li-mitaciones para la evaluación institucional.

Para elaborar la lista se han empleadodos fuentes de datos complementarias: elScience Citation Index y el journal cita-(ion Reports, ambas producidas por el Ins-titule for Scientific Information.

La base de datos del Science Citationíndex (SCI) cataloga anualmente más demedio millón de documentos publicadosen unas tres mil cuatrocientas revistas cien-tíficas de circulación internacional. El SCIincluye las referencias bibliográficas detodos los documentos publicados por lasrevistas que cubre, es decir, no realiza se-lección previa alguna. Tiene, además, doscaracterísticas que hacen de ella una basede datos única en cuanto a su utilidad paraestudios bibliométricos: por un lado, la ref-erencia bibliográfica de cada documentocontiene todos los autores del documentoy todas sus instituciones respectivas; porotro lado, recoge todas las citas realizadaspor cada documento que indica y dirigidasa trabajos anteriores, lo que le lleva a pro-cesar anualmente varios millones de citas.Aunque su finalidad principal es la de ofre-cer información a los propios científicos enrelación con la literatura científica mundial,desde su creación se ha constituido comola base de datos principal para la realiza-ción de estudios bibliométricos, a pesar deciertos sesgos geográficos en su coberturaque son bien conocidos. Puede asumirseque es una muestra amplia y repre-sentativa de lo que ha dado en llamarse elmain stream o corriente principal de laciencia, es decir, la ciencia con difusión yatención internacional (Vidal, 1993).

La segunda fuente de datos empleadaes el journal Citation Reports (JCR). Sucontenido es una serie de datos básicosacerca de las revistas científicas, talescomo número de documentos publicadospor cada una, número de citas recibidas,etc. así como ciertos indicadores calcula-dos sobre la base de estos datos básicos.De estos indicadores el más conocido es elllamado factor de impacto. Es importanteseñalar que en la base JCR se pueden distin-

142

guir dos grupos de revistas. Por una parteestá el conjunto de revistas que se catalo-gan en el SCI. Éstas constituyen el núcleode revistas fuente o revistas citantes, delas que se obtienen todas las referenciasbibliográficas con sus citas. Pero, por otraparte, en los informes del JCR se recogentambién aquellas otras revistas cuyos artí-culos han sido significativamente citadospor las revistas fuente pero que no estánincluidas en la base del SCI. Podemos de-nominar a este grupo como el de las revis-tas no-fuente o sólo citadas. Aunque estasrevistas no figuran en la base SCI, sin embar-go, en el JCR sí se recogen sus datos básicos,el número de citas recibidas y los indicado-res de factor de impacto, etc. (con la desven-taja de que, para estas revistas, no secomputan las citas que en ellas se hacen adocumentos publicados por ellas mismas).

El factor de impacto (FI) es la medidamás ampliamente conocida y mencionadacon relación a la importancia de las revis-tas. Sin embargo, y a pesar de su sencillez,es frecuentemente mal entendido y aplica-do. El FI es la media ponderada de citasque han recibido durante un año determi-nado los artículos publicados por una re-vista durante los dos años anteriores y queprovienen de las revistas fuente del SCL Setrata de una estimación de la atención quehan despertado los artículos de una revistay de la influencia que han podido tener enel proceso científico posterior. La estima-ción se basa en una parte de las citas tota-les que reciben los artículos, ya que sólo setoman las citas emitidas durante un año porlas revistas fuente (y se descartan las citasque han recibido o recibirán esos artículosen otros años o por otras revistas). El FI sepuede utilizar como un indicador indirectode calidad de la producción científica, pero espreciso saber cuál es su alcance, su significa-ción y sus limitaciones (Maltrás, 1996).

En primer lugar el FI es un indicadorreferido directamente a una revista científi-ca, no a los trabajos individuales publicadosen esa revista. Por consiguiente, cuando se

utiliza como un indicador de la calidad deun trabajo científico individual se puedeestar cometiendo un grave error.

En segundo lugar el FI no es propia-mente una medida de calidad científicasino de visibilidad, influencia o prestigiode una revista en el conjunto de la comu-nidad científica internacional. El hechode que se pueda emplear como un indi-cador indirecto de calidad se debe a lasprácticas que, se supone, siguen los cien-tíficos cuando publican un trabajo y loseditores cuando lo aceptan para su publi-cación. En último término estas prácticasse basan en el juicio de pares sobre la ca-lidad de cada trabajo científico y son deter-minantes del prestigio de la revista. Comonorma general, cabe suponer que una re-vista de prestigio científico tendrá unafuerza de atracción mayor sobre los auto-res que publican en su área, lo que signi-fica que aumentará la competencia parapublicar en ella, lo que a su vez conduce aelevar los estándares de rigor y calidad queaplican los evaluadores internos de la re-vista para aceptar nuevos trabajos, etc.

En cualquier caso, la aplicación indis-criminada del FI como medida objetiva de lacalidad de las revistas presenta varios pro-blemas bien conocidos. Uno de ellos es el dela dependencia respecto a las costumbres decitar de cada área científica, costumbres que,además, pueden cambiar con el tiempo. Porejemplo: el que una revista tenga un FI supe-rior a otra de otra área puede esconder elhecho de que la segunda sea la mejor desu disciplina y la primera sea una revistade nivel medio dentro de la suya.

Otro problema frecuentemente olvida-do es el de la métrica de los valores del FI:no se puede asumir sin más que si una re-vista tiene un FI doble que otra se puedapor ello valorar el doble que ésta. No hacefalta entrar en muchos detalles para com-prender este punto, pero sí puede ser útildecir aquí que las distribuciones de los va-lores del FI en las distintas áreas presentandiferencias significativas en cuanto a los

143

máximos y mínimos y también en cuanto alas diferencias y frecuencias intermedias delos valores.

Para afrontar estos problemas hemospropuesto en otras ocasiones utilizar dosindicadores normalizados de calidad, paracada área científica, basados en el FI. Setrata de los indicadores P10 (puntuacióndecílica) y VoSUP (decil superior). Ver Mal-trás y Quintanilla, 1995.

El indicador P10 se construye orde-nando todos los documentos de un áreade la base completa SCI por el factor deimpacto de las revistas en que se publican(excluidas las revistas con FI-0) y dividien-do el total en diez partes o deciles. A partirde aquí se sustituye el FI de cada revistapor la puntuación decílica que le corres-ponda (1 al decil con FI más bajo, 10 almás alto). Cuando los documentos de unarevista se distribuyen en dos o más deciles,se asigna a la revista la puntuación que lecorresponda según la proporción de docu-mentos que tenga en cada decil. Por cons-trucción de la escala, la puntuación mediapara el total de documentos de cualquierárea es 5,5 que coincide con el valor teóri-co de la mediana.

El indicador 9/0SUP representa el por-centaje de documentos de un grupo que seincluyen en el decil 10 de la producciónmundial de la correspondiente área cientí-fica. Se puede interpretar como un indica-dor del nivel de excelencia.

La clasificación de revistas del SCI quehemos realizado para el PNECU se basa enestos indicadores. Para construirla parti-mos de la clasificación en áreas científicasde las revistas del SCI (en torno a 140 áreasdiferentes, aunque el número puede variarsegún los años), y distribuimos las revistasde cada área en tres grupos, según el FI yel número de documentos publicados por

cada revista, de acuerdo con los siguientescriterios:

1. El primer grupo (A) contiene las re-vistas con un FI más elevado dentro de suárea, hasta completar el 10% del total delos documentos del área (10>-P10>9).

2. En el segundo (B) se incluyen lasrevistas con más impacto de las restanteshasta completar otro 40% de los documen-tos del área (9>=P10>5).

3. El tercer grupo (C), constituido porel resto de las revistas del área indizadaspor el SCI, suma el 50% de los documentospublicados en las revistas con menor FI(5>=P10>=1).

4. Cuando una revista pertenece a va-rias áreas científicas (lo que ocurre en lacuarta parte de la base, aproximadamente)y no coincide en todas ellas el grupo alque se asigna siguiendo los criterios ante-riores, se la incluye en el grupo con FI máselevado.

Esta clasificación inicial la realizamoscon los datos del factor de impacto corres-pondientes a los años 1992, 1990 y 1988.Para confeccionar la lista final se añadió elsiguiente criterio complementario:

5. Si a una misma revista le corres-ponden grupos diferentes en distintos pe-riodos, se incluye en el grupo con factorde impacto más elevado.

Una vez establecidos los grupos de re-vistas, la evaluación de un determinadodepartamento se realiza identificando laproporción de documentos que los investi-gadores del departamento publican en lasrevistas de cada grupo durante el periodoconsiderado. El grupo A se puede interpre-tar como un grupo de excelencia, que con-tiene como mínimo 2 el 10 % superior de

(2) 1.a precisión no puede ser absoluta, ya que la escala utilizada puede ser demasiado -gruesa- en algu-

nas áreas con un número reducido de revistas científicas y, por otra parte, los criterios 4 y 5 utilizarlos hacen

que los grupos superiores scan en la práctica algo más numerosos que lo que correspondería a una aplicaciónestricta de los criterios de la puntuación P10.

144

A 10

9

8

7

6

Distribución de artículos y revistas por factor de impactoÁrea de Química Orgánica

40

C 50

100.000100

E

-oo

5

I.000 10.000

cada área en la producción mundial; si un do-cumento concreto se clasifica como de grupoA significa que aproximadamente el 90 % delos documentos del área han aparecido enrevistas con un FI menor que la suya. En elcaso del grupo B, significa que aproxima-damente el 50 % de las publicaciones delárea están en revistas con menor FI. El gru-

po C incluye al resto de las publicaciones.La estimación de la calidad de un departa-mento cualquiera se realiza a partir delanálisis de la distribución de sus publica-ciones en esos tres grupos. En el gráfico sepuede observar la distribución correspon-diente a las 28 revistas del área de QuímicaOrgánica del SCI en 1992.

Total acumulado de documentosCada punto representa una revista diferente

El uso de esta lista de referencia paraevaluar la calidad de la producción científicade un departamento o de una institución tieneventajas, pero también limitaciones. Entre lasventajas, podemos señalar las siguientes:

• Se simplifica mucho el proceso deevaluación y se posibilita su realiza-ción por parte de los propios agentesinteresados. Éstos no han de disponerde un entrenamiento específico en téc-nicas bibliométricas. El único dato

que hay que manejar es el nombre delas revistas en las que se ha publicadola producción científica de un departa-mento en el periodo considerado.

• Facilidad en la interpretación. La inter-pretación es sencilla, sitúa la producciónde cualquier institución en relación conla producción mundial del área y con lade cualquier otra institución.

• Fiabilidad. Se pueden comparar di-rectamente diversos grupos dentrode una institución o diferentes insti-

145

tuciones. Los resultados son homo-logables y significan lo mismo entodas partes.

No obstante, el procedimiento tam-bién tiene sus limitaciones, que deben te-nerse en cuenta. En especial las siguientes:

• La lista se ha confeccionado sobrela base de los FI correspondientesal periodo 1988-1992. Aunque laclasificación es bastante estable, amedida que el periodo analizado sealeje de estos años de referencia, laclasificación será menos fiable. Paraevaluaciones futuras debe actuali-zarse la lista hasta cubrir por lo me-nos el bienio anterior al último añoevaluado.

• Para que los resultados de la eva-luación sean significativos, se nece-sita que la producción científica deldepartamento evaluado en el perio-do considerado supere un númeromínimo (nosotros útilizamos 15 do-cumentos como límite mínimo).

• En la interpretación no debe olvi-darse que lo que se evalúa con estoscriterios no es la calidad intrínseca dela producción científica de uno o va-rios investigadores, sino más bien laposición de la institución o grupo(departamento, área de conoci-miento, universidad, país, región,etc.) en la comunidad científica in-ternacional.

• Sólo se utilizan las revistas indiza-das por el SCI, no todas las queaparecen en el JCR. Se supone queaquéllas son suficientemente repre-sentativas de cada área científica yque añadir más ítems no haría va-riar drásticamente el resultado de laclasificación, puesto que, por lo ge-neral, la base SCI incluye las revis-tas con más impacto de cada área.Sin embargo, en ocasiones puedesuceder que alguna de las revistas

que figuran en el JCR con un FI elevadodentro de su área (y que sean reconoci-das corno importantes) no sea indizadapor una u otra razón en la base SU.

• Debe tenerse en cuenta tambiénque el grado de cobertura de la pro-ducción científica española por elSCI es muy diferente según lasáreas científicas. Por eso en la eva-luación institucional debe utilizarsela clasificación de las revistas SCIcomo una referencia, pero no comoel único instrumento de evaluación.

Aparte de estas limitaciones, que pode-mos considerar genéricas para cualquierproceso de evaluación que utilice indicado-res bibliométricos, existen algunos otras pro-blemas específicas que debemos comentar.

• La cobertura del JCR y del SCI 'debe-ría ser inclusiva, pero en la prácticaalgunas revistas del SCI no pudimoslocalizarlas en el JCR (alrededor de50 para todo el periodo). Esto pudodeberse a los cambios de título y deabreviatura, pero también a algúnfallo de cobertura de la base en laversión CDROM que utilizamos.

• En un caso particular se produjouna curiosa confusión en las abre-viaturas de las revistas: la abreviaturaACTA MATH DURJSHOLM corres-pondía a la revista Acta Matbetnatica(la abreviatura es más larga que elnombre completo), mientras ACTAMATH correspondía a Acta Matbe-?platica Hungarica. Las personasencargadas de volcar los datos in-tercambiaron esas revistas y la pri-mera, de reconocida calidad y conun elevado FI, pasó a figurar en ungrupo inferior. Este error fue detec-tado durante la aplicación por ex-pertos, aunque por suerte afectabaa un solo documento español pu-blicado en esa revista durante todoel período analizado.

146

Globalmente pensamos que el uso dela lista de revistas SCI clasificadas en tresgrupos, ha resultado útil en los procesosde evaluación institucional de las universi-dades que se han centrado en departamen-tos de ciencias experimentales. Así lo hanentendido muchos comités de autoevalua-ción, aunque ha habido también bastantesdesviaciones en el uso de este instrumen-to. Las dos desviaciones más comunes hanconsistido o bien en aplicar mecánicamen-te la clasificación SCI sin entrar en más de-talles o bien —lo que todavía es peor— enaplicar directamente el FI para obtener unlistado organizado de la producción cientí-fica de todos los departamentos de unauniversidad. En nuestra opinión la actitudcorrecta consiste, como hemos dicho, enusar esta clasificación como una referen-cia para la evaluación, siendo conscientesde todas sus limitaciones y sabiendo apre-ciar, en su justo término, sus indudablesventajas.

LOS INDICADORES BIBLIOMÉTRICOSEN CIENCIAS SOCIALES, JURÍDICAS YHUMANIDADES

Si los criterios de calidad de las publi-caciones generan problemas en su aplica-ción a determinadas áreas de las cienciasnaturales, muchos más problemas surgenen las ciencias sociales, jurídicas o humani-dades.

Al igual que para el resto de las áreas,sólo las bases de datos del ¡SI (Institu te forScientific Infornzation) disponen de indi-cadores de calidad de las publicacionesbasados en citas. El ISI dispone de unabase de datos de ciencias sociales, SSCI(Social Science Citat ion hzdex), y otra dehumanidades, A&HCI (Arts & HumanitiesCitation Index). Pero la imposibilidad deutilizar estas bases de datos como criteriode calidad se apoya en el hecho de que norecogen de forma suficiente los trabajos

publicados por investigadores españolesen estas áreas. Para ilustrar esta idea sepuede señalar que mientras el SCI recoge4.969 documentos de la Universidad deBarcelona para el período 1980-1990, elSSCI recoge tan sólo 192, y el A&HCI 171(Bellavista, 1993). Y si tenemos en cuentaque esta universidad tenía más de 2.000profesores en Ciencias Sociales, Jurídicas yHumanidades en ese periodo, se puedededucir que estas bases de datos sólo reco-gen una pequeña parte de lo publicado enestas áreas.

Otra diferencia importante que existeentre estas áreas y las áreas experimentalesy naturales es el tipo de documentos quese publican. Si bien es cierto que la mayorparte de los documentos se pueden clasifi-car en las categorías habituales (artículo,libro, volumen colectivo o actas de con-greso) en muchas ocasiones hay dificulta-des para distinguir entre publicaciones deinvestigación, docentes o de divulgación.Por ejemplo, en el ámbito de las cienciasjurídicas, existen numerosas publicacio-nes, algunas de ellas diarias, en dondepueden aparecer desde estudios impor-tantes a breves comentarios sobre senten-cias o leyes. En las distintas áreas defilología, la publicación de una traducción,edición o adaptación de un texto puedeser parte de una gran labor académica o deinvestigación.

A pesar de este conjunto de dificulta-des conocidas, el Comité Técnico del PNE-CU nos encargó que exploráramos laposibilidad de obtener una clasificación demedios de publicación (revistas y editoria-les) en los distintos ámbitos de la CienciasSociales, Jurídicas y Humanidades. Se in-tentaba que pudiera servir en estas áreascomo referencia equivalente a la lista delSCI en las áreas de ciencias, utilizandocomo fuente primaria para esta clasifica-ción los resultados de la 6' evaluación delprofesorado universitario (1994) que reali-zó la Comisión Nacional Evaluadora de laActividad Investigadora (CNEAI) en los

147

campos 07 al 11. Estos campos son los co-rrespondientes a las ciencias sociales, jurí-dicas y humanidades (Vida! y Quintanilla,1996).

Por motivos de confidencialiclad, sinembargo, la CNEAI sólo nos pudo facilitar larelación de las publicaciones (sólo el nombrede la revista o la editorial de cada registro)presentadas como mérito por los investigado-res en su solicitud para obtener un tramo deinvestigación, indicando para cada ítem si co-rrespondía a una solicitud concedida o dene-gada. No se pudo contar, por lo tanto, ni conel nombre del autor, ni con el área de conoci-miento o campo científico al que pertenecía.Por consiguiente, la única información rele-vante de que se podía obtener era el númerode veces que una determinada revista o edi-torial figuraba en solicitudes de tramosconcedidos y denegados.

Los datos informatizados facilitadospor la CNEAI se encontraban en formatotexto, por lo que fue necesario realizar lastransformaciones correspondientes paraconvertirla en una base de datos que final-mente incluyó 7.709 registros con los si-guientes campos:

• Nombre de la publicación (revista,editorial, etc.).

• Tipo de publicación (revista, edito-rial comercial, entidad responsablede la publicación cuando no es unaeditorial comercial, acta de congre-so, otros).

• Atributo -concedida. o «denegada.de la solicitud de evaluación en laque se incluyó ese ítem.

En la siguiente tabla se recoge el resu-men de la información contenida en la base.

TIPOÍTEMS CORRESPONDIENTES A TRAMOS TOTAL

ÍTEMSDIFERENTESCONCEDIDOS DENEGADOS TOTAL

Acta 73 101 174 160

Editorial 1.630 622 2.252 669

Entidad 1.703 810 2.513 632

Revista 1.956 810 2.766 1.280

Otros 2 1 3 4

Total 5.365 2.344 7.709 2.745

Se han realizado varias pruebas paraencontrar un indicador que permitiese re-alizar una clasificación en tres grupos equi-valente a la realizada con el SCI, explicadaanteriormente. El supuesto básico es queaquellas revistas, editoriales, etc. en que apa-recen con mayor frecuencia publicacionesde investigadores cuyas solicitudes han sidoevaluadas positivamente pueden considerar-se en principio de mayor calidad.

Para obtener una clasificación en tresgrupos se ha calculado, por una parte, elporcentaje de tramos concedidos a una pu-blicación sobre el total de tramos concedi-dos para su tipo de publicación (p.c.,

revistas) y, por otra parte, el mismo por-centaje para los tramos denegados. El indi-cador final utilizado ha sido la diferenciaentre ambos porcentajes, que hemos lla-mado Difer.

Se han probado distintos procedimien-tos para establecer estadísticamente losgrupos buscados, pero sin ningún resulta-do válido. Por ejemplo, al aplicar un análi-sis de clusters basado en las diferencias demedias da como resultado un grupo A de849 revistas y un grupo B de 383, siendosignificativas las diferencias entre los gru-pos. Sin embargo, este resultado no esadecuado a los objetivos buscados.

148

una distribución normal. Los criterios parala asignación cle grupos son los si-guientes:

Como alternativa, se probaron dosnuevos criterios, teniendo en cuenta quela distribución del indicador utilizado es

CRITERIO!

GRUPO Criterios de asignación

A Difer > media + a

13 Media + a < - Difer - > media a

C Resto

CRITERIO IIA Difer > media + a

13 Media + a < - Difer - > media

C Resto

Utilizando estos criterios, se hizo unanálisis con detenimiento de las publicacio-nes del tipo REVISTA, dado que son las que

más garantías ofrecen a priori (mayor nú-mero de ítems y mayor consistencia). Los re-sultados para este tipo han sido los siguientes:

N.' DE REVISTAS CRITERIO I

CRITERIO II 1 2 3 TOTAL %

1 64 0 0 64 5%

2 0 784 0 784 61%

3 0 332 100 432 34%

Total 64 1.116 100 1.280 100%

% 5% 87% 8% 100%

Las distribuciones obtenidas parecenencontrarse dentro de los márgenes de loesperable y el análisis de la varianza dacomo resultado diferencias significativasentre los grupos. Sin embargo, no pode-mos considerar el resultado satisfactoriopara nuestros objetivos. Hay dos razonespara esta conclusión:

En primer lugar, la imposibilidad dedistinguir entre campos científicos, combi-nada con el tipo de distribución que he-mos obtenido, resulta fatal para nuestrospropósitos. En efecto, los ítems del grupoA (5 % del total) pertenecen todos a un re-ducido número de áreas científicas, de ma-nera que la clasificación no nos permitiríadiscriminar niveles de calidad en la mayo-ría de las especialidades de las ciencias so-ciales y las humanidades.

Por otra parte, los datos que tenemosrespecto a la distribución de los tramosconcedidos y denegados por grandes áreascientíficas nos hacen sospechar que paraconseguir nuestros objetivos deberíamos dis-poner de información referida a varios añosy convocatorias. En efecto, como puedecomprobarse en la Tabla I, se producengrandes variaciones entre la convocatoriaanalizada y la anterior en el porcentaje de so-licitudes denegadas y concedidas, por unaparte, y entre los distintos campos, por otra.

CONCLUSIONES

Consideramos que los indicadores bi-bliométricos pueden ser un instrumentoútil para la evaluación institucional de la

149

TABLA IDatos de dos convocatorias de la evaluación de la actividad investigadora.

CNEA1, 1996

SOLICITANTES TRAMOS

CAMP(> CONCEDIDOS CON. PARCIAL DENEGADOS % !ANEGADOS SOLICITADOS CONCEDIDOS %CONtIllali

5." evaluación 1993

7 237 12 98 39,36% 394 277 70,30%

8 93 14 55 51,40% 187 112 59,89%

9 169 5 30 17,24% 245 202 82,45%

10 200 12 70 33,02% 313 231 73,80%

11 168 8 117 66,48% 311 182 58,52%

Total 867 51 370 40,31% 1.450 1.004 69,24%

6." eval ¡ación 1994

7 307 9 238 75,32% 586 323 55,12%

8 207 6 119 55,87% 359 227 63,23%

78,30%9 243 3 75 30,49% 364 285

10 269 7 102 36,96% 405 286 70,62%

11 419 15 109 25,12% 584 453 77,57%

Total 1.445 40 643 43,30% 2.298 1.574 68,49%

Diferencias entre las dos convocatorias

% SOLICITUDES DENEGADAS % TRAMOS CONCEDIDOS

CAMPO 93 94 94-93 93 94 94-93

7 39,36% 75,32% 35,96 70,30% 55,12% -15,19

8 51,40% 55,87% 4,47 59,89% 63,23% 3,34

9 17,24% 30,49% 13,25 82,45% 78,30% -4,15

10 33,02% 36,96% 3,94 73,80% 70,62% -3,18

11 66,48% 25,12% -41,36 58,52% 77,57% 19,05

Total 40,31% 43,30% 2,99 69,24% 68,49% -0,75

investigación. Pero debe ponerse el máxi-mo cuidado en que se utilicen correcta-mente evitando tanto simplificacionesexcesivas como inútiles refinamientos meto-dológicos que hacen impracticable su aplica-ción por los comités de autoevaluación.

La clasificación de las listas del SCI entres grupos de acuerdo con los criterios ex-

puestos cumple todas las condiciones paraser un buen instrumento para la evalua-ción institucional. Pero no debe usarse nipara evaluar la actividad científica de losinvestigadores individuales ni para reducirla evaluación institucional a un simple cál-culo automático de porcentajes de publica-ciones en cada grupo. Por el contrario hay

150

que insistir en que sólo se trata de una refe-rencia para la evaluación interna de la propiainstitución. Además, debe tenerse en cuentasiempre el hecho de que en determinadasáreas científicas la base SCI puede no ser tanrepresentativa corno en otras. En todo casola lista debe actualizarse periódicamente.

Un caso especial es el amplio grupo delas Ciencias Sociales y Humanidades que enconjunto suponen más de la mitad del siste-ma universitario español, pero que no sepueden considerar, en modo alguno, bienrepresentadas en las bases de datos interna-cionales del ISI. Los intentos realizados hastael momento para construir un sistema de ref-erencia para evaluación de la calidad en estecampo hay que considerarlos fracasados. Enel caso concreto que hemos expuesto, laconclusión es que la clasificación obtenidano tenía las garantías suficientes para ser uti-lizada dentro del Plan Nacional de Evalua-ción de la Calidad de las Universidades,siendo los motivos fundamentales el no ha-ber podido separar la información por cam-pos científicos y el disponer de una solaconvocatoria. No debe olvidarse la repercu-sión que una clasificación de este tipo ten-dría en todos los ámbitos, lo que exige lasmáximas garantías en su elaboración.

Las dificultades para la elaboración deuna clasificación del tipo de la aquí pro-puesta y la necesidad que existe de dispo-ner de ella, nos lleva a sugerir que se inicielo antes posible el estudio con las condicionesnecesarias para poder hacerla con las garantíasque requiere algo que vaya a tener gran reper-cusión. Para ello, se pueden utilizar el mismotipo de datos analizados en este informe, perocon una distinción de campos suficientementedesagregada y con 263 convocatorias diferen-tes. Se sugiere así mismo que, se utilice un pro-cedimiento de validación externa por parte delos expertos en distintas materias. Así mismo,el propio PNECU puede ser un excelente sis-tema de validación a corto plazo.

BIBLIOGRAFÍA

BELLAVISTA, J. et al.: Política científica y tec-nológica. Evaluación del I+D en laUniversitat de Barcelona. Barcelona,Universitat de Barcelona, 1993.

COMISIÓN NACIONAL EVALUADORA DE IA ACTI-VIDAD INVESTIGADORA: Seis años de eva-luaciones. Madrid, MEC, 1996.

CONSEJO DE UNIVERSIDADES: Guía de Evalua-ción del Plan Nacional de Evaluación dela calidad de las Universidades. Madrid,Consejo de Universidades, SecretaríaGeneral, 1996.

MALTRÁs, B.: Los indicadores bibliométricosen el estudio de la ciencia. Fundamentasconceptuales y aplicación a la políticacientífica. Tesis de doctorado. Salaman-ca, Universidad de Salamanca, Facultadde Filosofía, Departamento de Filosofía,Lógica y Filosofía de la Ciencia, 1996.

MALTRÁS, B. y QuiNrrANiuA, M. A.: Spain In-dicators on Scientific Production,1986-1991. Madrid, CSIC, 1995.

QuirrrANILLA, M. A. y MALTRÁS, B.: Lista derevistas SCI. Programa Nacional deEvaluación Institucional de las Univer-sidades. Madrid, Consejo de Universi-dades (1996).

VIDAL, J.: «El Science Citation Index y laevaluación de la investigación en lasuniversidades». Política Científica, 37,pp. 57-59, 1993.La caja gris. Microanálisis de la activi-dad investigadora, su gestión y evalua-ción en una institución universitaria.Estudio del caso de la Universidad deLeón. Salamanca, Ediciones Universi-dad de Salamanca, 1996.

VIDAL, J. y QUINTANILLA, M. A.: Clasifica-ción de las publicaciones en las áreasde ciencias sociales y humanidades.Informe al Consejo de Universidades,septiembre, 1996.

151