Comparación entre Rankings
de universidades e
instituciones de investigación
de Iberoamérica
Mario Fernández, Isidro F. Aguillo
José Luís Ortega, Begoña Granadino
CINDOC-CSIC. Madrid. España
Agenda
1. Rankings: Una nueva herramienta
2. Propuesta bibliométrica del grupo SCImago
3. Propuesta cibermétrica del InternetLab
4. Resultados globales
5. Análisis comparativo
6. Discusión, conclusiones y recomendaciones
1. Rankings: Una nueva herramienta
Rankings: Necesidad
 Indicadores bibliométricos son insuficientes
para descripción de escenarios
multidimensionales
 Combinación de indicadores puede ser
compleja por la heterogeneidad de los datos

Ordenes de magnitud diferentes entre artículos,
citas, patentes, autores, instituciones
 Importantes sesgos y asunciones erróneas
en las escalas con unidades agregadas


Factor de impacto esperado vs citas reales
Autoría completa vs fraccionada
Rankings: Ventajas







Posiciones relativas frente a valores absolutos
favorece la precisión frente a la exactitud
Combinación de datos de muy diferentes fuentes y
naturaleza
Re-escalado de escenarios globales y locales
Transformación de distribuciones potenciales en
lineales
Modelos teóricos y empíricos para probar número
de variables y peso relativo de cada una de ellas
Comparación inter- e intra-institucional y evolución
“Facilidad” de interpretación
Rankings: Inconvenientes
 Excesiva atención a las posiciones relativas
 Indicadores elegidos según su
disponibilidad
 Dificultad de asignar pesos a los distintos
indicadores
 Posiciones difícilmente discernibles en la
cola
 Otros artefactos estadísticos
2. Ranking bibliométricos
Antecedentes
 Producción científica medida mediante
indicadores bibliométricos son parte
principal de muchos Rankings

Datos extraídos de las bases de datos del ISI
 Academic Ranking of World Universities
(ARWU)

Producido por la Shanghai Jiao Tong University
 Times Higher Education Supplement World
University Rankings (THES)

Elaborado por QS
Ranking SCIMAGO

SCImago es un grupo de investigación interuniversitario



Universidades de Granada, Extremadura, Carlos III
(Madrid) y Alcalá de Henares
El Grupo de Investigación SCImago, junto a
Universia, publica dentro de su proyecto Atlas de la
Ciencia el Ranking Iberoamericano de Instituciones
Investigadoras RI3
El único criterio es el número de documentos
recogidos en las revistas indexadas en las bases de
datos Thomson-ISI (1990-2005)
Re-Ranking RI3
 Diez países iberoamericanos

Argentina, Brasil, Chile, Colombia, Cuba, España,
México, Perú, Portugal y Venezuela
 Universidades, centros de investigación,
hospitales, empresas


Re-ranking con datos 2000-2005
Sólo entradas con producción total mínima de 100
artículos
3. Rankings cibermétricos
Antecedentes
 Algoritmos de ordenación de resultados de
búsquedas en motores


PageRank de Google
Clave del éxito de Google
 Número de visitas a sedes Web


Alexa TrafficRank
Visitas interceptadas por el sistema. Sesgos de
cobertura
 Web Impact Factor

Resultados inconsistentes
Casos de éxito (I)
Casos de éxito (II)
Ranking Web
 El Laboratorio de Cibermetría (InternetLab) es un
grupo de investigación del CINDOC-CSIC
 El Laboratorio publica desde 2004 y con una
actualización semestral el Ranking Web de
Universidades
 El Ranking utiliza una combinación de indicadores
cibermétricos obtenidos de los principales motores
de búsqueda
Tamaño Web: Número de páginas en el dominio
 Visibilidad Web: Enlaces recibidos externos
 Ficheros Ricos: Número de documentos en
formatos .pdf, .doc, .ps y .ppt
 Artículos: Documentos recogidos por el Google
Scholar

Ranking Web (II)
 Unas 11.000 universidades y más de 5.000
centros de investigación de todo el mundo
son analizados

+10% son instituciones latinoamericanas
 Top 200: Brecha digital académica




México: UNAM (81ª del mundo)
Brasil: Sao Paulo (97ª) y Campiñas (190ª)
España: Universidad Complutense (162ª)
Centros de investigación: CSIC (33ª)
4. Resultados globales
Resultados
 Top 500 de cada uno de los rankings
independientemente


Re-ranking RI3 con datos 2000-2005
Re-ranking RW (Enero 2007) con 10 países
 Solapamiento bajo


148 (29,6%) de Top RI3 no presentes en RW
217 (43,4%) de Top RW no presentes en RI3
Universidades
Centros de investigación y otros
Hospitales
Empresas privadas
RI3
211
177
104
8
42%
35%
21%
2%
RW
344
153
2
1
69%
31%
0%
0%
Distribución Top 500
Perfil de los países
5. Análisis comparativo
Visión desde el ranking RI3
Institución
Consejo Superior de Investigaciones Científicas
Universidade de Sao Paulo
Universidad Nacional Autónoma de México
Universidad de Barcelona
Consejo Nacional de Investigaciones Científicas y Técnicas
Universidad Complutense de Madrid
Universidade Estadual de Campinas
Universidad de Buenos Aires
Universidade Federal do Rio de Janeiro
Universidad Autónoma de Barcelona
Universidad de Valencia
Universidade Estadual Paulista Julio de Mesquita Filho
Universidad Autónoma de Madrid
Universidad de Santiago de Compostela
Universidad de Chile
Universidad de Granada
Hospital Clínico y Provincial de Barcelona
Universidade do Porto
Universidade Federal do Rio Grande do Sul
Universidade Técnica de Lisboa
RI3
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
RW
7
1
2
5
221
3
4
20
21
9
11
48
24
43
8
12
1184
6
23
16
Visión desde el Ranking Web
Institución
Universidade de Sao Paulo
Universidad Nacional Autónoma de México
Universidad Complutense de Madrid
Universidade Estadual de Campinas
Universidad de Barcelona
Universidade do Porto
Consejo Superior de Investigaciones Científicas
Universidad de Chile
Universidad de Sevilla
Universidad Autónoma de Barcelona
Universidad de Valencia
Universidad de Granada
Universidade Federal de Santa Catarina
Universidad Politécnica de Madrid
Universidad Politécnica de Valencia
Universidade Técnica de Lisboa
Universidad Politécnica de Cataluña
Tecnológico de Monterrey
Universidad de Alicante
Universidad de Buenos Aires
RW
1
2
3
4
5
6
7
8
9
9
11
12
13
14
15
16
17
18
19
20
RI3
2
3
6
7
4
18
1
15
23
10
11
16
49
34
33
20
24
191
55
8
Comentarios
 Existe una gran correspondencia entre las
dos clasificaciones
 Centros muy productivos en número de
publicaciones tienen una baja presencia en
la Web

Especialmente los hospitales
 El ranking Web favorece a las
Universidades Técnicas y a las “Open
Universities” (Tecnológico de Monterrey)
Cuestiones estructurales
 Ley de los grandes números: Núcleo
significativo más amplio en el ranking
cibermétrico
 Unidades dispares: No hay dominios o
subdominios Web institucionales para ciertas
organizaciones
 Cobertura diacrónica (bibliométrica) vs
sincrónica (cibermétrica)
 Posibles sesgos: Biomedicina (ISI WoS) vs
Tecnología (Web)
Cuestiones metodológicas
 Sesgos de la bases WoK
 Cobertura de la región insuficiente
 Cobertura disciplinar (sociales, humanidades,
tecnologías) dispar
 Errores (>3%)
 Problemas de estandarización: Entradas duplicadas
 Control de calidad en la colección de datos (semi-)
automática
 Prácticas Web incorrectas



Dobles (o triples) dominios
Instituciones sin dominio propio
Sesgos de los motores de búsqueda
6. Discusión y conclusiones
Conclusiones/recomendaciones
 Los Rankings ofrecen información valiosa para el seguimiento
del desempeño de las instituciones académicas y de
investigación de la región

No hay una alternativa viable hoy en día
 Es necesaria una mayor calidad de los mismos, tanto técnica
como científica, para evitar sesgos y resultados incorrectos


Los rankings bibliométricos deben depurarse notablemente
Más instituciones deben tener presencia Web independiente
 Sin embargo, los resultados obtenidos son muy significativos y
las dos propuestas pueden combinarse para obtener escenarios
globales


La producción científica debe incrementarse en otras áreas
diferentes a la biomedicina
Existe una preocupante brecha digital académica no ligada
necesariamente a escasez de recursos económicos y/o
tecnológicos
¡Gracias!: ¿Preguntas?
Ranking Web
http://www.webometrics.info
****
Ranking RI3
http://investigacion.universia.es/isi/isi.html
Descargar

Comparación entre Rankings de universidades e instituciones