La evaluación de revistas y los
indicadores bibliométricos
La edición de publicaciones académicas
Instituto de Investigaciones en Humanidades y Ciencias Sociales (UNLP-CONICET)
Facultad de Humanidades y Ciencias de la Educación, Universidad Nacional de la Plata
5 de diciembre de 2013
Zaida Chinchilla-Rodríguez
SCImago Research Group – IPP - CSIC
Objetivos
• Describir la presencia y visibilidad de la
investigación argentina en Scopus y sus
características
• Estrategias para mejorar la visibilidad, difusión
y los criterios para homologarse a estándares
internacionales
• La función y utilidad de los indicadores en el
diagnóstico y seguimiento del proceso de
calidad editorial
hppt://www.scimagojr.com
Ciencias Sociales en Scopus
MEX
ARG
CHL
COL
CUB
VEN
PRT
BRA
2011
2010
2009
2008
2007
2006
2005
2004
2003
2002
2001
2000
1999
1998
1997
1996
México, Argentina, Chile, Colombia, Cuba,
Venezuela y Portugal
80
400
70
350
60
300
50
250
40
200
30
150
20
100
10
50
0
0
ESP
Brasil y España
Incorporación de revistas
iberoamericanas en Scopus
Efectos de la incorporación en bases de
datos internacionales en la visibilidad
Evolución del SJR y la colaboración internacional
Revistas argentinas de Ciencias Sociales
SCImago Journal & Country Rank (SJR)
Lengua de publicación y citas por documento
La investigación argentina en Scopus. Citas
en revistas nacionales e internacionales
Estrategias para mejorar la
visibilidad, difusión y los criterios
para homologarse a estándares
internacionales
Artículos y revistas a nivel mundial
Situación de las revistas nacionales
Diagnóstico: Infra-representación de las revistas
nacionales
• Predominan las publicaciones de carácter
institucional o generadas por un pequeño
colectivo?
• Gestión poco eficaz (prácticas endogámicas)?
• Escaso impacto?
• Calidad insuficiente?
• Poca competencia en el mercado internacional?
• Reticencias al uso del inglés?
• Baja profesionalización de los equipos
editoriales?
• Falta de regularidad de la publicación?
• Pobre distribución?
• Escaso control científico de los contenidos?
Evaluación de revistas españolas. FECYT 2008
12.000 revistas invitadas
275 revistas inscritas
226 revistas
186 revistas
136 revistas
87 revistas
33
Solicitantes de evaluación formal
Devolvieron la documentación
requerida
Superación 1ª fase  Criterios
formales
Superación 2ª fase arbitraje externo,
originalidad
Superación 3ª fase  Evaluación de
Expertos
Criterios de evaluación de revistas por parte
de las bases de datos internacionales (%)
• Procesos editoriales: evidencias sobre la forma en que se testan y
mejoran la comunicación de sus contenidos
•
•
•
•
•
•
Puntualidad y regularidad de publicación
Calidad de los títulos, resúmenes y palabras clave (español-inglés)
Instrucciones para los autores
Métodos de selección de artículos (% aceptación y rechazo)
Peer review (no endogámico)
Actualidad de las referencias bibliográficas y su procedencia (bases de
datos donde están indizadas)
• Calidad de la producción gráfica
• Utilización de un orden de prioridad de publicación: 1) Artículos de
investigación original 2) Revisiones críticas 3) Descripción de evaluaciones,
métodos o procedimientos 5) Estudios de casos con discusión
• Contenidos de investigación: importancia, originalidad y contribución a
la cobertura del campo
Indicadores formales
•
•
•
•
•
•
•
•
•
•
•
Cumplimiento de la periodicidad
ISSN
Sumarios
Resúmenes y palabras clave en dos idiomas
Fecha de recepción y aceptación de originales
Membrete bibliográfico
Referencia bibliográfica completa al principio del artículo (estándares
internacionales)
Alusión a los derechos de copia y reproducción
Afiliación institucional de los autores y de los miembros del consejo de
redacción y consejo asesor (estándares internacionales)
Instrucciones a los autores
Declaración de objetivos, tema y público
Cómo citar este artículo
Revistas CSIC - Guía de buenas prácticas
1. Equipos editoriales de las revistas CSIC
1.1. Imparcialidad
1.2. Objetividad
1.3. revisión de los trabajos
1.4. Aceptación o rechazo de manuscritos
1.5. Desautorización y noticias de irregularidad
1.6. Aplicación de las normas del Consejo de Redacción
1.7. Normas de autoría
1.8. Conflicto de intereses
2. Sobre la autoría de los artículos de revistas del CSIC
2.1. Normas de publicación
2.2. Originalidad y plagio
2.3. Autoría de los trabajos
2.4. Fuentes de información
2.5. Errores significativos en trabajos publicados
2.6. Conflicto de intereses
3. La evaluación de trabajos de revistas científicas
3.1. Confidencialidad
3.2. Objetividad
3.3. Prontitud de respuesta
3.4. Reconocimiento de las fuentes de información
3.5. Conflicto de intereses
How to… diseminate your work
Indicadores de gestión editorial
• Existencia de consejo de redacción y consejo
asesor
• Revisión por expertos (no endogámico)
• Agilidad en los procesos de evaluación y
publicación
• Apertura editorial
• Apertura de las contribuciones
Revistas argentinas de Ciencias Sociales en
Scopus
Revista
Consejo de redacción
Nacionales Extranjeros
Intersecciones en Antropologia
4
0
Synthesis
2
0
Arqueologia
8
0
Estudios Migratorios Latinoamericanos
Mundo Agrario
3
3
Anclajes
18
1
Informacion, Cultura y Sociedad
4
0
Quinto Sol
18
0
Comité Asesor Científico
Nacionales
5
0
2
3
5
10
Panel de revisores
Extranjeros Nacionales
12
0
8
10
18
4
10
9
7
-
Extranjeros
9
5
9
-
Indización
7
13
3
5
11
17
21
8
Publisher
Universidad Nacional del Centro de la Prov
Universidad Nacional de La Plata
Facultad de Filosofia y Letras, Universidad
Centro de Estudios Migratorios Latinoamer
Universidad Nacional de La Plata
Instituto de Analisis Semiotico del Discurso
Instituto de Investigaciones Bibliotecologic
Universidad Nacional de La Pampa
Indicadores de difusión y visibilidad
•
•
•
•
•
•
Presencia en bases de datos y directorios
Presencia en repositorios
Presencia en hemerotecas digitales
Posicionamiento en buscadores
Sindicación de contenidos
Oferta de alertas para nuevos sumarios u otros
servicios
• Páginas web funcionales con servicios y
conexiones adicionales
Contactos post-publicación con el autor
How to… diseminate your work
Noticias
http://p5trr.emv2.com/LP/Uttl22w2Pfm?utm_campaign=3322053&utm_content=7389899729
&utm_medium=BMCemail&utm_source=Emailvision
http://en.mincyt.gob.ar/news/the-law-on-open-access-to-scientific-information-was-approved-9320
La función y utilidad de los indicadores
en el diagnóstico y seguimiento del
proceso de calidad editorial
Indicadores de impacto, uso y consumo
• Factor de impacto y prestigio
– Journal Citation Reports – ISI - Thomson Reuters
– SCImago Journal Rank – Scopus - Elsevier
– Google Scholar Metrics
• Indicadores de uso
– Journal Usage Factor – Counter
• Métricas alternativas
– Altmetrics. com
– Impact Story
Factor de impacto – JCR
• Pros+:
– Tiene en cuenta las citas totales pero no toda la tipología
documental en el cálculo
– Cálculo sencillo
– Interpretación.
– Popular.
• Contras-:
– No está normalizado
– Ignora la calidad de la citación:
• Prestigio de la revista.
• Diferentes patrones de citación en los distintos campos temáticos.
– Ventana de citación corta
– Desacuerdo con la percepción de los investigadores.
PageRank
• Pros+:
– Tiene en cuenta la citación total.
– Tiene en cuenta la calidad de la citación.
• La calidad de la revista citante por el PR.
• El número de referencias de la revista.
– Buenos resultados en su uso por Google.
– Rapidez en el cálculo.
– Refleja la influencia y el prestigio de la revista.
• Con-:
– No usa una ventana de citación.
– Ignora el número de artículos publicados por una revista.
SCImago Journal Rank - Scopus
S JR i 
•
•
•
•
•
P Ri
A rt i
Ventana de citación de 3 años.
Arti – Número de artículos publicados en la ventana de citación.
Emplea distintas ponderaciones según el tipo de citación (auto-citación, citación
de otros campos temáticos, etc).
Refleja el prestigio de la revista.
Acuerdo con la percepción de los especialistas en estudios recientes.
Economics
Title
AM ECON REV
J FINANC ECON
Q J ECON
ECONOMETRICA
J POLIT ECON
J PUBLIC ECON
J ECONOMETRICS
REV ECON STAT
REV ECON STUD
J MONETARY ECON
J ECON PERSPECT
J ECON THEORY
ECON J
ECON LETT
J INT ECON
WORLD DEV
GAME ECON BEHAV
INT ECON REV
J ECON LIT
EUR ECON REV
J HEALTH ECON
J DEV ECON
HEALTH ECON
J FINANC QUANT ANAL
J LABOR ECON
ECOL ECON
RAND J ECON
J ENVIRON ECON MANAG
J URBAN ECON
APPL ECON
ECON THEOR
INT J IND ORGAN
AM J AGR ECON
SJR Rank SJR
8,47
1
6,22
2
5,66
3
5,02
4
4,63
5
3,38
6
3,11
7
3,05
8
2,90
9
2,90
10
2,69
11
2,64
12
2,53
13
2,29
14
2,20
15
2,06
16
1,87
17
1,82
18
1,82
19
1,64
20
1,53
21
1,51
22
1,43
23
1,38
24
1,37
25
1,33
26
1,31
27
1,28
28
1,27
29
1,26
30
1,23
31
1,18
32
1,17
33
IF
Rank IF
1,81
13
2,39
7
4,78
1
2,63
5
2,25
8
1,10
33
1,58
18
1,52
21
2,04
11
1,66
16
2,63
4
0,91
43
1,44
23
0,38
103
1,67
15
1,50
22
0,77
54
1,28
25
4,05
2
0,96
41
2,71
3
0,87
44
1,92
12
1,00
37
1,28
26
1,18
30
1,22
29
1,53
20
0,82
50
0,30
115
0,40
99
0,62
70
0,97
40
Title
J APPL ECONOM
J HUM RESOUR
APPL ECON LETT
J COMP ECON
INT J FORECASTING
J ECON GROWTH
ECON EDUC REV
REV INT POLIT ECON
ECONOMET THEOR
PUBLIC CHOICE
WORLD ECON
ECON INQ
J IND ECON
SCAND J ECON
OXFORD B ECON STAT
J ECON PSYCHOL
CAMBRIDGE J ECON
ENERG ECON
J ECON HIST
LABOUR ECON
J MATH ECON
J RISK UNCERTAINTY
SOC CHOICE WELFARE
MATH FINANC
J REAL ESTATE FINANC
SMALL BUS ECON
NATL TAX J
J REGUL ECON
FUTURES
J POPUL ECON
REAL ESTATE ECON
WORLD BANK ECON REV
OXFORD REV ECON POL
BROOKINGS PAP ECO AC
SJR Rank SJR
1,15
34
1,00
35
0,88
36
0,83
37
0,83
38
0,81
39
0,77
40
0,72
41
0,71
42
0,67
43
0,65
44
0,64
45
0,63
46
0,61
47
0,60
48
0,59
49
0,56
50
0,54
51
0,54
52
0,54
53
0,53
54
0,52
55
0,52
56
0,52
57
0,51
58
0,51
59
0,50
60
0,48
61
0,47
62
0,46
63
0,45
64
0,45
65
0,44
66
0,44
67
IF
Rank IF
0,83
48
1,07
35
0,23
126
1,09
34
0,75
57
2,58
6
0,50
91
0,78
52
0,76
56
0,50
90
0,75
58
0,72
61
0,55
79
0,62
69
0,65
65
0,85
46
0,77
55
0,56
77
0,53
81
0,53
83
0,39
100
2,10
10
0,28
119
1,35
24
0,47
93
0,53
84
0,84
47
0,40
98
0,38
105
0,56
78
0,45
95
1,27
27
0,72
62
2,12
9
Google Scholar Metrics
Journal Usage Factor
Almetrics.org
altmetrics: a manifesto
Nuevas plataformas y herramientas
• Bases de datos
internacionales
– Scopus y Web of Science
• Redes sociales
– Facebook y Twitter
• Redes sociales académicas
– Academia.edu
– ResearchGate
– Mendeley
• Perfiles bibliográficos
– Google Citations
– MS Academic Search
Altmetrics.com
Almetrics – Métricas alternativas
• Medidas generadas a partir de las interacciones de los usuarios con
materiales generados por los propios investigadores
–
–
–
–
–
Presencia en redes académicas
Número de veces que un trabajo se marca como favorito (bookmarking)
Número de veces que ha sido añadido a una colección bibliográfica
Menciones en blogs y medios de comunicación
Número de retwits…
• Fortalezas:
–
–
–
–
–
Aporta una dimensión distinta a la bibliometría convencional
Impacto social de la investigación científica
Proporcionan datos a nivel artículo (documento)
Proporcionan datos en tiempo real de la repercusión de la investigación
Especie de revisión por pares colectiva posterior a la publicación
• Debilidades:
– Son muy recientes
– Problemas de normalización para la recuperación de la información
– Disponibilidad de datos
http://blogs.lse.ac.uk/impactofsocialsciences/2013/07/26/a-to-z-of-social-media-for-academia/
Fuente: Borrego, A. Altmetrics: altres mètriques per mesurar l'impacte de la informació
científica. Jornada Tendències i models en l'edició de revistes científiques. Barcelona, 18 de
abril de 2013
Altmetrics en el Repositorio Digital.CSIC
Decálogo de buenas prácticas
1. Lo que no se cita no existe – publicaciones invisibles
consumen recursos sin cumplir una misión estratégica
2. Hay que publicar menos y mejor – Fusión, co-edición y reestructuración de revistas
3. Internacionalización en contenidos y panel de revisores
4. Buena dirección como elemento clave, marcar agenda de
contenido, relación con autores y revisores.
5. Proceso editorial de la revista como proyecto competitivo
de investigación internacional
6. Profesionalizar la edición (estándares internacionales)
7. Promoción y difusión de los contenidos desde la revista y
por los autores
8. Páginas web funcionales con servicios y conexiones
adicionales
9. Seguimiento de contenidos y evaluación sistemática
10. Promoción – Exposición en stand, etc…. Marketing para
captar la mayor audiencia posible
Conclusiones
• No se trata "sólo de estar" sino de "cómo se está"
• Los editores disponen hoy de una gran variedad
de indicadores y herramientas para monitorizar la
repercusión de las publicaciones, aumentar la
visibilidad de sus revistas y por ende de los
conocimientos producidos por los autores que
publican en ellas.
“Tiene que preocupar que las universidades, el CSIC
y las sociedades científicas sostengan tantas
revistas que entierran trabajos, puesto que no
son conocidos ni citados… Desafortunadamente,
con ellos también se entierran los dineros
públicos y el prestigio del investigador. Ni el
idioma ni la especifidad del tema son excusa.”
Antonio Guillamón. Catedrático de Psicobiología. Miembro de la Comisión Nacional
Evaluadora de la Actividad Investigadora
Gracias !!!
[email protected]
Descargar

La evaluación de revistas y los indicadores bibliométricos