PANORAMA DOS SISTEMAS E MODELOS CONTEMPORÂNEOS DE AVALIAÇÃO DE LIVROS ACADÊMICOS
Keywords:
Livros acadêmicos, Avaliação da produção científica, Indicadores de desempenho e impactoAbstract
Situado no contexto da comunicação científica e da avaliação da produção acadêmica, o presente estudo propõe mapear e descrever os sistemas e modelos contemporâneos de avaliação de livros acadêmicos. Ao longo da pesquisa constatou-se que a avaliação da qualidade e do impacto dos livros encontra-se em situação ainda incipiente face à avaliação de artigos e periódicos científicos. No entanto, observaram-se alguns esforços no sentido de construir metodologias específicas para avaliar os livros produzidos no âmbito acadêmico. A fase inicial do estudo foi dedicada à identificação e ao mapeamento de plataformas, sistemas, aplicativos e outras iniciativas correntes, por meio de pesquisa documental de natureza exploratória durante a qual foram consultados especialistas, sistemas governamentais, ferramentas de busca, grupos de pesquisa, além da mineração e do exame de referências localizadas em documentos que remetiam a métodos de avaliação de livros. O exame desses documentos e de artigos publicados sobre o tema ensejou a elaboração de uma matriz de coleta de dados utilizada para organizar os sistemas e modelos identificados de acordo com um grupo de variáveis: tipologia da avaliação, técnicas utilizadas para reunir informações sobre as obras, produto gerado e tipo de impacto mensurado. Os resultados evidenciaram a existência de 24 modelos e sistemas de avaliação, a maioria envolvendo iniciativas comerciais, e outros resultantes de projetos de cientistas e grupos de pesquisa e de modelos institucionais e governamentais cujo principal interesse reside na avaliação da atividade científica de países e regiões. Embora apresentem variações nos indicadores aferidos e nos métodos de avaliação, a maioria (71%) dos modelos se dedica essencialmente a avaliar indiretamente a qualidade e o impacto dos livros acadêmicos, tendência que dificulta a observação de outros aspectos característicos dos livros, que envolvem indicadores de natureza multidimensional, como os socioculturais.Downloads
References
BRASIL. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Diretoria de Avaliação. Proposta de Classificação de Livros: GT ‘Qualis Livro’. Brasília, 2019. Disponível em: http://uploads.capes.gov.br/files/classificacao_livros_ap.pdf. Acesso em: 06 fev. 2019.
CAFÉ, A. L. P. A produção científica do campo da Sociologia brasileira face aos critérios de avaliação do CNPq e da CAPES: 2007-2009. 175f. 2012. Dissertação (Mestrado em Ciência da Informação) – Instituto de Ciência da Informação, Universidade Federal da Bahia, Salvador, 2012.
CAFÉ, A. L. P.; RIBEIRO, N. M.; PONCZEK, R. L. A docilização do corpo docente na pós-graduação brasileira: um estudo sobre o modelo Capes de avaliação da produção intelectual. Curitiba: Appris, 2018.
GARFIELD, E. Citantion indexes for retrieval and research evaluation. In: CONSENSUS CONFERENCE ON THE THEORY AND PRACTICE OF RESEARCH EVALUATION, 7., 1996, Capri. Proceedings [...]. [S.l.: s.n.], 1996. Disponível em: http://www.garfield.library.upenn.edu/papers/ciretreseval-capri2.pdf. Acesso em: 06 fev. 2019.
GIMÉNEZ-TOLEDO, E.; MAÑANA-RODRIGUEZ, J.; SIVERTSEN, G. Scholarly book publishing: its information sources for evaluation in the social science and humanities. Research Evaluation, v. 26, n. 2, p. 91-101, 2017. Disponível em: https://academic.oup.com/rev/article-abstract/26/2/91/3745099. Acesso em: 10 abr. 2018.
GIMÉNEZ-TOLEDO, E.; MAÑANA-RODRIGUEZ, J.; TEJADA-ARTIGAS, C. M. Revisión de iniciativas nacionales e internacionales sobre evaluación de libros y editoriales. El Profesional de la Información, v. 24, n. 6, p. 705-716, 2015. Disponível em: http://www.elprofesionaldelainformacion.com/contenidos/2015/nov/02_esp.pdf. Acesso em: 08 abr. 2018.
GIMÉNEZ-TOLEDO, E.; TEJADA-ARTIGAS, C.-M.; BORGES-DE-OLIVEIRA, A. El libro y las editoriales académicas según los investigadores brasileños de Ciencias Sociales y Humanidades. El Profesional de la Información, v. 28, n. 6, p. 1-14, 2019. Disponível em: https://revista.profesionaldelainformacion.com/index.php/EPI/article/view/epi.2019.nov.03. Acesso em: 20 nov. 2020.
GIMÉNEZ-TOLEDO, E. et al. Taking scholarly books into account: current developments in five countries. Scientometrics, v. 107, n. 2, p. 685-699, 2016. Disponível em: https://www.researchgate.net/profile/Tim_Engels/publication/294576945_Taking_scholarly_books_into_account_current_developments_in_five_European_countries/links/5700156c08aea6b77469b593/Taking-scholarly-books-into-account-current-developments-in-five-European-countries.pdf. Acesso em: 11 abr. 2018.
HICKS, D. The four literatures of social science. In: MOED, H. (org.). Handbook of quantitative science and technology research. Dordrecht: Springer, 2004. p. 473-496. Disponível em: http://yunus.hacettepe.edu.tr/~tonta/courses/spring2011/bby704/Handbook%20of%20Quantitative%20Science%20and%20Technology%20Research.pdf#page=467. Acesso em: 25 abr. 2018.
KUHN, T. S. A estrutura das revoluções científicas. 9. ed. São Paulo: Perspectiva, 2007.
LATOUR, B. A vida de laboratório: a produção dos fatos cientificos. São Paulo: Relume Dumara, 1997.
LUZ, M. T. O futuro do livro na avaliação dos programas de pós-graduação: uma cultura do livro seria necessária. Interface, v. 9, n. 18, p. 631-636, 2005. Disponível em: https://www.scielosp.org/article/ssm/content/raw/?resource_ssm_path=/media/assets/icse/v9n18/a17v9n18.pdf. Acesso em: 30 maio 2018.
MEADOWS, A. J. A comunicação científica. Brasília: Briquet de Lemos, 2009.
MOMESSO, A. C.; NORONHA, D. P. Bibliométrie ou Bibliometrics: o que há por trás de um termo? Perspectivas em Ciência da Informação, v. 22, n. 2, 2017. Disponível em: https://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-99362017000200118. Acesso em: 20 nov. 2020.
MUELLER, S. P. M. A publicação da ciência: áreas científicas e seus canais preferenciais. Datagramazero, v. 6, n. 1, p. 1-13, 2005. Disponível em: http://repositorio.unb.br/bitstream/10482/980/2/ARTIGO_PublicacaoCiencia.pdf. Acesso em: 23 maio 2018.
RODRIGUES, K. O.; ROSA, F. G.; OLIVEIRA, M.; BARROS, S. O livro no sistema de avaliação da CAPES. SCIELO 20 ANOS: Repositório, p. 1-23, 2018. Disponível em: https://repository.scielo20.org/index.php/documents/article/view/129. Acesso en: 20 nov. 2020.
SANTOS, R. N. M.; CABALLERO-RIVERO, A.; SÁNCHEZ-TARRAGÓ, N. Práticas de publicação e avaliação em Ciências Sociais e Humanidades: contradições e desafios. P2P & Inovação, v. 4, n. 1, p. 18-34, 2018. Disponível em: http://revista.ibict.br/p2p/article/download/3982/3313/. Acesso em: 20 nov. 2020.
THOMPSON, J. W. The death of the scholarly monograph in the humanities? Citation patterns in literary scholarship. Libri, v. 52, n. 3, p. 121-136, 2002. Disponível em: https://www.researchgate.net/profile/Jennifer_Thompson15/publication/252704534_The_Death_of_the_Scholarly_Monograph_in_the_Humanities_Citation_Patterns_in_Literary_Scholarship/links/00b7d53985a111c570000000.pdf. Acesso em: 26 abr. 2018.
TORRES-SALINAS, D.; ROBINSON-GARCIA, N.; GORRAIZ, J. Filling the citation gap: measuring the multidimensional impacto of the academic book at institutional level with PlumX. Scientometrics, v. 113, n. 3, p. 1371-1384, 2017. Disponível em: https://arxiv.org/ftp/arxiv/papers/1710/1710.00368.pdf. Acesso em: 11 abr. 2018.
TRZESNIAK, P. A questão do livre acesso aos artigos publicados em periódicos científicos. Em Aberto, v. 25, n. 87, p. 77-112, 2012. Disponível em: <http://www.emaberto.inep.gov.br/ojs3/index.php/emaberto/article/view/2701>. Acesso: 20 nov. 2020.
WHITLEY, R. Changing governance and authority relations in the public sciences. Minerva, v. 49, n. 4, p. 359-385, 2011. Disponível em: https://link.springer.com/article/10.1007/s11024-011-9182-2. Acesso em: 20 nov. 2020.
WILSDON, J. et al. The metric tide: independent review of the role of metrics in research assessment and management. Bristol: Higher Education Funding Council for England, 2015. Disponível em: http://eprints.whiterose.ac.uk/117033/1/2015_metric_tide.pdf. Acesso em: 13 maio 2019.
ZUCCALA, A.; ROBINSON-GARCIA, N. Reviewing, indicating, and counting books for modern research evaluation systems. In: GLÄNZEL, W. et al. (org.). Springer handbook of science and technology indicators. Dordrecht: Spinger Nature, 2019. p. 423-430. Disponível em: https://arxiv.org/ftp/arxiv/papers/1807/1807.05789.pdf. Acesso em: 13 maio 2019.