Editorial - Por quê e como nos tornamos avaliadores de artigos científicos?

Abstract

Por quê e como nos tornamos avaliadores de artigos científicos?

Este editorial do número 89 da revista O&S em 2019 tem um propósito especial: refletir sobre o papel do avaliador no processo de publicação e pensar uma forma institucionalizada de valorizar esse trabalho. Há cinco anos na editoria da revista O&S, participando de números especiais de outros periódicos, de comissões científicas de congressos e, claro, como autora que espera ansiosamente os pareceres em processos de avaliação, não foi difícil concluir que o grande “gargalo” dos nossos processos de publicação é a etapa da avaliação por pares. Os desafios vão desde encontrar avaliadores disponíveis até obter pareceres construtivos e que efetivamente apoiem o processo de tomada de decisão editorial.

Compartilhando essa questão com a amiga e avaliadora da O&S, Andréa Ventura, buscamos, primeiro, compreender o que nos leva a nos tornarmos avaliadores em periódicos científicos e como isso acontece. Significou refletir também sobre as vantagens de se tornar um avaliador.

Para a pergunta por quê nos tornamos avaliadores, pensamos logo: avaliamos artigos simplesmente para garantir o seguimento do fluxo normal de publicações e, como consequência, termos nossos artigos avaliados. Isto porque construímos e fazemos parte de um sistema chamado comunidade científica e sabemos que o desempenho desse papel é parte integrante e indispensável do processo de publicação.

No entanto, mesmo conscientes da necessidade de avaliadores para garantir a existência de publicações, muitos recusam essa tarefa de forma deliberada e frequente. Não perceberiam as vantagens de ajudar a manter o “sistema funcionando”? Imaginamos, então, que a decisão de dedicar horas de trabalho avaliando um artigo que não é nosso, que não sabemos de quem é, e que não resultará em reconhecimento direto pelo trabalho empreendido não é simples e óbvia.

Buscamos, então, traçar uma trajetória geral de como nos tornamos avaliadores. Obviamente que cada um tem sua história, mas acreditamos que há muita coisa em comum. Começa assim: primeiro (e quase inevitavelmente) nos tornamos autores. Após termos nossos primeiros artigos aprovados em congressos ou periódicos, somos vistos como experts no assunto (ou assuntos) que publicamos. E, quanto mais publicamos, mais parecemos habilitados a avaliar outros artigos. Na comunidade acadêmica partimos da premissa de que saber construir um artigo é a mesma coisa que saber avaliar outros. A partir daí, os convites começam a chegar: “Acreditamos que seu conhecimento será fundamental para realizar a avaliação do manuscrito [...]”. E, voilá! Basta a aceitação do convite e temos mais um avaliador na comunidade científica.

Esse processo acontece, tipicamente, ao longo da nossa formação acadêmica, como no doutorado, onde há pressão dos programas de pós-graduação para que os estudantes publiquem seus estudos e, geralmente, construímos parcerias com orientadores e núcleos de pesquisa. Assim, publicando, participando de congressos e construindo redes, entramos na comunidade científica e nos tornamos autores-avaliadores como que instantaneamente. É como se uma “credencial”, a de autor, garantisse a outra, a de avaliador. A visão inicial é de que há uma simbiose total entre as funções. Quase que gêmeos siameses que não poderiam viver desassociados.

No entanto, o fato de o pesquisador ser um “bom autor” não significa, necessariamente, que ele é um “bom avaliador”. Talvez ele não tenha ideia do que se espera, efetivamente, de um avaliador. Talvez não tenha empatia sobre como contribuir diretamente com o texto. Talvez não compreenda a importância do texto para o periódico ou mesmo para a academia (nacional ou internacional). Talvez não se expresse bem na construção do parecer. Enfim, “[...] a conscientização dos pareceristas é fundamental para um processo de revisão construtivo” (CABRAL, 2018, p. 435).

Verificamos, ao menos no Brasil, a inexistência de um processo mínimo de capacitação para que determinado pesquisador avance da sua posição de autor para a de avaliador. Em âmbito mundial a situação não é muito distinta. Dados da pesquisa de 2018 da Global State of Peer Review realizada pela Publons, plataforma de revisão acadêmica, revelam que praticamente 40% dos avaliadores entrevistados nunca recebeu nenhum tipo de capacitação para exercer essa tarefa (SPINAK, 2019a).

Em nosso país, de maneira geral, cada um vai construindo sua “forma de avaliar” de acordo com sua experiência: escrevendo artigos que consideram bons e buscando aprimorar-se à cada novo parecer recebido sobre seus próprios trabalhos; recebendo pareceres de outros avaliadores sobre textos que também avaliou e os comparando em termos de qualidade, profundidade e detalhamento; e, claro, elaborando seus próprios pareceres. Ou seja, somos forçados a aprender a ser avaliadores através de um processo de autodesenvolvimento, de aprendizagem na prática: learning by doing (REESE, 2011)!

Esse processo de aprendizagem leva tempo e os avaliadores se tornam experientes justamente quando amadurecem na carreira e assumem inúmeras outras atribuições. De acordo com Northcraft (2001) são justamente os avaliadores com maior experiência em sua área de atuação e na avaliação em si os que, com maior frequência, costumam declinar dos convites para avaliar artigos em periódicos. Aqui reside, a nosso ver, o gargalo a que nos referimos antes: encontrar avaliadores disponíveis e obter pareceres construtivos contribuindo na qualidade das publicações.

A nosso ver, avaliar um artigo científico exige uma orientação mais assertiva do processo de avaliação e da elaboração de pareceres. Esta orientação deve ir muito além do barema que usualmente os periódicos usam para orientar a construção dos pareceres. Em síntese, esta orientação assertiva poderia buscar responder: o que se espera de um avaliador e dos seus pareceres nos processos editoriais?

Nossas inquietações nos levaram, no final de 2018, a elaborar e oferecer uma oficina sobre avaliação de artigos científicos em periódicos. A O&S em parceria com o Núcleo de Estudos Aplicados à Organizações de Utilidade Social (Nous), ambos da Escola de Administração da UFBA, convidaram não apenas os alunos dos cursos de pós-graduação da Escola de Administração (Mestrado e Doutorado acadêmicos, Doutorado interinstitucional/Dinter e Mestrado profissional), mas também estudantes e professores de outros cursos de pós-graduação da UFBA. Nessa oficina, que contemplou duas etapas, simulamos um processo de submissão e avaliação de artigos entre os participantes, permitindo que eles vivenciassem todas as etapas do processo editorial, discutindo o resultado das avaliações e a qualidade dos pareceres. Essa experiencia nos mostrou não somente a falta desse tipo de capacitação na Universidade, mas o quanto nossos estudantes e jovens professores não se sentem confiantes na execução dessa tarefa, que é inerente à vida acadêmica.

Brutus, Donia e Ronen (2010) identificaram a mesma insegurança dos estudantes-avaliadores em processos sistemáticos de avaliação por pares. Embora se refiram ao contexto de avaliação em atividades da graduação em administração (trabalhos em equipe, por exemplo), os autores nos oferecem evidências de que o aumento da confiança na própria atividade de avaliação e na forma de comunicá-la está diretamente relacionado ao número de vezes que os alunos praticam a atividade.

"Nossos resultados indicam que o uso repetido de um sistema de avaliação por pares padronizada oferece um meio eficaz de aumentar a confiança dos alunos na avaliação de seus pares, bem como melhorar a qualidade das avaliações que eles fornecem" (BRUTUS; DONIA; RONEN, 2010, p. 1).

O fato é que nossa formação acadêmica estimula a publicação (desenfreada, inclusive) de artigos, mas não estimula e ensina como avaliar. Se para cada autor que formamos, necessitamos de, pelo menos, dois avaliadores; a conta não bate! Seguimos estreitando o gargalo do processo de publicação científica no Brasil.

Para melhorar nossos processos editoriais, duas medidas nos parecem contribuir enormemente. Uma voltada para cada programa ou currículo e outra de natureza mais ampla e institucional. Uma delas seria introduzir atividades de avaliação de artigos nos nossos cursos, sensibilizando os estudantes não apenas para a forma de avaliar e de comunicar, mas sobre a importância e o cuidado na tarefa. A outra passaria pela valorização institucional do trabalho do avaliador. Ou seja, e se a avaliação de artigos também contasse pontos no sistema de avaliação da Capes?

A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) é a responsável por avaliar a qualidade dos programas de pós-graduação strictu sensu no país. Não obstante algumas críticas existentes sobre o tipo de avaliação realizada, extremamente focada em dados quantitativos sobre a produtividade de alunos e professores, este é o sistema em que nos submetemos. E nele, o número de publicações ditas “qualificadas”, realizadas tanto por professores como por alunos dos programas, tem enorme relevância. Mas, para não parecer que estamos sugerindo um aumento desenfreado de contagem de pontos, propomos a discussão que segue.

Por uma valorização da avaliação por pares

Em realidade, a reflexão sobre possível sistema de pontuação no sentido de valoração do trabalho do avaliador não é nova. Spinak (2019b) afirma que cobranças neste sentido já vêm sendo realizadas, levantando questões como: o fator do impacto do periódico (ou, no caso o sistema Qualis Capes) para o qual o avaliador está avaliando contaria de maneira diferenciada? Análises como quantidade de avaliações ou tempo como avaliador seriam consideradas? A qualidade das avaliações poderia ser medida e valer pontos?

O fato é que participar, como avaliador, em um processo de avaliação por pares, em determinadas situações, já garante alguma pontuação. Não é raro que os periódicos científicos ofereçam declarações atestando que determinado avaliador analisou certo texto. Em processos de progressão na carreira, concursos públicos e outros processos seletivos, a atuação como avaliador em periódicos é valorizada e considerada dentro do processo, por meio de pontuação.

Mas, de modo geral, a avaliação de artigos em periódicos não tem qualquer valor concreto no sistema de avaliação dos professores em programas de pós-graduação. E isto ocorre justamente no momento da carreira que alcançam maior maturidade e confiança como avaliadores e aumentam a qualidade dos seus pareceres; e também na fase em que são mais demandados.

Além disso, vale ressaltar que, muitas vezes a contribuição trazida por um bom avaliador a um artigo é significativa, podendo ser comparada à contribuição da coautoria do próprio trabalho que está sendo avaliado. Ou seja, o avaliador, sugerindo alterações, reflexões, bibliografia e apontando fragilidades, dependendo do nível de detalhamento, contribui enormemente para a qualidade final do trabalho, sendo ele publicado ou não. Sua atuação, nestes casos, não é de um simples avaliador; mas sim de um verdadeiro coautor.

Como observam Montenegro e Ferreira Alves (1997, p. 274) é muito comum que os trabalhos científicos com participação de vários autores tenham, entre estes, a figura de um “orientador” ou de um profissional experiente que foi consultado “[...] especialmente sobre seu delineamento, nas discussões sobre interpretação dos resultados e na revisão final do manuscrito”. Ora, muitas vezes, não é esse um dos papéis do avaliador? E, ainda, o sistema de revisão cega impede até mesmo o agradecimento direto aos avaliadores nos artigos publicados, o que é comum de ser feito com orientadores e gurus. O avaliador segue sendo misterioso e, com isso, sua valorosa contribuição quase que invisibilizada.

Então, como a contribuição dos nossos avaliadores poderia ser valorizada, incentivando-os a elaborarem pareceres construtivos e cumprirem prazos? A princípio, do mesmo modo que valorizamos a produção científica por meio das publicações. Caberia aos editores científicos atestarem a qualidade dos pareceres emitidos e da atuação do avaliador (prazo, compromissos com rodadas, cordialidade, disponibilidade). Isso poderia ser feito a partir da própria avaliação dos autores sobre os pareceres, como acontece em alguns congressos que premiam os melhores avaliadores de cada edição. Ainda, nos artigos publicados, os avaliadores que assim o desejassem, poderiam ter seus nomes divulgados para que os próprios autores tomassem conhecimento e compartilhassem o bônus do trabalho publicado, como sugeriu Bedeian (2004).

Acreditamos que com medidas como as acima sugeridas, o trabalho do avaliador deixaria de ser, muitas vezes, visto como um trabalho de “caridade” passando a ser uma obrigação profissional com reconhecimento direto e objetivo. Como acredita Spinak (2019b), ao se estipular métricas que permitam valorar o trabalho do avaliador, haveria, inclusive, uma certa competição pela realização desta importante atividade, especialmente por parte daqueles pesquisadores com pouca publicação ou baixo número de citações.

Ao que parece, análises de indicadores sobre como está a avaliação por pares ao redor do mundo, a exemplo das realizadas pelo estudo da Publons, e as discussões promovidas em ambientes como a Rede Scielo, que em seu evento de comemoração de 20 anos organizou um grupo de trabalho específico para discutir inovações na publicação científica e o futuro não apenas dos periódicos, mas da própria avaliação por pares, estão efetivamente buscando formas de reduzir os gargalos existentes. Em nossa opinião, este é um caminho sem volta. É necessário que a valorização efetiva do trabalho do avaliador seja somada às iniciativas de inovação em publicação que estão sendo desenhadas.

Referências

BEDEIAN, A.G. Peer Review and the Social Construction of Knowledge in the Management Discipline. Academy of Management Learning and Education, v. 3, n. 2, 2004, p. 198–216.

BRUTUS, S.; DONIA, M. B. L.; RONEN, S. Can Business Students Learn to Evaluate Better? Evidence From Repeated Exposure to a Peer-Evaluation System. Academy of Management Learning & Education, v. 12, n. 1, 2013, p. 18–31.

CABRAL, S. Autores, pareceristas e editores: tripé do processo de revisão de artigos científicos. RAE – Revista de Administração de Empresas, v. 58, n. 4, 2018, p. 433-437.

MONTENEGRO, M.R.; FERREIRA ALVES, V.A. Critérios de Autoria e Co-autoria em Trabalhos Científicos. Acta Botânica Brasílica, v. 11, n. 2, 1997, p. 273-276.

NORTHCRAFT, G.B. From the editors. Academy of Management Journal, v. 44, n. 6, 2001, p. 1079-1080.

REESE, H.W. The learning-by-doing principle. Behavioral Development Bulletin, v. 17, n. 1, 2011, p. 1-19.

SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte I [online]. SciELO em Perspectiva, 2019a. Acesso em 28 fev. 2019. Disponível em https://blog.scielo.org/blog/2019/02/05/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-i/

SPINAK, E. De pareceristas estrela a pareceristas fantasmas – Parte II [online]. SciELO em Perspectiva, 2019b. Acesso em 28 fev. 2019. Disponível em https://blog.scielo.org/blog/2019/02/07/de-pareceristas-estrela-a-pareceristas-fantasmas-parte-ii/