Ambiguidades e distorções das novas diretrizes acadêmicas

A contradição, o paradoxo e a ambiguidade se tornam cada vez mais visíveis na academia na era das métricas. É preciso entender como isso acontece. É comum observar que a bibliometria¹ tem efeitos não intencionais (tais como: foco em metas de publicação de curto prazo, tópicos “seguros”, “fatiamento” de textos em unidades menores para aumentar o número de publicações, adoção de um “espírito de produtividade” consistente com “capitalismo acadêmico”, etc.). No entanto, chamar algo de não intencional é subestimar seu significado sociopolítico.

Em vez disso, eu prefiro falar sobre os “efeitos constitutivos” dos indicadores de desempenho. Este conceito sugere que nossas práticas são formadas, moldadas e reconstituídas à luz de indicadores que, de fato, definem o que eles afirmam medir [grifos dos tradutores]. Um dos efeitos constitutivos dos indicadores é criar relações mais competitivas entre todos aqueles cujas pontuações são comparadas.

Entre outras coisas, os efeitos constitutivos são produzidos através das regras que descrevem como as coisas devem ser contadas. Alguma forma de controle burocrático com a categorização das coisas é necessária para se fazer uma comparação “sistemática”. Além disso, se as pessoas estão se valendo de subterfúgios, ainda que dentro das regras do jogo, mas somente para obter altas pontuações de produtividade, então novas regras são necessárias para coibir esse tipo de prática (algo que não era tão necessário quando havia menos foco na medição). Às vezes existem várias regras transversais. Juntas, essas regras produzem ambiguidade. Talvez essa mesma ambiguidade seja um importante efeito constitutivo em si mesmo.

Deixe-me dar alguns exemplos. Outro dia fui contatado pela gerência da minha universidade, que me pediu para reconsiderar como eu registrei algumas publicações no banco de dados bibliométrico dinamarquês. Isso é particularmente importante para a universidade, pois a bibliometria influencia as alocações de financiamento. Havia uma preocupação no Ministério do Ensino Superior e da Ciência de que publicações demais, em especial capítulos de livros dinamarqueses, fossem incorretamente registradas como “pesquisa” quando, na verdade, deveriam ter sido categorizadas como “disseminação” (que inclui livros didáticos, etc.). Ao mesmo tempo, meus superiores queriam “esclarecer” alguns critérios para a categorização. Por exemplo, “pesquisa” é sempre revisada por especialistas e inclui trabalhos originais (algo que “disseminação” não possui). Argumentei, então, que os textos em questão certamente foram revisados ​​por especialistas e que os “resultados” de uma pesquisa podem assumir diferentes formas: não se limitam a dados empíricos, podendo ser também uma nova interpretação, por exemplo. Argumentei ainda que a categorização em si é problemática. Só porque algo é disseminação, não quer dizer que não seja pesquisa.

Por fim, acabei mudando uma publicação de uma categoria para outra. Alguns dias depois, entrei em contato com o editor da antologia em que meu capítulo apareceu. Ele trabalha em outra universidade. Seus próprios capítulos na antologia haviam sido registrados como “pesquisa”. Voltei para meus superiores com essa observação. Eles responderam que a categorização realmente dependia de mim, afinal. Mas por que eles chamaram o registro que eu tinha utilizado inicialmente de “incorreto”?

Outro exemplo tem a ver com o recentemente publicado Código Dinamarquês de Conduta para a Integridade da Pesquisa. Ele adverte contra a publicação de resultados de pesquisa semelhantes mais de uma vez. Isso só deve acontecer “sob circunstâncias especiais” e deve sempre ser seguido por uma nota explicando onde o texto foi publicado originalmente. A nova regra foi adotada após um debate sobre casos de “autoplágio”. ( A dissertação de doutorado escrita pelo próprio ministro da pesquisa foi um exemplo famoso desse debate.) A regra também impede que os pesquisadores recebam vários pontos bibliométricos de várias versões do mesmo texto.

A advertência contra a dupla publicação, a despeito de sua aparente lógica, tem consequências peculiares. No meu campo (Ciência Política), por exemplo, tem sido uma prática comum publicar textos semelhantes em dinamarquês e inglês a fim de alcançar tanto o público nacional como o internacional. Para estar de acordo com a nova regra, no entanto, seria necessário declarar que um texto já foi publicado em dinamarquês se o autor estiver buscando publicá-lo novamente em inglês. Mas alguns editores podem não gostar de declarar explicitamente que publicam material que não é original e, com isso, o pesquisador poderia perder valiosos pontos bibliométricos internacionais. Em outras palavras, haveria um grande incentivo para se publicar os resultados de uma pesquisa em inglês primeiro. E se o texto fosse publicado posteriormente em dinamarquês, seria necessário explicar que se trata de um texto traduzido do inglês. (E não haveria pontos bibliométricos do texto dinamarquês, é claro). 

Na prática, a nova regra acaba por restringir as publicações científicas em dinamarquês, nossa língua nacional. E por que você deve esperar até que o material em inglês seja publicado, se houver um debate em andamento na Dinamarca que torne o texto muito relevante aqui e agora? Além disso, quem na Dinamarca acharia necessário saber que este texto é uma tradução do inglês (especialmente se foi realmente escrito em dinamarquês primeiro?) Ninguém! A “declaração de publicação original” serve única e exclusivamente às “políticas de publicação”, que consideram o cumprimento das regras como um propósito em si. Isso não é uma demanda dos leitores. Então, devemos servir aos nossos leitores ou à política de publicação? 

Se optarmos por servir aos nossos múltiplos públicos leitores, podemos ser acusados ​​de “trapacear” para ganhar pontos de publicação “de forma fácil”. Mas nós já realizávamos estas mesmas práticas muitos anos antes do sistema bibliométrico ser adotado para as medições de trabalhos científicos, portanto claramente não é uma prática inventada para trapacear este sistema. Ao contrário, é o novo regime bibliométrico que agora descreve nossa prática convencional como suspeita.

Como os exemplos mostram, em um novo mundo cheio de ambiguidades, é difícil fazer tudo corretamente. Ou eu não corrijo os “erros” apontados pelo ministério ou registro resultados “inconsistentes” em comparação com meus colegas de outras universidades. Se olharmos bem de perto, o sistema bibliométrico e as regras que o acompanham criaram um ambiente no qual muitos, se não a maioria dos pesquisadores, podem ser identificados como transgressores.

O código dinamarquês para integridade em pesquisa torna a segunda publicação de um material original uma publicação suspeita. Mas qual é exatamente o status legal desse código? Ele faz referência ao protocolo de Vancouver (publicado em janeiro de 1997, com regras para submissão de manuscritos para periódicos biomédicos, que se tornou referência de regulamentação). Mas tal protocolo admite a segunda publicação, bem como menciona especificamente o problema de publicação em duas línguas. Ainda assim, o protocolo de Vancouver também não é um documento legal. E estabelece o que é relevante para revistas biomédicas, mas esse não é o meu campo. Observemos todos esses “mas” e “porém”. Estamos em um labirinto de “regras” não relacionadas entre si e, por vezes, sobrepostas.

Se a ambiguidade que apontei aqui se tornar algo normal, qualquer pesquisador pode ser penalizado mais ou menos aleatoriamente por razões pessoais ou políticas que têm pouco a ver com a qualidade da pesquisa. Já não estamos numa situação em que existe um conjunto claro e restrito de regras jurídicas e em que o resto depende do julgamento profissional. O julgamento profissional agora está emaranhado em um conjunto de práticas métricas. E poucos compreenderam totalmente a enorme onda de regras e diretrizes conflitantes que são necessárias para estabilizar essas práticas de medição. A ambiguidade resultante é um perturbador efeito constitutivo dessa nova configuração de métricas e regras.

Notas

1 Nota dos tradutores: de acordo com o Dicionário Formal, bibliometria é “Campo da ciência da informação que aplica métodos estatísticos e matemáticos para analisar o curso da comunicação escrita de uma determinada disciplina”.

Nota: Este artigo foi publicado originalmente no Blog LSE Impact, da London School of Economics com o título de “The new configuration of metrics, rules, and guidelines creates a disturbing ambiguity in academia”, via Creative Commons  Attribution 3.0 Unported License. Tradução: Bruno Leal e Ana Tavares

Como citar este artigo

LARSEN-DAHLER, Peter. Ambiguidades e distorções das novas diretrizes acadêmicas (Artigo). Tradução de Ana Paula Tavares Teixeira e Bruno Leal Pastor de Carvalho. In: Café História. Disponível em: https://www.cafehistoria.com.br/regras-e-ambiguidades/. Publicado em: 15 jan. 2019. Acesso: [informar data].