Qualidade de periódicos e controle da pós-graduação em Direito

A dificuldade em se responder a essa pergunta não está em oferecer alternativas ao modelo atual e sim em se enfrentar o conjunto de interesses contrapostos que circundam o problema. Deve-se ao leitor o benefício da sinceridade: discutir e alterar esses critérios é algo, no mínimo, perigoso: a) envolve interesses (públicos e privados) no financiamento de pesquisas, publicações e eventos; b) relaciona-se a prestígio acadêmico de professores e de instituições; c) interfere em relações de poder acadêmico (as mais sutis e sórdidas, paradoxalmente); d) causa reflexos na empregabilidade de docentes (sim, há seres humanos por trás dessas equações e planilhas).

Exposto o que está por trás dessa discussão, o que implica eliminar certo romantismo que enverniza esses debates, o tema pode ser tratado com maior lealdade e transparência.

As publicações centrais da chamada “produção bibliográfica” são os periódicos e os livros.

Como são quantificadas e qualificadas essas produções?

Nesta coluna, por uma questão de espaço, examinar-se-ão apenas os periódicos. A propósito destes, é preciso reconhecer que não há um modelo universal de avaliação quantitativa-qualitativa de revistas científicas.

Em Direito, por exemplo, pode-se citar o modelo europeu continental. Embora este guarde várias diferenças específicas no âmbito de cada Estado-membro da União Europeia, encontram-se alguns traços comuns. Veja-se um exemplo alemão: a mais antiga (em publicação ininterrupta) e tradicional revista alemã de Direito Civil chama-se Archiv für die civilistische Praxis (AcP), editada pela Mohr Siebeck, de Tübingen. Ela existe “apenas” desde 1818. Algumas características desse periódico merecem destaque: a) no AcP publicam (quase que exclusivamente) autores alemães ou austríacos; b) ele tem seções para artigos e resenhas de livros, com uso quase exclusivo do idioma alemão; c) não há revisão cega por pares; d) inexiste titulação mínima para os autores; e) não se utilizam critérios de exogenia; f) não se exigem métricas de titulação ou de exogenia para o conselho editorial, o qual nem mesmo figura no expediente da revista.

Para além de sua vetustez e reputação (quase) bicentenária, pode-se afirmar que não houve tema essencial na civilística alemã dos séculos XIX e XX que não tenha sido lançado, desenvolvido ou criticado nas páginas de Archiv für die civilistische Praxis. É um espaço preponderantemente renascentista em pleno século XXI, com sua capa de um amarelo-ouro tradicional das publicações da editora Mohr Siebeck e sua frágil encadernação brochurada, com a diagramação clássica que evoca o gótico, desaparecido da maior parte do mercado editorial alemão desde os anos 1950.

A revista alemã, se fosse nacional e se submetesse aos critérios de avaliação de periódicos jurídicos brasileiros, certamente seria tida como uma publicação de baixíssima qualidade.

É preciso advertir o leitor para que não faça uso daquela retórica típica do pensamento estruturalista que invoca o “caráter atrasado das gentes latinas” para explicar a qualidade de uma revista jurídica alemã que “despreza” critérios centrais do sistema de qualificação de periódicos de Direito no Brasil. Não é este o propósito da coluna. A ideia central recai no seguinte ponto: artigos em inglês, exogenia de autores, revisão cega por pares ou titulação mínima não resolvem de per si o problema da qualidade ou do impacto de revistas jurídicas. Mas isso não significa que a abolição desses critérios implique a causa da superioridade de algumas revistas alemãs.

A qualidade de uma revista como Archiv für die civilistische Praxis é explicável por outras razões. Os editores, respeitáveis catedráticos privatistas alemães, e a editora (a Mohr Siebeck ainda é uma “editora” e não uma gráfica fantasiada de editora) selecionam, revisam e criticam os artigos com um cuidado artesanal. É claro que os inúmeros assistentes dos editores (jovens doutores ou doutorandos) são notáveis coadjuvantes nesse processo. Eles não seriam soterrados por uma avalanche de artigos? A resposta é não. Quem envia um artigo sabe do risco de ser criticado ou rejeitado. A reputação acadêmica exige autocontenção na escrita. Do contrário, a comunidade de civilistas saberá da má qualidade da produção intelectual do autor. Por essa mesma razão, os jovens graduados (ou graduandos), mestrandos e doutorandos têm receio de serem confundidos com alpinistas acadêmicos e se abstêm de tentar semelhantes aventuras, salvo, é claro, aqueles excepcionais pesquisadores marcados pela juventude.

Interdisciplinaridade? Bom, além da enorme confusão conceitual sobre essa palavra no repertório acadêmico nacional, é preciso registrar que esse não é um requisito para se publicar em periódicos, muito menos para se definir sua qualidade nas revistas tradicionais alemãs dedicadas à dogmática. Um civilista, um criminalista, um comercialista ou um tributarista deve saber com enorme grau de especialização o objeto de seu ofício ou de sua área de saber. O grau de especialização é tamanho que não se concebe que alguém escreva sobre temas não jurídicos em periódicos especializados em Direito Civil ou Direito Penal, por exemplo. A superficialidade desses conhecimentos pode-se revelar tamanha que a crítica dos pares seria devastadora. Uma vez mais, é de se excepcionar grandes humanistas como Reinhard Zimmermann, Stefan Grundmann ou Christian Baldus, para se citar três civilistas contemporâneos alemães, que dominam vários idiomas (vivos e mortos) e vastas áreas do saber não jurídico. No entanto, quanto tempo leva (e quanto custa) para se produzir pessoas assim? Eles são a exceção que justifica a regra.

O inglês é outro tópico. Italianos, franceses e alemães, por exemplo, insistem em publicar em seus próprios idiomas, ao menos nos periódicos voltados para temas dogmáticos. Isso está mudando lentamente. Cresce o número de artigos em inglês, mesmo escritos por autores nativos. Esse fenômeno sempre foi comum em revistas de Filosofia do Direito, Sociologia Jurídica ou História do Direito. Ultimamente ele se há expandido para outras áreas.

Esse modo de se “produzir” literatura jurídica em periódicos é muito comum em França e Itália, para se ficar apenas nestes exemplos. Fundada em 1901, a Revue Trimestrielle de Droit Civil é o mais tradicional periódico de Direito Civil francês. À semelhança de sua correspondente alemã, na RTDC publicam-se artigos, resenhas, crítica jurisprudencial e atualidades jurídicas. Seus autores são franceses e escrevem no idioma nativo. Os critérios de seleção e de editoração mostram-se muito próximos dos alemães. Na Itália, a Rivista di Diritto Civile, o clássico periódico de mais de meio século estampado pela editora Cedam e nascido no seio das universidades de Bolonha e Pádua, publica artigos, resenhas e críticas jurisprudenciais. O idioma franco é o italiano e os autores são preponderantemente peninsulares.

As três revistas de Direito Civil são publicadas por editoras comerciais, o acesso é restrito a assinantes (em geral, universidades, tribunais e escritórios de advocacia).

Em comum a essas revistas, registre-se, há ainda o elemento da “tradição”, que termina por definir imaterialmente a qualidade, respeitabilidade, o impacto e a credibilidade dos textos nelas publicados.

O modelo dos Estados Unidos é ainda mais complexo. Grande parte das revistas universitárias é editada por estudantes de Direito, que não são comparáveis com os alunos de graduação no Brasil, pois o curso jurídico norte-americano é complementar a uma formação de base, um bachelor, aproximando-se mais de uma pós-graduação. Há revistas “comerciais”, de acesso restrito e pago, que não se ocupam (ou não se preocupam) com questões acadêmicas, e sim com problemas práticos. Existem também revistas acadêmicas mantidas por professores. O Journal of Law and Economics foi editado por 18 anos por Ronald Harry Coase, prêmio Nobel de Economia e professor da Escola de Direito de Chicago.

As publicações em periódicos jurídicos nos Estados Unidos são preponderantemente em inglês, mas a natureza diferenciada do país, a “capital do Império”, permite uma abertura para autores estrangeiros sem igual com a Europa. O sistema de publicação é muito variável. Nas revistas mais prestigiadas, há uma intensa competição entre autores. Em alguns casos, há empresas que se oferecem para receber, analisar criticamente (e de modo prévio) e encaminhar os artigos para diferentes revistas. É um procedimento análogo às candidaturas para universidades americanas: o currículo é enviado para algumas delas e as aceitações chegam com prazos para resposta pelo aluno. A seleção pode ser feita por editores ou por revisores cegos. Os critérios de exogenia, quando aplicáveis em periódicos jurídicos, são bem menos rígidos que os brasileiros. Como se espera que os autores planejem a elaboração e a oferta dos artigos para as revistas — além de ser absolutamente normal (e até necessário) um intenso diálogo entre revisores e autores (com idas e vindas do texto) —, há uma praxe de se abrirem chamadas com “janelas de tempo” no ano. Dito de outro modo, o recebimento de artigos dá-se em épocas específicas do ano, de modo a que se possa levar a efeito o complexo processo de recepção, avaliação, devolução e reapresentação dos textos.

"Como grandes patrocinadoras (e beneficiadas) pelos rankings acadêmicos, as publicações são essenciais para a admissão e a progressão dos professores. O impacto é tão maior quanto maior for o prestígio dos periódicos, além, é claro, do fato de que escrever em inglês (o latim de nosso tempo) é um passaporte para a leitura por milhares de pessoas nos mais diferentes quadrantes. A indexação dos periódicos é o “selo de qualidade”. A indexação é demorada (pode levar até alguns anos) e as revistas podem ser auditadas.

Exemplo disso está na indexação em bases como a Web of Science e no Journal Citation Reports (JCR), da ThomsonReuters. Vejam-se alguns desses requisitos: a) publicação de artigos em inglês ou que contenham, ao menos, elementos em inglês como abstract e key words; b) demonstração de impacto, que se afere pelo número de citações dos textos publicados. Há mecanismos de contenção de excessos de autocitação ou de citação cruzada induzida; c) pontualidade e regularidade das edições; d) revisão por pares; e) elementos pretextuais obrigatórios (resumo, referências, informações e endereço do autor).

Da comparação entre os modelos europeu continental e o norte-americano, é evidente que o modelo brasileiro é muito mais próximo deste último. No caso nacional, o sistema Qualis-Periódicos, desenvolvido pela Capes, foi desenvolvido para classificar a produção científica dos programas de pós-graduação. Sua função primordial consiste em oferecer elementos objetivos de controle, comparação e classificação da produção científica nacional, por diferentes áreas, que se organiza por estratos que vão do C (o mais baixo, com peso zero), B (5 a 1) ao A (2 a 1).

O Qualis-Periódicos atende a critérios relativamente comuns às diferentes áreas da pós-graduação brasileira, os quais devem respeitar as especificidades de cada uma delas, mas não podem fugir da finalidade última do sistema: permitir comparações entre os programas de uma mesma área e também o cotejo da produção entre diversas áreas. Como dito na abertura da coluna, essa classificação tem enorme impacto na pontuação dos programas e das áreas, que se hierarquizam por meio de notas, as quais se conformam por pontos atribuídos a diferentes indicadores.

Os critérios do Qualis-Periódicos são definidos pelas áreas, mas necessitam de validação do Conselho Técnico-Científico da Educação Superior da Capes, que tanto preserva alguma uniformidade quanto permite certa margem de singularidade para as áreas.

Elementos como os índices de exogenia dos artigos (procedência geográfica dos autores), os indexadores eleitos para aferir o impacto, o número de exigências formais para publicação (sejam elas de uniformidade editorial ou de texto), o idioma dos artigos ou a existência de um controle de mérito da qualidade dos textos (que ultrapasse o requisito objetivo da indexação internacional), o caráter aberto ou não do periódico podem (e devem) refletir as características próprias de cada área. Existem modulações nesses critérios que podem e devem ser exploradas, de modo a que uma área como o Direito não sofra com os efeitos de uma adaptação mais rigorosa aos padrões de ciências duras.

O Qualis-Periódicos, para além de ser um completo sistema de comparação, qualificação e classificação, tem reflexos na vida dos programas de pós-graduação e de seus alunos e professores. Ele deve ser visto de uma maneira global como um instrumento por excelência de regulação da pós-graduação. No caso do Direito, essa noção há de ser ainda mais importante.

Nesse contexto, todas as regras sobre periódicos devem ser compreendidas como instrumentos regulatórios dotados de previsibilidade, segurança jurídica, clareza e hão de ser antecedidas de mecanismos de transparência e de elaboração participativa, como audiências e consultas públicas. Modelos de regulação ao estilo norte-americano, mas destituídos das vantagens competitivas de quem define os critérios internacionais de aferição de qualidade acadêmica, devem sempre autoconter-se ante a “tentação tecnocrática”.

Some-se a isso a necessidade de análise de impacto regulatório (AIR) dessas normas e a compreensão de que, ao se regular a produção em periódicos, exerce-se um duplo efeito sobre a área: induzir e qualificar.

Quanto à AIR, ela é fundamental para se impedir os desvios fordistas: com conhecimento elementar de matemática e estatística, pode-se calcular ex ante os níveis de produção ótimos, bons e regulares. A norma pensada de modo consequencialista cria um obstáculo aos que a usam para se prevalecer de frestas do sistema.

No que se refere ao efeito de indução e de qualificação, é fundamental que o regulador compreenda que as regras induzem os autores a publicar em periódicos de estratos mais altos. Dá-se, contudo, a necessidade de não exagerar nessa indução, sob o efeito colateral da estagnação dos periódicos menos qualificados. Com isso, prejudica-se o efeito de qualificação: sem circularidade, não há melhora muito menos a punição às revistas que decaem em seus padrões de qualidade. Sem a visão dúplice da indução-qualificação, o modelo regulatório de periódicos perderá seu prestígio, provocará uma segmentação artificial nos estratos e sufocará novas revistas.

O Direito não é tão específico e autárquico que se liberte dos modelos gerais de controle, classificação e qualificação de periódicos. Essa é uma quimera que não se pode admitir seja reproduzida, porque demagógica. Por outro lado, há margens para se preservar espaços de singularidade da produção em periódicos jurídicos. A experiência europeia serve como um interessante freio para o excesso de algumas regras, cuja origem está no modelo norte-americano.

Na próxima coluna, vamos examinar a produção científica em livros.