Entendendo a avaliação da pós-graduação em Direito

No ano que vem, a Capes fará a avaliação de todos os mestrados e doutorados em funcionamento no país. Pela primeira vez, a avaliação abrangerá um período de quatro anos de funcionamento dos cursos, de 2013 a 2016. Até a última avaliação, as notas eram atribuídas três em três anos.

A nota que um programa (com mestrado ou com mestrado e doutorado) recebe na avaliação é utilizada como referência para a distribuição de bolsas e de recursos e para o planejamento de políticas públicas.

Em nossa experiência na pós-graduação, constatamos que é comum a existência na comunidade de dúvidas sobre o processo. É justificável que isso ocorra. Trata-se de um processo relativamente complexo e sobre ele são difundidos alguns mitos.

Há quem veja a avaliação como uma intervenção externa. Na realidade, todo o processo de avaliação é conduzido por docentes da pós-graduação. A análise por pares é uma característica estrutural do sistema. Anualmente, os programas de pós-graduação alimentam um sistema online com informações sobre as atividades por eles realizadas, que são, em reunião presencial na sede da Capes, analisadas por docentes convidados como consultores ad hoc.

Hoje, a Capes conta com 48 áreas de avaliação, que estão reunidas em nove Grandes Áreas, sendo estas, ainda, reunidas em três Colégios. Direito está na Grande Área de Ciências Sociais Aplicadas, que está no Colégio das Humanidades. Cada uma das 48 áreas de avaliação tem a sua própria comissão de avaliação.

O resultado do trabalho das comissões das áreas é enviado ao Conselho Técnico Científico da Educação Superior (CTC-ES), que é formado por representantes dos três Colégios, pelo Presidente e por diretores da Capes, por representante do Fórum de Pró-Reitores de Pós-Graduação e por representante de alunos da pós-graduação. Essa análise pelo CTC-ES é o momento no qual será possível comparar as notas entre áreas e equalizá-las.

No CTC-ES, os resultados dos trabalhos das comissões de áreas serão distribuídos para relatores, que são coordenadores de áreas diferentes das avaliadas, para que relatem no colegiado. Esses relatores podem concordar com o resultado ao qual chegou a comissão de área ou dele divergir. Não é incomum que o CTC-ES atribua nota a um programa diferente daquela indicada pelo comitê da área.

Outra crítica relativamente comum é a de que existiria uma quebra da “segurança jurídica”, com estabelecimento de regras ex post facto e mudanças inesperadas de regras. O problema dessa crítica é que parte de uma ideia errada do que se pretende com a avaliação.

Evidentemente, o conteúdo da avaliação não pode sair da manga do Coordenador de Área, como algo estranho ao grau de maturidade que a pós-graduação alcançou. A avaliação tem natureza comparativa. A ideia é que, periodicamente, os docentes de pós-graduação parem para ver com profundidade o que está acontecendo no sistema e, diante dos dados apresentados pelos próprios programas, indicar o que é considerado excelência.

O pior que poderia acontecer com o sistema de pós-graduação seria uma definição hoje de uma métrica detalhada do que que será considerado um curso de excelência daqui a quatro anos. Seria isso um planejamento impositivo. Essa prática podaria a criatividade dos diferentes grupos que atuam na pós-graduação e transformaria a avaliação da pós-graduação em uma conta de chegada.

Um processo de avaliação no qual todos os cursos avaliados tirassem a nota máxima não estaria cumprindo a sua função de classificar. Estaríamos diante de uma das duas situações: (a) a avaliação padronizou a pós graduação, ou (b) a avaliação não conseguiu captar a diferença entre programas. Os dois cenários são indesejáveis. O primeiro, porque criaria práticas absolutamente artificiais na gestão dos programas de pós-graduação, que apenas atuariam visando agradar na avaliação. O segundo, porque não serviria ao propósito de orientar o agir do Poder Público.

Os docentes dos programas de pós-graduação não podem ficar presos a metas detalhadas e rigorosas a serem estabelecidas pela CAPES. No dia a dia de sua atividade, devem buscar fazer o que há de melhor na formação de qualidade de mestres de doutores e na pesquisa. Devem interagir com outros programas e grupos de pesquisa nacionais e internacionais. Essa vida dos programas é que precisa ser captada e valorizada pela avaliação e não situações artificiais criadas apenas para atender expectativas burocráticas do sistema de avaliação.

Os parâmetros a serem utilizados nas avaliações precisam ser pensados considerando os parâmetros que foram utilizados na avaliação anterior. É recomendável que representem uma evolução do que foi o instrumento de avaliação no período passado. Devem refletir o que o sistema de pós-graduação melhorou no novo período avaliado.

É importante, ainda, tratar de algumas questões sobre a avaliação da Produção Intelectual. Todas as área de avaliação classificam periódicos nos quais os docentes publicam e divulgam uma lista, conhecida por Qualis. Os periódicos são classificados como A (1 e 2), B (de 1 a 5) ou C. No estrato “C" são colocados os periódicos que não pontuarão na avaliação. No “A’, são incluídos os periódicos melhor avaliados.

A classificação de periódicos tem sido utilizada pelas instituições para as mais diversas finalidades, distantes, muitas vezes, do que justificou a sua criação. A lista Qualis é, apenas, um instrumento auxiliar no processo de avaliação dos programas. Não se trata de um indexador de periódicos. Por ser um instrumento auxiliar da avaliação, durante o quadriênio as classificações são ajustadas, procurando potencializar a sua capacidade de classificar qualitativamente os periódicos para uma melhor avaliação dos programas.

Algumas área avaliam, ainda, livros e anais de eventos.

Direito é uma área que avalia os livros desde quando esse processo foi iniciado. A partir da avaliação realizada em 2010, que incluía o período 2007-2009, o CTC-ES entendeu que já havia um certo avanço na prática de avaliar periódicos e decidiu que as áreas que consideram o livro como veículo importante de produção intelectual precisariam assumir o desafio de avaliá-los. Hoje, os livros são classificados em quatro estratos, de L1 a L4. Os coordenadores de programas de pós-graduação enviam os livros publicados por seus docentes a uma Biblioteca de referência, escolhida pela área, onde serão analisados por uma comissão formada por comissões formadas por docentes da pós-graduação.

Este ano de 2016 será o primeiro no qual haverá uma classificação específica para anais de eventos na área de Direito. Era comum que os grandes eventos da área de Direito resultassem na publicação de livros, com os trabalhos apresentados sendo transformados em capítulos. Como livros e anais de eventos são produções intelectuais como características diferentes, precisam de formas diferentes de avaliação.