Consultor Jurídico

Opinião

É possível falar em perspectiva de gênero em julgamentos algorítmicos?

Por 

Das inquietações nascidas dos estudos acerca do julgamento com perspectiva de gênero, nasceu outra inquietação decorrente dos estudos algorítmicos. Afinal, os julgamentos algorítmicos são compatíveis com julgamentos com perspectiva de gênero? Ou seja, as fórmulas matemáticas, traduzidas em algoritmos, têm condições de valorar situações concretas que exigem do(a) julgador(a) um atuar sob as lentes da perspectiva de gênero?

Os algoritmos, numa definição bem objetiva, são uma sequência de passos, descrita e organizada para resolver problemas ou executar tarefas. Tais algoritmos, portanto, são carregados de dados e códigos, cuja combinação levará a um resultado determinado.

Ao mesmo tempo em que essas fórmulas algorítmicas são usadas em situações triviais do dia a dia, como em aplicativos de transporte e comidas, na seleção de músicas e filmes que aparecem nas nossas playlists, programas de tradução de idiomas, entre outras, eles também são utilizados para a tomadas de decisões que impactam diretamente na vida das pessoas, como em processos de seleção para vagas de emprego, concessão ou negativa de empréstimos, aceitação ou negação a planos de saúde, demissão de trabalhadores, reconhecimento facial em processos criminais e, mais recentemente, em algumas modalidades de decisões judicias.

Defensores das decisões algorítmicas sustentam que elas são mais objetivas e imparciais, pois despidas da subjetividade e da carga valorativa que acomete as decisões tomadas por seres humanos e, por isso, implicariam, inclusive, em decisões "mais justas".

Contudo, ainda que os algoritmos se apresentem como fórmulas matemáticas, é preciso entender que o uso dessa tecnologia não é neutro, pois ela nasce dentro de um contexto social, econômico e político, permeado por desigualdades e vieses discriminatórios. Portanto, assim como os(as) tomadores(as) de decisões não são neutros(as), os(as) programadores(as), responsáveis pela elaboração dos algoritmos, também não são neutros(as). Por isso, a suposta neutralidade das decisões algorítmicas não pode ser tida como fato, e merece ser questionada.

Cathy O'Neil — matemática americana que tem se dedicado a alertar as pessoas sobre o domínio dos algoritmos nas tomadas de decisões, desde as mais simples as mais complexas, e que escreveu o livro "Armas de destruição matemática", no qual usa esse trocadilho para chamar a atenção sobre esta situaçãoafirma que algoritmos são opiniões embutidas em códigos e que não são objetivos, pois existem escolhas éticas em cada algoritmo que construímos [1].

Dentro dessa perspectiva, volto à pergunta inicial: os julgamentos algorítmicos, baseados em fórmulas matemáticas, que no nosso sistema regulatório sequer admitem a revisão humana [2], permitem uma análise valorativa, no intuito de corrigir eventuais assimetrias forjadas em modelos aparentemente "neutros"? Ou seja, é possível aplicar as lentes da perspectiva de gênero em julgamentos despersonalizados?

Julgar com perspectiva de gênero não significa atuar em benefício de um determinado polo da relação processual, mas, sim, atuar no sentido de corrigir desigualdades estruturais baseadas em gênero e outros marcadores, como raça, classe e orientação sexual.

Segundo o protocolo elaborado pelo México em 2013 [3], "a aplicação da perspectiva de gênero no exercício argumentativo de quem aplica a justiça, é uma forma de garantir o direito a igualdade e de fazer com que se manifeste como um princípio fundamental na busca de soluções justas. Isso impactará nas pessoas, na consecução dos seus projetos de vida e na caracterização do Estado como um garantidor destes ditos projetos".

Ainda, segundo o protocolo, "o que determina se em um processo se deve ou não aplicar a perspectiva de gênero é a existência de situações assimétricas de poder ou de contextos de desigualdade estrutural baseados em sexo, gênero, ou orientações sexuais das pessoas" [4].

A perspectiva de gênero, portanto, convida julgadores, julgadoras e demais partícipes da relação processual a incorporar em seus trabalhos de argumentação uma análise dos possíveis preconceitos e discriminações que, de maneira implícita ou explícita, podem estar contidos na lei ou no caso concreto.

O julgamento com as lentes da perspectiva de gênero busca justamente demostrar que a simples aplicação de normas supostamente neutras, mas que escondem diversos vieses, é insuficiente para a correção de desigualdades estruturais, até porque, não raras vezes, a aplicação dessas normas, elaboradas a partir de um modelo sexista, patriarcal, racista, preconceituoso, poderá reforçar tais desigualdades, ao invés de corrigi-las.

Diante dessas ponderações, e considerando que a própria concepção do julgamento algorítmico dificulta uma análise valorativa nas suas decisões, poder-se-ia entender, num primeiro momento, que os julgamentos algorítmicos são incompatíveis com julgamentos com perspectiva de gênero. O veto ao parágrafo 3º do artigo 20 da LGPD, que previa a possibilidade de revisão humana às decisões algorítmicas, reforçaria tal incompatibilidade, já que se não é possível a interferência humana nas decisões tomadas por máquinas, de que forma seria possível pretender que os julgamentos despersonalizados fossem permeados pelas lentes da perspectiva de gênero e outras interseccionalidades, de modo a evitar julgamentos discriminatórios?

A professora Ana Frazão, em uma série de artigos sobre discriminação algorítmica, chama atenção para as limitações decorrentes da ausência de valoração humana em decisões automatizadas, destacando que "nas decisões algorítmicas, é fundamental complementá-las com outras análises qualitativas que possam abranger os aspectos valorativos que devem nortear os julgamentos sobre as pessoas, a fim de evitar resultados discriminatórios ou inaceitáveis" [5].

Ainda que se trate de uma questão bastante complexa, como suscintamente exposto neste artigo, entendo que, ao contrário do que parece, é possível, sim, que os julgamentos automatizados sejam permeados pelas lentes da perspectiva de gênero, no intuito de se obter julgamentos mais justos e não discriminatórios. Para tanto, aponto algumas sugestões que, ao serem conjugadas aos critérios matemáticos, viabilizarão julgamentos despersonalizados atentos às lentes da perspectiva de gênero e outros marcadores de vulnerabilidade sociais:

1) Proporcionar maior diversidade e pluralidade de programadores, ou seja, maior inclusão dos diversos grupos sociais nas empresas de tecnologia;

2) Incorporação dos direitos humanos nos diversos ciclos de desenvolvimento da tecnologia;

3) Atribuir olhar humano para os dados. Nesse ponto, ressalto que o artigo 6º da Lei Geral de Proteção de Dados — LGPD (Lei 13.709/2018) expressamente elenca o princípio da não discriminação (inciso IX) entre os princípios que devem ser observados nas atividades de tratamento de dados pessoais.

4) O uso da tecnologia, ainda que disponível para a tomada de decisões, não deve ser uma regra, e, sim, uma escolha, de modo que tal escolha seja feita considerando que existem raciocínios que não são compatíveis com modelos algorítmicos, pois necessitam de uma análise valorativa e ética específica às habilidades humanas;

5) Perguntar-se a todo momento o que pode dar errado no uso na tecnologia — testes [6];

6) Observar os dados utilizados a partir das diversidades de experiências em que eles são produzidos [7];

7) Existência de regulação. Ainda que a existência de uma regulação específica não seja garantia de decisões automatizadas não discriminatórias e atentas a perspectiva de gênero, ela pode assegurar, ao menos, critérios, parâmetros e princípios para o tratamento e utilização de dados, especialmente aqueles tidos como dados sensíveis [8];

8) Ampliação às informações e estudos sobre o uso e manipulação de dados.

É evidente que este artigo não esgota a discussão sobre o assunto, nem apresenta respostas exatas, mas pretende despertar a atenção, não apenas dos atores que atuam no sistema de Justiça, mas de todos(as) aqueles(as) que são afetados(as) por decisões automatizadas que, vestidas sob o "véu da neutralidade das máquinas", escondem vieses discriminatórios arraigados em nossa sociedade.

Não se pretende aqui valorar de forma negativa os julgamentos automatizados, mas apresentar elementos que tornem estes julgamentos compatíveis com valores éticos inafastáveis a qualquer decisão, afinal "a crença na história depende da confiança no contador de histórias".

 

[2] O parágrafo 3º do artigo 20 da Lei Geral de proteção de Dados (LGPD — Lei 13.709/2018) que previa a possibilidade de revisão humana nas decisões tomadas por tecnologias automatizadas foi vetado. Com o veto ao parágrafo 3º, a revisão das decisões automatizadas (a exemplo da realizada por algoritmos), é realizada também por algoritmo, sem qualquer interferência humana. Artigo 20 — "O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade".

[3] Protocolo Mexicano para julgar com perspectiva de gênero, 1ª edição julho 2013, p. 76.

[4] Protocolo Mexicano para julgar com perspectiva de gênero, 1ª edição julho 2013, p. 77.

[5] FRAZÃO, Ana. Discriminação algorítmica: resgatando os aspectos positivos dos julgamentos humanos. A importância das narrativas, das contextualizações e das molduras cognitivas. In https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/discriminacao-algoritmica-resgatando-os-aspectos-positivos-dos-julgamentos-humanos-01092021.

[6] Conforme aponta Thiago Junqueira, "no processo de controle da discriminação em virtude de um determinado atributo, envolveria a sua consideração no momento de treinamento e calibragem do sistema automatizado. Ao término do aprendizado, ele seria rodado duas vezes, uma sem e outra com o atributo, oportunidade em que se verificaria se o resultado seria semelhante. Se, por exemplo, a análise do endereço estivesse levando a um mesmo resultado que a consideração da raça, poder-se-ia concluir que nenhum dos dois elementos deveria ser utilizado. In JUNQUEIRA, Thiago. Tratamento de dados pessoais e discriminação algorítmica nos seguros. São Paulo: Thomson Reuters, 2020, p. 265-266.

[7] Um exemplo clássico que demonstra as distorções que podem acontecer quando se parte de padrões dominantes para a elaboração de fórmulas algorítmicas, pode ser observado quando se coloca em determinado aplicativo de busca a expressão "vestido de noiva". Quando se pede exemplos de vestidos de noiva no google, por exemplo, aparece, na sua grande maioria, vestidos brancos, que reflete um padrão americano-europeu, mas não é a realidade dos vestidos na Índia e em vários países africanos, que, de acordo com suas raízes culturais, utilizam cores variadas nos vestidos das suas noivas.

[8] Nos termos do artigo 5º, inciso II da LGPD, dado pessoal sensível, são dados sobre origem racial ou étnica, convicção religiosa, opinião política, filiação a sindicato ou a organização de caráter religioso, filosófico ou político, dado referente à saúde ou à vida sexual, dado genético ou biométrico, quando vinculado a uma pessoa natural.




Topo da página

 é juíza titular do Trabalho no Tribunal Regional do Trabalho da 9ª Região (PR), mestre em Direito Econômico e Social pela PUC-PR e integrante da Comissão de Direitos Humanos da Associação Nacional dos Magistrados e Magistradas do Trabalho (Anamatra).

Revista Consultor Jurídico, 24 de setembro de 2021, 13h51

Comentários de leitores

0 comentários

Comentários encerrados em 02/10/2021.
A seção de comentários de cada texto é encerrada 7 dias após a data da sua publicação.