Discriminação algorítmica de gênero pelo tratamento automatizado de dados

Com a chegada da denominada sociedade da informação ou era do big data, a economia e a sociedade têm vivenciado incontáveis modificações decorrentes do desenvolvimento de novas TICs (tecnologias de informação e comunicação).

O processamento e o tratamento de dados de forma automatizada têm sido uma prática cada vez mais usual e utilizada para os mais variados fins: desde a contratação de empregados ao aumento de desempenho de gestão e produtividade das empresas.

Nesse contexto, buscamos analisar como as novas tecnologias introduzidas pela sociedade da informação, mais especificamente o tratamento de dados sob a perspectiva de gênero, perpetuam desigualdades e discriminação.

Da análise do contexto histórico, questões de gênero acabam sendo profundamente impactadas e agravadas pelo tratamento de dados e pelo uso de inteligência artificial.

Todavia, em que pese a existência de legislação direcionada ao tratamento de dados (LGPD), apenas a letra da lei não é suficiente para corrigir a discrepância histórica, que tende a ser perpetuada sem as devidas correções, violando direitos humanos e fundamentais, imbricados na dignidade humana, como o da não discriminação e da igualdade, bem como o da privacidade.

Importante, ainda, destacar que conceituamos gênero pelo espectro político, portanto uma construção social atribuída ao sexo feminino, e não somente pelo contorno biológico, levando-se ainda em conta os marcadores sociais e a algorítmica e como esta afeta as mulheres de modo geral.

A inteligência artificial surgiu de maneira modesta e foi se sofisticando com o decorrer dos anos, na medida em que foi crescendo a complexidade dos problemas que necessitavam ser resolvidos e com o aumento significativo do volume de dados que passaram a circular em sociedade.

A automação surgiu da necessidade de que as máquinas pudessem evoluir e “aprender” por meio de experiências passadas uma hipótese ou função capaz de resolver determinado problema1. Este processo recebeu o nome de aprendizado da máquina 2.

Nesse contexto, é preciso destacar o cerne deste estudo, pois, para que a máquina aprenda, é necessário que dados sejam lançados em sua plataforma, de forma a alimentar seu conhecimento.

E já, neste início, antecipam-se as seguintes perguntas: quem é o responsável por inserir tais dados em determinada plataforma? Qual diferenciação ou estudo é feito sobre estes dados?

Luta das mulheres

Vale lembrar que ao longo de décadas, mulheres tiveram que lutar para serem inseridas em todos os espaços sociais e de poder, destacando-se os de conhecimento científico por afinidade ao tema tratado.

Infelizmente, essa exclusão não teve suas estruturas modificadas na atualidade, uma vez que ainda se mantém essa realidade discriminatória em relação ao gênero e a participação efetiva feminina não cresceu a ponto de evitar que o tratamento desigual continuasse existindo, haja vista que a área tecnológica é majoritariamente dominada por homens desde sua origem.

Dessa forma, vários desdobramentos da realidade discriminatória inerentes ao contexto da produção tecnológica e científica são refletidos na exclusão e no tratamento diferenciado dos dados apurados, ocasionando repercussões negativas em relação ao gênero feminino.

Outrossim, a falsa ideia de eliminação de vieses, trazida com as TICs ajudou na adesão à tomada de decisões de forma automatizada, pois se permitiria com o uso desta tecnologia acabar com critérios subjetivos da mente humana para tomada de decisões. Ocorre que, infelizmente, a extinção de vieses não é a realidade atual, pois já existem estudos robustos e consensos internacionais no sentido de que nao há neutralidade algorítmica.

Não raro, vemos casos de discriminação algorítmica nos diversos setores, dos quais destacamos: o setor de seguro, o recrutamento de emprego, no setor da saúde e hiperssexualização de mulheres, dentre outros.

Sob o rótulo de equações matemáticas, despersonalizadas, ocorrem inúmeras violações de direitos humanos e opressões a partir do uso das tecnologias digitais.

Citamos, por exemplo, um caso emblemático no qual ilustra a conduta não só misógina como racista devido ao uso de:

“Ferramentas de pesquisa em conjunto com algoritmos de ranqueamento de sites e imagens, como o Google Search e Google Images, respectivamente, foram acusadas de racismo algorítmico após inumeros casos de recomendação de sites pornôs quando se pesquisava por “meninas negras”. O caso foi classificado pela empresa como lapso não intencional e posteriormente o erro foi corrigido. A resposta evasiva do Google a essas acusações ilustra um comportamento relutante em reconhecer que seus algoritmos possam precisar de mudanças para não discriminarem grupos específicos.” [3]

Outro caso de grande repercussão ocorreu com a empresa Amazon.com, no caso de recrutamento e seleção de emprego através do uso de machine learning e tomada de decisões automatizadas. Apesar de o caso ter se tornado famoso, exemplificamos aqui, como a inserção de dados humanos pode acarretar em atos discriminatórios.

No ano seguinte, após o vazamento da informação, a empresa reconheceu que o sistema promovia uma conduta sexista. Isto porque, uma das formas de treinamento da IA era a análise de curriculos de um banco de dados de dez anos, que em sua maioria eram formados por homens, fato que fazia a IA reconhecê- los como as melhores opções. Ao analisar os documentos e encontrar o termo “mulher”, havia o descarte da candidata.

Uso de IA está cada vez mais presente

Cientes estamos de que a prática de uso de IA para seleção e recrutamento está cada vez mais presente quiçá sendo hoje majoritária. O caso Amazon.com, portanto, abriu a caixa de pandora para uma realidade um tanto desalmada.

Outros casos vieram à tona como a Hilton Worldwide Holdings Inc. e a Goldman Sachs Group que, conforme bem sintetizado por Beatriz e Vivian Graminho:

“[…] buscam automatizar partes do processo de contratação de candidatos. A Uber, por exemplo, está testando, nos Estados Unidos, um aplicativo para contratar funcionários temporários, chamado Uber Works. O programa, além de contratar serviços de ciclistas para entregas, também se destina a oferecer mão de obra em serviços como encanadores, empregadas domésticas, vigilantes, comércio e outras dezenas de setores…” ⁴

Como vemos, o people analytics, método de análise de dados e gestão de pessoas, baseado na coleta de dados sobre os empregados, por exemplo, já é uma realidade presente nas empresas e, como toda tecnologia inserida na sociedade, não irá retroceder.

Nesse cenário, de um avanço tecnológico voraz, no qual, na maioria das vezes as pessoas se expõem voluntariamente em redes sociais, sites, aplicativos, vídeos, dentre outros, é urgente encontrar o equilíbrio para o uso das informações privadas, mormente dados sensíveis, e a proteção aos direitos da pessoa humana, sobretudo como já exposto no recorte de gênero.

A ilustre professora Teresa Coelho Moreira alerta para o que chama de nudez tecnológica:

“Sem dúvida, a nudez tecnológica está presente com um controlo cada vez mais intrusivo feito por máquinas e um novo tipo de prova denominada de prova digital ou prova virtual, já que o essencial do controlo é invisível ao olho humano e toda uma vida profissional e pessoal está associada a uma máquina. Não estaremos a assistir novamente a uma reificação da pessoa humana? No futuro, perante esta nudez numérica, será necessário mudar de identidade numérica do novo homo numericus para poder obter-se um emprego?” ⁵

Além destes exemplos, citamos o caso dos estudos médicos e sua repercussão no âmbito tecnológico. É chocante nos depararmos com o fato destes estudos médicos serem realizados tendo, como padrão, corpos masculinos, ignorando- se o fato de que os corpos femininos possuem órgãos e hormônios distintos.

Mas não é só! As políticas públicas são baseadas no homem médio; os tamanhos de roupas consideram, como padrões universais, corpos de homens; e os próprios objetos tecnológicos são desenvolvidos baseados em corpos e pretensões do sexo masculino, como o tamanho da mão, considerado para a produção do tamanho do celular ou mesmo tamanho dos 0lhos, para tecnologia de reconhecimento facial.

Casos extremamente simbólicos também ocorrem no ramo de seguros como no famoso caso, nos Estados Unidos, em que se foi verificado que as empresas de seguro saúde cobravam valores excessivos de mulheres ou negavam a prestação de serviços para este gênero, pois com base nas análises públicas, constavam que os altos índices de violência doméstica causavam grande prejuízo às seguradoras.6

A absurda discriminação punia as vítimas duplamente: primeiro, pela discriminação em si, uma vez que negavam serviço ou imputavam custos excessivos a todas as mulheres, sendo que nem todas as mulheres são vítimas de violência; segundo, pois imputavam ao gênero feminino o custo da situação da qual eram vítimas. Violência doméstica é um problema estrutural, normalmente causado pelo abuso do poder masculino. Não são as mulheres que lhe dão origem, mas os homens, entretanto, na visão das seguradoras norte-americanas, estas eram quem deveriam pagar o custo.

Conforme abordado acima, é possível a contaminação destes vieses, sendo necessário mapeá-los durante o processo de automatização para que se possa extrair de que forma a discriminação de gênero consegue se perpetuar e como os agentes operadores podem agir para resolver esta questão.

De acordo com Caroline Criado Perez, “a maior parte da história humana é causada por um gap de gênero”7. Em se tratando de inteligência artificial para tomada automatizada de decisão, essa deverá ser a primeira questão a ser analisada, já que todos os programas se baseiam a partir de uma premissa básica: a leitura de dados.

Logo, se todo processo automatizado de tomada de decisão é reflexo dos dados capturados e se não há dados o bastante sobre mulheres, como os resultados finais automatizados podem espelhar a realidade feminina de maneira inclusiva e não discriminatória? Essa pergunta por si só já é suficiente para se apurar como a ausência de informações representativas ocasiona a discriminação de gênero, ainda que de forma indireta (sem intenção): se não há dados eficientes em relação ao gênero feminino, as decisões automatizadas também não alcançarão a solução adequada às mulheres.

Igualmente deverá ser analisada a qualidade dos dados tratados, para que contenham a correta representatividade do gênero feminino. Por último, necessário se faz atentar para que as informações não sejam utilizadas de maneira descontextualizada. O uso descontextualizado de dados para uma análise específica pode ocasionar associações inverídicas, transferindo vieses de dados que não guardam relação com o contexto tratado.

Ademais, para além da evolução normativa brasileira e internacional, a consciência, seja dos governos, das empresas ou dos cidadãos, sobre as decisões relativas à forma como os dados são recolhidos, partilhados e utilizados, tem, cada vez mais, consequências nas relações familiares, empresariais e de trabalho, de consumo, com o poder público, dentre outras. Em suma: sérias consequências humanas.

Nesse sentido, é imperioso se buscar um equilíbrio para o desenvolvimento de novas tecnologias e o direito à privacidade e igualdade, no caso em análise, a igualdade e a não discriminação de gênero, sendo necessário que se reconheça que o tratamento de dados de forma automatizada para tomada de decisões não só importa, como pode impactar a conclusão ou um resultado prejudicial a um determinado grupo ou minoria.

De toda sorte, concordemos ou não, a interpretação de dados sensíveis pode ser analisada sob uma ótica extensiva, máxime para contemplar grupos minoritários, aqui as mulheres e a intersseccionalidade necessária nesta interpretação legal, o que defendemos estar de pleno acordo com os princípios constitucionais, bem como os da própria LGPD.

Por esta razão, pensar diferente seria criar uma falsa simetria entre o tratamento social e, por conseguinte, virtual, que ainda é dado aos diferentes gêneros.

¹ CARVALHO, André Carlos Ponce; FACELLI, Katti; LORENA, Ana Carolina; GAMA, João. Inteligência Artificial: Uma abordagem de aprendizado da máquina. Rio de Janeiro: LTC, 2011. p. 2

² ALICEDA, Rodolfo Ignácio. Arquitetura de Controle Previstas na LGPD e sua aplicação às Inteligências Artificiais. IN: Empresas e Implementação da LGPD. Coord. Tarcísio Teixeira. São Paulo: Editora Juspodivm, 2022. p. 200.

³ TASO, Fernanda Tiemi de S.; REIS, Valéria Q.; MARTINEZ, Fábio H. Discriminação Algorítmica de Gênero: Estudo de Caso e Análise no Contexto Brasileiro. Disponível em https://www.researchgate.net/publication/373139729_Discriminacao_Algoritmica_de_Genero_E studo_de_Caso_e_Analise_no_Contexto_Brasileiro. Acesso em 29.07.2024.

⁴ REIS, Beatriz de Felippe; GRAMINHO, Vivian Maria Caxambu. A inteligência artificial no recrutamento de trabalhadores: o caso Amazon analisado sob a ótica dos direitos fundamentais, Disponível em <https://online.unisc.br/acadnet/anais/index.php/sidspp/article/view/19599> acesso em 29.07.2024.

⁵ MOREIRA, Tereza Coelho. Algumas Questões sobre trabalho 4.0. IN DE MEDEIROS, Benizete Ramos (Coord.). O Mundo do Trabalho em movimento e as recentes alterações legislativas: um olhar luso-brasileiro. São Paulo: Ltr, 2018. p. 197.

⁶ MULHOLLAND, Caitlin Sampaio. Dados Pessoais Sensíveis e a Tutela de Direitos Fundamentais: Uma análise à luz da Lei Geral de Proteção de Dados (Lei 13.709/18). Revista de Direitos e Garantias Fundamentais, Vitória, v. 19, n. 3, set.-dez., 2018, p. 167.