Problema da discriminação algorítmica de gênero na era das IAs generativas

O viés algorítmico de gênero pode se manifestar em várias aplicações de IA (inteligência artificial) e não apenas nas IAs generativas. Assim, por que o viés algorítmico de gênero seria mais problemático no caso das IAs generativas?

Em 2022, a ONG dinamarquesa Mind Future Foundation lançou uma proposta polêmica: a inclusão do 18º Objetivo de Desenvolvimento Sustentável (ODS) na Agenda 2030 da ONU [1]. A proposta teria como objetivo trazer parâmetros éticos para garantir a integração segura, ética e sustentável das IAs na convivência com seres humanos.

No caso das IAs generativas, plataformas como o ChatGPT, já participam de todos os âmbitos da vida humana, sendo utilizado para a produção de campanhas publicitárias, elaboração de artigos de jornal, geração de receitas para emagrecer e, até mesmo para responder matches em aplicativos de relacionamento.

Fato é que esta "nova era" tem trazido um novo grau de complexidade para vários temas, incluindo este que será abordado no presente artigo, ou seja, o viés algorítmico de gênero nos grandes modelos de IA generativa.

É de conhecimento geral que o viés algorítmico de gênero pode se manifestar em várias aplicações de IA e, não apenas nas IAs generativas, como já ocorreu com vários sistemas de avaliação de crédito, reconhecimento facial e recrutamento. Por exemplo, em um dos casos mais famosos de discriminação algorítmica contra mulheres, foi observado que o sistema de recrutamento da Amazon dava preferência aos currículos de homens em detrimento dos currículos de mulheres. O sistema "aprendeu" com base em bancos de dados formados por uma maioria masculina que, os candidatos homens eram preferíveis e, por isso, reproduziu esse padrão decisório no momento de filtrar os currículos [2].

Assim, se apresenta a seguinte questão: por que o viés algorítmico de gênero seria mais problemático no caso das IAs generativas?

Os grandes modelos de IA generativa são sistemas avançados de aprendizado de máquina treinados para gerar conteúdo, como texto, imagem, vídeo e áudio. Enquanto IAs generativas "criam", outros sistemas de IA "identificam", "classificam" ou "preveem". Isso diferencia as IAs generativas de outras aplicações que também contenham IA.

Como os conteúdos gerados são, geralmente, baseados em conjuntos de dados encontrados na internet, as IAs generativas podem refletir vieses e preconceitos presentes na sociedade em um curto espaço de tempo e em larga escala. Isso quer dizer que estes sistemas têm a capacidade de produzir uma quantidade significativa de conteúdo em muito pouco tempo, para milhares de pessoas e, para uma infinidade de finalidades.

Neste ponto, é importante mencionar o atual debate, na União Europeia, sobre como definir e regular as IAs generativas dentro do chamado AI Act. Em abril de 2023, foi apresentada uma nova versão de emenda ao AI Act, para inserir as IAs Generativas no escopo dos "Foundational Models", ou seja, modelos poderosos, altamente adaptáveis e flexíveis que podem ser utilizados para uma vasta gama de atividades [3]. Um dos objetivos da mencionada emenda foi trazer obrigações mais rigorosas para as empresas que fornecem ou empregam estas plataformas [4].

Independente do debate sobre a melhor abordagem de regulação para as IAs Generativas — o qual não é o objetivo deste texto —, importante destacar como estes sistemas podem ser utilizados para uma enormidade de propósitos na sociedade, ensejando uma série de consequências coletivas e globais. Logo, tais aplicações abrigam um grande potencial e podem afetar as oportunidades e o tratamento de grupos específicos em diferentes áreas da sociedade.

Em um portal de conteúdo especializado para desenvolvedores, o autor Bradston Henry relata sua experiência ao realizar um teste de viés algorítmico no ChatGPT [5]. Ao solicitar a geração de uma tabela com nomes aleatórios, locais, idades e comidas favoritas, Bradston percebeu que os dados gerados não eram tão aleatórios quanto pareciam.

Cada nome, localização e comida favorita correspondia a expectativas culturais relacionadas a essas pessoas. Por exemplo, o ChatGPT determinou que Aaron Kim, de Seul, teria como comida favorita o bibimbap. Megan Patel, da Índia, teria como comida favorita o curry. Já Olivia Martinez, da Espanha, teria como prato favorito tacos. Logo, conforme narra o próprio autor do teste, as respostas geradas continham viés cultural e geográfico [6].

Para completar o teste, Brandson relata que inseriu o seguinte prompt no ChatGPT: "Você poderia randomizar as comidas favoritas na tabela novamente sem influenciar a aleatoriedade para cultura, nacionalidade, raça ou gênero?" [7]. Apenas depois disso, foi obtida uma resposta não enviesada.

Em outro caso amplamente divulgado, a AI generativa de "texto para imagem" intitulada "Lensa" despiu as mulheres ao criar avatares com base em suas fotos. De acordo com uma das usuárias, "meus avatares eram pornificados, enquanto meus colegas homens eram astronautas, exploradores e inventores" [8]. Além disso, foi informado que mulheres com biótipos asiáticos, muitas vezes, tiveram suas fotos hipersexualizadas pelo Lensa quando comparadas a usuárias de outras etnias [9].

Neste sentido, também podemos mencionar o sistema de IA generativa "Dall-E 2", que gera imagens de homens brancos 97% das vezes em que recebe prompts como "CEO" ou "diretor" [10].

Como se pode notar, há uma infinidade de exemplos e relatos que revelam o óbvio: a conclusão de que a IA generativa está levando a discriminação algorítmica de gênero para um novo patamar, que impacta as gerações presentes e futuras.

É necessário considerar que, o conteúdo enviesado produzido por estas plataformas é disseminado amplamente, seja através das redes sociais, mídia ou outras ferramentas. Além da questão do alcance e da agilidade, o viés algorítmico de gênero é mais problemático nas IAs generativas devido à sua capacidade de gerar conteúdo para uma infinidade de usos, abarcando todas as áreas da vida humana.

O alcance, a multiplicidade de usos e a agilidade destas tecnologias em produzir novos conteúdos e informações em tempo recorde pode amplificar os vieses discriminatórios já existentes, além de perpetuá-los. No caso das mulheres, este fenômeno pode influenciar negativamente as percepções e expectativas sociais em relação a elas, reforçando, ampliando e perpetuando padrões discriminatórios.

Uma IA generativa pode incorporar estereótipos de gênero e preconceitos existentes nos dados em que foi treinada por muitos anos. Por exemplo, se o treinamento incluir textos que retratam mulheres em papéis estereotipados, cristalizados ao longo do tempo, a IA pode continuar reforçando essas representações no conteúdo gerado. Isso pode contribuir para a perpetuação e a ampliação de estereótipos de gênero na sociedade atravessando gerações.

Ao longo da literatura especializada em IA, muito se tem falado sobre a necessidade de estabelecer princípios e padrões éticos para a construção de uma IA justa, sustentável e imparcial. No entanto, a maioria dos estudos éticos sobre IA não têm contemplado um importante impacto destas novas tecnologias: os efeitos intergeracionais produzidos pela IA sobre toda a sociedade e a consequente necessidade de se pensar o tema desde uma perspectiva de "justiça" ou "ética" para com as próximas gerações.

A ética geracional é um campo de estudos voltado às relações éticas entre diferentes gerações. Entre os expoentes desta área de pesquisa estão os filósofos Hans Jonas, Derek Parfit, John Rawls, entre outros. Através desta ideia, procura-se analisar as obrigações morais que temos para com as futuras gerações, equilibrando os interesses do presente com os interesses do futuro da humanidade. A ética geracional parte do pressuposto de que as ações tomadas no presente terão impacto significativo nas gerações futuras [11].

Por isso, pode auxiliar na construção de princípios, estruturas e padrões contra o viés algorítmico de gênero, projetando uma IA que seja sustentável ao longo do tempo, ou seja, que consiga inovar no presente sem comprometer os direitos e interesses das gerações futuras. Esta concepção está intimamente conectada ao conceito clássico de "Sustentabilidade" que consiste no desenvolvimento que atende às necessidades do presente sem comprometer as gerações do futuro [12].

Assim, é necessário que a ética intergeracional seja tomada como um conceito normativo relevante ao endereçar o viés algorítmico de gênero na era da IA Generativa. Trata-se de um aspecto que deve ser considerado por reguladores, autoridades, especialistas e a sociedade civil, a fim de cessar a perpetuação da discriminação de gênero através da tecnologia.

Isto será particularmente importante para evitar que a propagação cada vez maior das IAs Generativas acarrete retrocesso nos avanços que os países fizeram em termos de igualdade de gênero nas últimas décadas.

Entretanto, para concretizar esta ideia na prática, é necessário aprovar um modelo de regulação equilibrado e eficiente, que não inviabilize o cumprimento de obrigações regulatórias para as empresas, mas, que também não delegue o problema à benevolência e à proatividade destas plataformas.

Considerando o risco que as IAs Generativas representam para a amplificação do viés de gênero, ela deve ser considerada desde este ponto de vista, ou seja, de uma perspectiva que possa abrigar o presente e o futuro, ressoando o genuíno sentido de sustentabilidade na tecnologia.

Neste momento de profunda transformação social e econômica trazida pelos grandes modelos de IA Generativa, é necessário refletir sobre qual será a nossa dívida para com as próximas gerações de meninas e mulheres.