Governança, accountability e avaliação de impacto algorítmico

Quando nos deparamos com questões de governança, accountability e avaliações de impacto precisamos entender, inicialmente, o que significa governança. A partir de uma perspectiva geral, governança significa atuação administrativa que possui três funções: avaliar, direcionar e monitorar.

Avaliar o estado da coisa para definir o que precisa ser feito; direcionar as atividades para o que precisa ser feito; e, monitorar a execução do que foi direcionado para ser executado, ou seja, monitorar os resultados. Esse é um ciclo contínuo que faz com que a governança esteja (e seja um ato) em conformidade com os parâmetros éticos, constitucionais e contemporâneos de legalidade.

Em 2007, o Banco Mundial [1] elencou alguns princípios como fator decisivo para uma boa governança. Dentre eles estava o princípio da accountability, ou seja, o dever da prestação de contas, que estaria intimamente ligado à transparência das etapas de todo e qualquer processo de negócio. Isso porque é importante e interessante relembrar que existem três tipos de accountability:

1. Vertical: na qual a correlação entre dever de prestar contas e exigir contas está entre o povo e a administração, acarretando uma espécie de soberania popular que se manifesta, por exemplo, a partir do voto, plebiscito etc.;
2. Horizontal: em que a mesma correlação se encontra entre poderes ou órgãos;
3. Social: na qual a mesma correlação está na percepção de ONGs, da mídia ou de sindicatos, por exemplo, denunciando abusos de poder.

Accountability, então, seria um procedimento interno para fins de percepção do que existe enquanto processo de negócio e uma análise da legalidade desse processo. A partir disso, teríamos, como um de seus resultados, a definição de quem seria responsável pelo que. Entretanto, para fazer com que isso aconteça é necessário utilizar avaliações de impacto como ferramenta essencial para obtenção de um panorama razoável e fundamentado.

Ao falarmos de sistemas baseados em inteligências artificiais, essa ferramenta passa a ser chamada de “Avaliação de impacto algorítmico”, que serve para:

1. Descrever o sistema baseado em inteligência artificial;
2. Identificar os seus riscos; e,
3. Identificar mecanismos para mitigação dos riscos encontrados.

Para isso, um programa de accountability deve ser baseado em transparência, responsabilidade e qualidade dos dados. Esse seria o alicerce para um ecossistema digital ético.

Quais são as melhores práticas para garantir accountability no desenvolvimento e uso de sistemas de IA e qual o papel da transparência nesse processo?

Diante do necessário narrado no capítulo anterior, falar de melhores práticas ou boas práticas se torna essencial para garantir accountability. Isso porque uma ferramenta de avaliação deve ser guiada pelos parâmetros e princípios éticos estabelecidos pela constituição de um país, mas também pelas diretrizes éticas emanadas pela legislação infraconstitucional.

Dessa forma, é necessário que inicialmente seja implantado programa ético de desenvolvimento ou utilização de sistemas de IA  não só baseados, mas também que respeitem legislações já existentes, como: Constituição de 1988, Código de Defesa do Consumidor, Código Civil, Lei Geral de Proteção de Dados, Marco Civil da Internet e tantas outras.

É relevante mencionar que o programa ético implantado seja centrado nas pessoas tendo em vista que questões éticas existentes ou visíveis nos sistemas baseados em inteligência artificial são reflexos dos comportamentos humanos. Nesse sentido, a FGV Direito/SP construiu um framework para a criação de comitês de ética em inteligência artificial [2]. A pesquisa que foi realizada pelo Centro de Ensino, Pesquisa e Inovação (Cepi) da Instituição demonstra que a presença de um comitê de ética é fundamental para entender os riscos do sistema baseado em IA, bem como para discutir dilemas éticos envolvidos.

A transparência de informações é outro ponto importantíssimo quando o assunto é boas práticas. Essa atitude no formato vertical, horizontal ou social da governança gera a confiança interna e externa necessária para dar força ao alicerce do sistema que está sendo construído.

É importante pensar, ainda, na atribuição de responsabilidades pelas tomadas de decisão no desenvolvimento e no uso do sistema baseado em IA. Aqui cabe definir métricas de desempenho, bem como a supervisão contínua dos resultados obtidos com o sistema. Ou seja, indicar agentes responsáveis é um passo importante e necessário, assim como definir procedimentos de colaboração com autoridades competentes, garantir a qualidade dos dados para evitar vieses e aplicações discriminatórias, bem como manter uma supervisão humana.

Como a AIA pode ajudar a identificar e mitigar vieses e discriminação em sistemas de IA?

É exatamente neste ponto de melhores práticas que se deve acessar o assunto avaliação de impacto algorítmico (AIA). A ferramenta, como já comentado, auxilia na manutenção da transparência, gera confiança interna e externa entre funcionário, empresa e stakeholders, bem como na mitigação de vieses humanos ou algorítmicos.

Isto porque, ao falar de AIA está-se trazendo à tona uma ferramenta de funcionamento similar ao Relatório de impacto de proteção de dados pessoais (RIPD). Ou seja, realizar a AIA significa também olhar para os dados que estão sendo utilizados naquele sistema. Dessa forma, ao realizar as três primeiras etapas da ferramenta [3], o sistema já está pronto para identificação e avaliação dos riscos envolvidos. E essa análise poderá ser feita a partir da utilização da matriz de risco, por exemplo, onde temos o balanço entre probabilidade e impacto (PxI) como parâmetro para definir se um sistema deve seguir ou não com aquela operação a partir da análise da gravidade do risco encontrado. É nesse momento que os vieses são identificados e precisam ser endereçados para fins de mitigação.

Ou seja, ao encontrar vieses e potenciais discriminações nos sistemas de IA será necessário decidir o que fazer. Nesse momento entra o gerenciamento ou o balanceamento de salvaguardas humanos e/ou técnicos seguidos de mais três etapas que se constituem pela avaliação da proporcionalidade entre a finalidade e o resultado do sistema (aqui entra o apetite de risco de cada empresa que capitaneia o sistema de IA que está sendo avaliado), a averiguação de riscos residuais, consultas prévias à autoridade de supervisão (interna e externa) e a documentação disponível ou publicada para fins de resguardo ou cautela empresarial, administrativa e/ou judicial.

Dessa forma, a AIA não só auxilia na identificação e mitigação de vieses e discriminação em sistemas baseados em IA, como também tem o potencial de reformular todo o negócio a partir da assunção do ethics by design. Isso porque, ao descrever o sistema e avaliar a sua legalidade, está-se diante dos valores e dos interesses que comandam o desenvolvedor do sistema. Assim, o comando VEJA – ASSUMA – RESOLVA existente na accountability e na utilização da AIA deixa de ser um mero checklist e passa a ser uma obrigação social que inibe práticas de ethics washing [4], por exemplo.

O Laboratório de Políticas Públicas e Internet (Lapin) [5] elaborou um relatório que explica a AIA e traz as etapas mencionadas acima. É um importante material a ser lido, estudado e executado.

Quais são os papeis e responsabilidades dos reguladores e legisladores na governança, accountability e avaliação de impacto algorítmico?

Por esse motivo, é que o papel do legislador não se restringe a uma mera regulação. É necessário pensar que o legislador precisa garantir a existência de uma legislação aplicável, não obsoleta, que garanta a inimputabilidade da rede, que não barre inovações, que garanta direitos constitucionalmente estabelecidos e que reforce questões éticas de desenvolvimento e uso de sistemas baseados em inteligências artificiais.

Quanto ao Estado regulador, é necessário pensar numa figura que tenha força, voz, autonomia e ferramentas para fazer cumprir o que está posto em termos de lei, por meio de fiscalização efetiva em busca de garantia de direitos.

[1] Para entender melhor sobre o assunto, o TCU elaborou um material sobre referencial básico de governança aplicável a órgão e a entidades da administração pública que está disponível em https://portal.tcu.gov.br/data/files/6A/B6/39/85/1CD4671023455957E18818A8/Referencial_basico_governanca_1_edicao.PDF

[2] Disponível em https://direitosp.fgv.br/noticias/fgv-direito-sp-publica-framework-para-comites-etica-ia

[3] Descrição detalhada do sistema de IA; avaliação da legalidade da finalidade do sistema de IA; avaliação da necessidade de participação de terceiros.

[4] Prática de falar muito sobre ética e tomar ações pouco significativas para a execução do que foi dito.

[5] Disponível em https://lapin.org.br/wp-content/uploads/2023/04/RelatorioAIA.pdf