Tutela da pessoa humana na adoção de decisões automatizadas de seguros

A realidade social é progressivamente permeada por estruturas que viabilizam uma coleta ostensiva de dados, pessoais ou não, suscetíveis de serem canalizados para alimentar sistemas e para direcionar a eles atividades que eram consideradas próprias do ser humano.

As possibilidades tecnológicas que, até então, expressavam-se quantitativamente se ampliam em uma dimensão qualitativa, assumindo prerrogativas tidas como genuinamente humanas. ^[1] Como justificativa para tanto, verificam-se apelos por maior “racionalização”, eficiência e previsibilidade.

Entre suas múltiplas potencialidades, o tratamento de dados passa a ser utilizado com o fim de suprir uma carência de informações, sobretudo como tentativa de antever o futuro. Em outros termos, dados e informações conhecidos são utilizados para fazer inferências sobre elementos que não se conhece ou se conhece de maneira insuficiente. Nessa direção, o processamento de dados se apresenta como uma forma de simplificar decisões e de incrementar a eficiência em ambientes caracterizados por déficits de informação. ^[2]

Entre os vários setores da vida social em que se utilizam as chamadas decisões automatizadas, baseadas em sistemas como de inteligência artificial, está o de seguros, especialmente quando se considera o caráter de aleatoriedade presente nesses contratos e a busca de maior precisão na fixação da contraprestação, em atenção aos riscos efetivamente envolvidos em determinado caso.

De um lado, mapeiam-se possíveis distorções geradas por generalizações que não encontram correspondência nos casos individualmente avaliados e, de outro, questiona-se sobre o aspecto invasivo e discriminatório que a ampla utilização de informações pessoais pode assumir.

Nesse cenário, Laura Mendes e Marcela Mattiuzzo associam o termo “discriminação algorítmica” aos cenários que envolvem afirmações estatisticamente inconsistentes, bem como àqueles que, embora pautados em informações estatisticamente consistentes e lógicas, tomam os indivíduos que são dela objeto de uma forma a desconsiderar a sua situação particular, apenas compreendendo-os como parte de um grupo. Enquanto formas de discriminação algorítmica, identifica-se a possibilidade de que se dê por erro estatístico, por generalização, por uso de informações sensíveis e por limitação do exercício de direitos. [3]

A princípio, a utilização de generalizações para decisões ditas atuariais, como aquelas baseadas em estatísticas, a respeito de seres humanos é muito comum em qualquer sistema jurídico, e mesmo indispensável.

Exemplos são as previsões de que é acima de certa idade que deve se admitir o direito ao voto, a possibilidade de ingerir bebidas alcoolicas ou a definição do limite de velocidade em uma rodovia. Para além da distinção entre generalizações inconsistentes e as consistentes, a questão discriminatória pode se fazer presente não apenas no campo da inconsistência, mas também com relação a generalizações estatisticamente consistentes, mas não universais.

A partir de Schauer, Mendes e Mattiuzzo, destacam que a questão residiria no fato de que todos os seres humanos merecem ser tratados como indivíduos, e não apenas como membros de um determinado grupo, a indicar que decisões atuariais são, na maior parte das vezes, moralmente problemáticas. [4]

Como destaca John Searle, “a generalização enuncia uma regularidade. O conhecimento de tal regularidade pode ser útil para uma predição, mas nada explica a propósito de casos individuais da conduta humana”. [5]

Seguros

No campo dos seguros, Thiago Junqueira, partindo da consideração da necessidade de generalização nesse campo — sem olvidar as críticas ao modelo da ciência atuarial —, bem como da admissibilidade da discricionariedade por parte do segurador, pondera que o uso de sistemas automatizados, em que pese diminuir os riscos de discriminação por generalização, poderia ensejar maior risco de discriminação ilícita ou abusiva, relacionada, ainda que indiretamente, a atributos proibidos, como raça, ou a fatores que não guardam relação com a cobertura contratual. [6]

Os riscos atinentes às práticas de psicometria da pessoa com base em dados, nesse cenário, já eram exemplificados por Stefano Rodotà, como no conhecimento, pelo empregador ou por parte de uma seguradora, de informações relativas à infecção de uma pessoa pelo vírus HIV ou de características genéticas específicas, enquanto dados sensíveis com amplo potencial de gerar discriminações, que poderiam se dar na forma de demissão, não admissão, recusa em firmar um contrato de seguro ou condicionamento do contrato a um alto prêmio, fora dos padrões regulares. [7]

Nos Estados Unidos, por exemplo, seguradoras utilizaram dados pessoais de vítimas de violência doméstica que constavam em bancos de dados públicos para fins de perfilização, com o resultado de discriminação negativa a essas vítimas, na medida em que sugeriu que essas mulheres não poderiam contratar seguros de vida, de saúde e de invalidez. [8]

No caso destacado por Frank Pasquale, o jornalista Chad Terhune, em 2008, fez a primeira reportagem sobre as muitas maneiras pelas quais os dados de prescrições médicas estavam sendo utilizados no mercado de seguros individuais. Empresas estavam reunindo milhões de registros em farmácias e vendendo para seguradoras.

Pretendia-se evitar pessoas que provavelmente incorreriam em altas despesas médicas, baseando-se na estimativa de que 1% dos pacientes é responsável por mais de um quinto dos custos com os cuidados de saúde e de que 5% é responsável por quase metade dos custos.

Nessa direção, seguradoras alcançavam as informações de que necessitavam para adaptar as apólices de modo a excluir condições pré-existentes e a impor encargos mais elevados a algumas pessoas, tendo por resultado a discriminação de pessoas com saúde fragilizada. Tentou-se endereçar a situação com a aprovação do Affordable Care Act (ACA), que proibiu seguradoras de discriminarem com base em condições pré-existentes de saúde. [9]

Adicionalmente, considerando que sistemas de inteligência artificial são associados à realização de correlações, que não necessariamente implicam em causalidade, a literatura mapeia o problema de resultados algorítmicos que, embora estatisticamente acurados, apresentam questões sociais e políticas críticas, como a associação de raça a variáveis de interesse como propensão a ser condenado por furto, de realizar alguma fraude tributária, de quitar tempestivamente um empréstimo ou de alcançar o topo de determinadas carreiras. [10]

Em um cenário no qual as categorias algorítmicas estão associadas a sinalizar certeza, desencorajar explorações alternativas e criar coerência entre objetos díspares, [11] a utilização de algoritmos para a tomada de decisões pode atestar a saída de uma era crítica, de acordo com Antoinette Rouvroy.

O propósito seria o de reduzir a grande variedade de futuros possíveis a apenas um futuro, desprovido de incertezas. [12] A questão reside, portanto, em se reconhecer os limites das predições, em tentativas de se precisar os riscos, e os problemas jurídicos postos pela automatização em um paradigma de datificação dos mais variados aspectos da vida humana.

Reconhece-se a impropriedade de se apresentar respostas categóricas sobre os caminhos legítimos a serem percorridos em tais aplicações, se mais ancorados em generalizações ou se pautados na busca de maior precisão com base em dados. Todavia, tais questões devem ser refletidas quando de sua adoção, no caso concreto, em atenção à legalidade constitucional, notadamente levando em consideração a expressa natureza de direito fundamental da proteção de dados pessoais.

No Brasil, a Lei Geral de Proteção de Dados Pessoais (Lei nº 13.709 de 2018, acrônimo “LGPD”), ao assumir um caráter de transversalidade — também referida como omnibus approach — assume o papel de uma diretriz geral para a automatização de decisões e para o tratamento de dados pessoais e dos não pessoais, estes quando utilizados para a construção de perfis comportamentais (artigo 12, §2º, da LGPD), nas práticas securitárias.

Em específico, a sua principiologia, sobretudo os princípios da finalidade, da necessidade, da transparência, da qualidade, da prevenção, da não discriminação, da responsabilização e prestação de contas são valiosas diretrizes para as decisões automatizadas no âmbito dos seguros.

Devem ser enfatizadas, em específico, a explicação e a revisão de decisões automatizadas. A explicação revela-se no fornecimento ao titular de dados de informações “claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada” (artigo 20, §1º, da LGPD), em caráter dialógico, que autorize o titular a, eventualmente, enfrentar a decisão.

Em que pese o desafio da inescrutabilidade dos sistemas geradores das decisões, na medida em que envolvem o uso de algoritmos complexos, a explicabilidade se revela como importante vetor no cenário interno e internacional, apesar de obstáculos como o segredo de empresa.

Para além da explicabilidade, fala-se em “justificabilidade”, em termos de necessidade e de proporcionalidade, das decisões automatizadas, da pertinência das categorias de dados utilizadas e da relevância dos mecanismos de criação de perfis. Nesse sentido, o propósito não seria apenas a transparência da tecnologia em si, mas uma explicação da legalidade, da justiça e da legitimidade dessas decisões. [13]

A revisão de decisões automatizadas, por seu turno, prevista no caput do artigo 20, da LGPD, deve transcender um caráter meramente individual, mas assumir também uma perspectiva fisiológica, no sentido de se verificar a lisura e a pertinência daquele determinado resultado algorítmico, independentemente de provocação por parte do titular.

Pretende-se, a rigor, evitar situações patológicas com o fim de se promover uma tutela coletiva em termos de proteção de dados pessoais e, por consequência, de vários outros direitos fundamentais afetados, como a saúde, a vida e a própria dignidade humana.

A construção de parâmetros para a revisão de decisões automatizadas, como desenvolvido em outra sede, ganha evidência, bem como o reconhecimento da necessidade de intervenção humana no âmbito dessas decisões, a partir de uma interpretação sistemática e constitucionalizada da revisão prevista na LGPD. [14]

A relevância do tema pode ser exemplificada na experiência alemã, que trouxe uma abordagem setorial no campo dos seguros para as decisões automatizadas, delineando alguns parâmetros próprios. [15]

Como lecionava o saudoso professor Danilo Doneda, “a existência de um mercado para as informações pessoais é algo com que o direito deve conviver, e não somente pela dose de pragmatismo necessária à ação do jurista”, mas porque o mercado é um dos agentes responsáveis por promover tal fluxo, importando, primeiramente, considerar qual mercado e quais regras a orientarem as práticas concretas.[16]

Assim, além do enforcement em caráter individual da explicação e da revisão dessas decisões na prática securitária, recomenda-se progressiva atenção para os mecanismos coletivos de proteção, como a avaliação e o relatório de impacto à proteção de dados pessoais; o desenho dos sistemas; auditorias internas e externas; indicação de selos de privacidade não obrigatórios e mecanismos de certificação; códigos de conduta; comitês de ética, entre outros.

Vale dizer, a consideração de atributos comportamentais positivos, que não estejam eivados de caráter discriminatório ilícito ou abusivo, pode representar importante diretriz para as decisões automatizadas.

A garantia de riscos na sociedade, a partir dos seguros, poderia assumir um caráter mais preciso diante da sinistralidade envolvida em cada caso, bem como estimular comportamentos com repercussão social positiva, desde que orientando-se pelo uso legítimo de dados pessoais.

Com efeito, a relevância dos seguros, especialmente em sua expressão de solidariedade social, deve se alinhar à adequação das diretrizes lançadas pela LGPD, à luz da Constituição, no sentido de se promover a tutela da pessoa humana quando da adoção de decisões automatizadas.

* esta coluna é produzida pelos professores Ilan Goldberg e Thiago Junqueira, bem como por convidados.

______________________________

^[1] DONEDA, Danilo Cesar Maganhoto; MENDES, Laura Schertel; SOUZA, Carlos Affonso Pereira de; ANDRADE, Norberto Nuno Martin Becerra Gomes de. Considerações iniciais sobre inteligência artificial, ética e autonomia pessoal. Pensar – Revista de Ciências Jurídicas, [S.L.], v. 23, n. 04, p. 1-17, 2018. Fundação Edson Queiroz. http://dx.doi.org/10.5020/2317-2150.2018.8257. p. 2.

^[2] MENDES, Laura Schertel; MATTIUZZO, Marcela. Discriminação Algorítmica: conceito, fundamento legal e tipologia. Revista Direito Público, Porto Alegre, v. 16, n. 90, p. 39-64, dez. 2019. Dossiê Proteção de Dados e Inteligência Artificial: Perspectivas Éticas e Regulatórias.

[3] MENDES, Laura Schertel; MATTIUZZO, Marcela. Ibid.

[4] MENDES, Laura Schertel; MATTIUZZO, Marcela. Ibid. Em se tratando de discriminação estatística, em atenção à teoria econômica que se tornou conhecida a partir de Edmund Phelps (1972) e de Kenneth Arrow (1973), a diferenciação dos indivíduos se daria com base em características prováveis de um grupo no qual esse indivíduo foi inserido, de maneira que atributos conhecidos são utilizados para identificar características de maior dificuldade de delimitação, como risco de inadimplência, produtividade no trabalho, nível de renda, entre outros. Nesse campo, seria possível a ocorrência de “discriminação por erro estatístico, o que decorreria tanto de dados incorretamente capturados, como também de modelo estatístico de bases científicas frágeis”. (BRITZ, Gabriele. Freie Entfaltung durch Selbstdarstellung. Tübingen: Mohr Siebeck, 2007 apud DONEDA, Danilo Cesar Maganhoto; MENDES, Laura Schertel; SOUZA, Carlos Affonso Pereira de; ANDRADE, Norberto Nuno Martin Becerra Gomes de. Ibid.).

[5] SEARLE, John. Mente, Cérebro e Ciência. Lisboa: Biblioteca de Filosofia Contemporânea, 2019. Tradução: Artur Morão. p. 97.

[6] “A generalização – resultando na atribuição a um determinado indivíduo das características médias de um grupo no qual foi alocado – é, repita-se, algo incontornável no processo de classificação dos riscos no contrato de seguro. Ainda que o segurador passasse a considerar mais atributos do que de costume, sempre haveria uma margem de generalização. […] Por ora, cabe ressaltar-se que alguns desses atributos, como gênero e a idade, atualmente podem ser utilizados pelos seguradores, o que, na prática, amplia o risco do que já foi designado como ‘injustiça pela generalização’”. (JUNQUEIRA, Thiago. Tratamento de Dados Pessoais e Discriminação Algorítmica nos Seguros. São Paulo: Thomson Reuters Brasil, 2020. p. 70).

[7] RODOTÀ, Stefano. A vida na sociedade da vigilância. A privacidade hoje. Tradução: Danilo Doneda e Luciana Cabral Doneda. Rio de Janeiro: Renovar, 2008.

[8] MULHOLLAND, Caitlin. Dados pessoais sensíveis e a tutela de direitos fundamentais: uma análise à luz da lei geral de proteção de dados (Lei 13.709/18). Revista de Direitos e Garantias Fundamentais, v. 19, p. 159-180, 2018.

[9] PASQUALE, Frank. The black box society: The Secret Algorithms That Control Money and Information. Cambridge: Harvard University Press, 2015.

[10] EDWARDS, Lilian; VEALE, Michael. Slave to the algorithm: why a ‘right to an explanation’ is probably not the remedy you are looking for. Duke Law and Technology Review, [s. l], v. 16, n. 1, p. 18-84, 2017. p. 28-29.

[11] ANANNY, Mike. Toward an Ethics of Algorithms. Science, Technology, & Human Values, [S.L.], v. 41, n. 1, p. 93-117, 24 set. 2015. SAGE Publications. http://dx.doi.org/10.1177/0162243915606523.

[12] “A governamentalidade algorítmica não leva em conta causas e sinais fisiológicos – ou melhor, simplesmente os trata em igualdade com outros tipos de sinais, por exemplo, o tipo de pessoas com quem você se associa, o que você come, o fato de você ficar acordado a noite toda assistindo filmes na Netflix, o tipo de supermercado em que você compra, ou o fato de você ter recebido aconselhamento matrimonial nos últimos três meses. A partir de todos esses dados distintos, causalmente independentes, os algoritmos constroem uma pontuação de risco baseados em uma lógica puramente estatística. Qualquer coisa pode ser considerada como um ‘atributo’ que contribui para a pontuação de risco. Uma vez detectados os sinais, a pessoa em questão será tratada como se já tivesse ‘contratado’ o risco ou já tivesse ‘atualizado’ o perigo, e poderá então, por exemplo, ter seu seguro de vida cancelado”. (ROUVROY, Antoinette; ALMEIDA, Maria Cecília Pedreira de; ALVES, Marco Antonio Sousa. Entrevista com Antoinette Rouvroy. Revista de Filosofia Moderna e Contemporânea, [S.L.], v. 8, n. 3, p. 15-28, 31 jan. 2021. Biblioteca Central da UNB. http://dx.doi.org/10.26512/rfmc.v8i3.36223. p. 19).

[13] KAMINSKI, Margot E.; MALGIERI, Gianclaudio. Algorithmic impact assessments under the GDPR: producing multi-layered explanations. International Data Privacy Law, [S.L.], v. 11, n. 2, p. 125-144, 6 dez. 2020. Oxford University Press (OUP). http://dx.doi.org/10.1093/idpl/ipaa020.

[14] Remeta-se a: RIGOLON KORKMAZ, Maria Regina. Decisões Automatizadas: explicação, revisão e proteção na era da inteligência artificial. São Paulo: Revista dos Tribunais, 2023. No campo dos seguros, destaque-se: “No estágio atual das IAs, porém, a retirada da necessidade de revisão humana demonstra-se particularmente temerária. Sem deixar de reconhecer que o tema comporta inúmeras particularidades e promete calorosos debates, convém, nesta sede, apenas registrada a expectativa de que a ANPD, via regulamentação própria, imponha a necessidade de interferência humana na revisão de decisões automatizadas tomadas em setores que utilizam dados pessoais capazes de conceder ou negar um bem de destacada importância social, como o seguro”. (JUNQUEIRA, Thiago. Ibid. p. 252).

[15] MALGIERI, Gianclaudio. Automated decision-making in the EU Member States: the right to explanation and other “suitable safeguards” in the national legislations. Computer Law & Security Review, 35, 2019.

[16] DONEDA, Danilo. Da Privacidade à Proteção de Dados Pessoais. Rio de Janeiro: Renovar, 2006. p. 363-364.