Algoritmos decisórios estão por toda parte. Em aplicativos de viagens e outros, típicos da economia compartilhada, estipulam preços dinamicamente; nas concessões de crédito, definem os montantes a serem emprestados; nos hospitais, fazem recomendações a partir de projeções sobre tempo de internação e prognóstico. E assim por diante.
As decisões que preconizam podem ocorrer de maneira totalmente automatizada, como no primeiro caso, com automação parcial, aliada a alçadas, como no segundo; ou de maneira manual, a partir dos inputs fornecidos pelo software, como no terceiro. Em todos, o aprendizado de máquina —IA sem interface física— é usado para aumentar a precisão e para reduzir o tempo e o custo dos processos deliberativos.
Os programas inteligentes possuem dois funcionamentos básicos: pingue-pongue com a realidade exterior, como no caso da precificação no Uber e das recomendações automáticas da Netflix, ou estacionário, como era o caso para esta última até há pouco e ainda tende a ser para as análises de crédito, processadas uma só vez, após a checagem de documentos.
Algoritmos decisórios diferem dos que equipam videogames e afins. Ainda que a jogabilidade surja de uma sequência de tomadas de decisão, as deliberações processadas neste contexto tendem a ser menos definitivas para o desfecho da interação do que em sistemas de recomendação de preços e outros, os quais são costumeiramente empacotados em experiências gamificadas, confundindo alguns sobre a sua natureza e propósito. Por outro lado, a sincronização comportamental e o engajamento são mais importantes em apps de jogos.
Esta distinção vem se tornando cada vez menor, sendo provável que IAs multifuncionais, embebidas em plataformas que se transformam pelo uso, acabem por eliminá-la. Isto irá representar a fusão definitiva das experiências lúdicas com as de consumo, das de jogo com as de trabalho e outras mais. No momento, a distinção se mantém e baliza o fato de que algoritmos decisórios são os mais importantes existentes, pois determinam quem vê o quê, consegue um emprego, recebe um diagnóstico e, em alguns casos, é mandado para a prisão ou livrado dela.
Criar IAs é diferente de criar programas tradicionais. A noção de que as instruções sobre como proceder devem ser rigorosamente explicitadas no código-fonte dá lugar a adaptações a novos inputs. Aqui, a principal premissa conceitual é que futuros individuais replicam passados autobiográficos, o que de fato está alinhado a evidências observacionais. Já o quadro constituído é bem menos clarividente, passando batido pela constatação de que esses futurólogos trabalham em cima de teses particulares sobre a geração de inferências e construção da realidade. Como assinalou Cathy O’Neil, "algoritmos são opiniões diluídas em fórmulas".
Estas fórmulas definem aquilo que deve ser decidido, os fatores utilizados na seleção de opções, a abordagem matemática responsável pela conversão destas em comportamento deliberativo e aquilo que se espera que aconteça na realização em ato do que foi deliberado. Quando estas coisas são mal concebidas, as decisões se tornam perigosamente ruins.
"Supreendentemente, o nível esperado de precisão algorítmica e de competência para recomendações vem sendo amplamente negligenciado na pesquisa e no debate público", dizem pesquisadores do Instituto Max Plank. Este é um problema que merece atenção total. No entanto, as tentativas de abordá-lo têm sido pouco frutíferas, sobretudo em função de dificuldades de sistematização. Eu já escrevi diversos artigos sobre isso. Aqui vai a minha síntese mais recente.
UMA SÍNTESE DOS REVESES ENVOLVENDO ALGORITMOS DECISÓRIOS BASEADOS EM IA
Em 2014, um programa de seleção profissional com IA da Amazon mostrou-se enviesado contra as mulheres. Em 2015, foi lançado o módulo de reconhecimento de imagens do Flickr, que identificava pessoas como macacos. Em 2016, a ProPublica publicou uma longa reportagem sobre os vieses raciais do software jurídico Compas, que faz recomendações sobre magnitude de pena e progressão de regime. Já em 2017 e 2018 pipocaram as primeiras ações contra o Facebook por vieses em anúncios, determinados pelos próprios clientes, através do targetting. Em 2019, Nijeers Park foi encarcerado por agressão, com base em um reconhecimento facial errado. Comemorado o Réveillon, foi a vez de um sujeito chamado Robert Borchat ser preso, com base no mesmo erro. Os anos de 2021 e 2022 foram palco para a exposição dos tropeços metodológicos de algoritmos usados no combate à Covid-19. E 2023 não perde por esperar.
Existe uma explicação costumeira para a incompetência algorítmica: dados enviesados são usados para treinar a IA, como em todos os casos acima. Esta é válida em várias situações, porém, não em todas. Aliás, uma das travas atuais é a crença generalizada na tese de que, solucionando os reveses causados por dados comprometidos, não mais teremos problemas com os algoritmos decisórios. Adoraria que isso fosse verdade, até porque o combate a estes vieses vem tendo cada vez mais sucesso, mas, não é o caso.
Vale notar que a praxe nos países democráticos, hoje em dia, é omitir critérios de raça nos mais variados cenários algorítmicos, pelo simples fato de que quem faz isso tem boas chances de sofrer um processo. Sem amor, foi na dor que lições básicas foram aprendidas.
O desafio metodológico que mais tem mobilizado o campo envolve a relação entre o número de dimensões usadas por um algoritmo e a quantidade de amostras necessárias para que os padrões emergentes tornem-se confiáveis, o qual corre à boca pequena sob o apelido de maldição da
dimensionalidade. Este foi um ano de avanços no seu tratamento, tal como 2019-2021 foram no da seleção do modelo matemático ideal, resolvido por uma técnica chamada AutoML, que usa a IA para modelar a si mesma —em 2022, 100% dos algoritmos da WeMind foram feitos assim. Ano que vem, a expectativa é que mais lacunas sejam preenchidas, como sempre.
O ponto a se ter em mente é que os entraves metodológicos estão se tornando cada vez menos críticos para o bom funcionamento dos algoritmos decisórios, enquanto os não técnicos, conceitualmente simples, mas de resolução muito mais complexa, vão ficando pelo caminho. Minha visão é que existem dois tipos principais de desafios nesta categoria: iterações distópicas e reducionismo hipotético. Ignorá-los pode ter consequências nefastas.
ITERAÇÕES DISTÓPICAS
Voltemos ao exemplo do Compas, o software jurídico concebido para otimizar o estabelecimento de sentenças e a concessão de progressão de regime. Como o grande propósito social (mas não moral) da restrição de liberdade é a evitação de novos crimes, o programa usa o reencarceramento como proxy para suas deliberações; ou seja, assume que não deve mandar para casa quem tem chance de reincidir e vice e versa.
A recomendação de sentenciamento é estacionária, mas é inteiramente baseada em casos reais. A lógica é a seguinte: um histórico de fichas criminais é juntado e manualmente classificado em "reincidentes" e "não reincidentes". Este conjunto é lido algoritmicamente, em etapas, o que permite ao software encontrar as dimensões que se correlacionam à reincidência e lhes atribuir pesos concernentes, usando um procedimento derivado da ancestral regressão logística.
As tendências que valem para este grupo inicial passam a ser utilizadas como referência para os casos novos, que o software situa no contínuo reincidente provável/improvável, pela atribuição de um escore de risco. Conforme o tempo passa, torna-se possível saber se quem foi objeto de uma recomendação automática de progressão de regime, ou recebeu uma pena branda e reincidiu, junto com todos os outros desfechos.
Este conhecimento é usado em rotinas periódicas de retreinamento da solução, as quais vão aumentando a sua precisão. Anos de chumbo grosso levaram à eliminação de critérios como "raça" das fichas lidas pela IA. Ainda assim, estudos periódicos são feitos para avaliar se a dosimetria mantém-se coerente para negros, jovens, pobres ou homens, tendo por base o que se observa nas cadeias. O que pode dar errado?
Se você olhar do ponto de vista da preservação do status quo, nada ou quase nada. Porém, se você considerar a questão pelo ângulo do comprometimento que cada geração deve ter com a próxima, irá notar que o algoritmo contribui para a cristalização de desequilíbrios e externalidades, quando o ideal seria que atuasse alinhado às forças da transformação.
Como acredito que um dos maiores compromissos morais que devemos ter é com as próximas gerações, vejo um problema, que chamo de iteração distopia, ou "camisa de força temporal". Iteração distópica é a prática emergente quando o futuro é reificado pelas decisões algorítmicas, a despeito destas atingirem seus objetivos, caso a caso. Sob a sua batuta, a história é concebida como se fosse uma reta, sem surpresas ou chances de transformação, enquanto o espaço para as sutilezas decisórias que separam os bons julgadores dos medianos é eliminado em prol da redução da variância decisória.
Esta modalidade de enrijecimento também se manifesta em contextos que pouco têm a ver com desigualdade, como quando uma aplicação médica passa a recomendar que uma quantidade imensa de pacientes faça biópsias, dado que isso de fato ajuda na detecção precoce do câncer. Não se trata de mero "desalinhamento de interesses", como alguns dizem.
Algoritmos bem desenhados e bem mantidos tendem a atingir objetivos adequadamente definidos, em consonância com os interesses por trás de sua implementação. A questão é que os impactos dos processos decisórios difundem-se por relações não lineares, produzindo consequências negativas em esferas distantes das situações diretamente algoritmizadas.
No meu entendimento, algoritmos decisórios devem estar aptos a responder em ato à seguinte indagação: que tipo de futuro a gente está construindo? Se nenhuma resposta permear seu conjunto de existência, o programa deverá ser redesenhado. É simples assim —difícil é o como. Sigo esperançoso, até porque a contrapartida disponível, representada pelas tomadas de decisão idiossincráticas, comumente decepciona.
REDUCIONISMO HIPOTÉTICO
Possivelmente, a mais marcante transformação psicológica deste século é a algoritmização do pensamento: algoritmos implementados digitalmente aprendem na interação conosco e nós aprendemos com eles, com a ressalva de que aprendizado não é algo por si só bom ou ruim, mas um fenômeno que acontece em organismos e máquinas que se transformam para manifestar comportamentos ou entendimentos que até então lhe eram estranhos. Traumas, por exemplo, são aprendizados, enquanto o estresse pós-traumático é uma de suas interpretações.
Hoje aprendemos a passar rasgando por todo tipo de conteúdo, o que faz sentido ao se navegar ambientes ruidosos, como são as redes sociais, mas não faz no escrutínio de questões profundas. No entanto, é exatamente o que acontece.
Creio que uma das dimensões mais importantes da algoritmização do pensamento seja o reducionismo hipotético, que é o declínio do hábito de criar hipóteses, aliado à crença cada vez mais cega nos direcionamentos decisórios providos automaticamente. Como comportamento e funcionamento do cérebro são duas faces da mesma moeda, um ciclo poderoso é criado.
Por exemplo, em 2000, um famoso estudo com motoristas de táxi ingleses mostrou que percorrer as ruas da cidade labiríntica leva a um aumento do hipocampo, área ligada à memória. O mesmo estudo, replicado em 2017, revelou que o uso do Waze e afins, que transferem as microdecisões típicas da profissão para apps, revertem este efeito.
O princípio aplica-se também às automações decisórias em empresas, hospitais e afins, as quais têm mudado as atuações profissionais e, portanto, os processos mentais que lhes subsidiam. Entre outras coisas, estes estão sendo cada vez mais talhados pela previsibilidade, em detrimento do acaso, muito mais comum na realidade analógica do que nos ecossistemas digitais.
O grau de conversão em rigidez comportamental desta tendência aguarda mapeamento, enquanto, mais amplamente, vai se tornando claro que as decisões humanas estão sendo eclipsadas pelos seus duplos digitais, com efeitos no cérebro e nos processos conexos de construção da realidade.
Para quem acha isso tudo absolutamente nefasto, recomendo: desinstale o Waze, não acalme as crianças chorosas com vídeos, dispense as automações decisórias no trabalho e faça tudo na mão. Não, é claro. O debate importante não é sobre a aceitação da algoritmização decisória, mas sobre como proceder, enquanto sociedade e indivíduos, para mitigar suas consequências negativas. Vai pensando nisso que, em breve, a gente retoma, com foco nas sugestões reparadoras de maior potencial.
