Thallita Lima: “A máquina não é neutra e erra mais com pessoas negras”

Você sabia que está sendo vigiado pela inteligência artificial? Isso porque, antes do ChatGPT, Midjourney e outros programas que geram conteúdo a partir de IA, as câmeras de reconhecimento facial já vinham usando a tecnologia há décadas. Seja para reconhecer seu rosto no celular ou identificar pessoas em ruas e prédios, sua aplicação em questões de segurança pública ou privada já é coisa estabelecida.

MAIS SOBRE O ASSUNTO
‘A realidade da imagem não é a do fato’
As máquinas vão substituir os artistas?
O que a inteligência artificial fala sobre a mulher ideal

Afinal, uma máquina sempre vai ser mais assertiva, confiável e neutra na hora de lidar com questões como o encarceramento em massa e o racismo estrutural presentes na política carcerária brasileira, certo? Bem, parece que não é exatamente assim. Em Salvador (BA), epicentro do uso de câmeras de reconhecimento facial na segurança pública do país, embora o projeto seja considerado um sucesso pelo governo local, não só os indíces de criminalidade não melhoraram como a letalidade policial vem aumentando nos últimos anos.

Essas são apenas algumas das conclusões a que chegou a organização O Panóptico, que vem monitorando e realizando pesquisas sobre projetos de reconhecimento facial no Brasil. Parte do Centro de Estudos de Segurança e Cidadania (Cesec), a instituição tem como meta produzir dados concretos sobre esses programas para ampliar o debate sobre o tema, afirma Thallita Lima, que coordena o time de pesquisadores do projeto.

O trabalho, porém, é complexo, já que o reconhecimento facial não tem regulamentação no Brasil, e a maioria dos programas do tipo têm pouca ou nenhuma transparência. Até a Lei Geral de Proteção de Dados (LGPD) abre uma exceção quando o assunto é segurança pública. “Não temos nenhum tipo de regulação com um mínimo de controle”, resume a pesquisadora.

Treinadas com bancos de imagens pouco diversos, as câmeras de reconhecimento facial, embora pareçam à prova de erros, podem acabar perpetuando a estrutura policial e carcerária racista que há hoje. “Se existem muitas pessoas negras nesse banco, o sistema vai reconhecer mais pessoas com esse tipo específico. Como, no Brasil, temos uma população carcerária majoritariamente negra, você retroalimenta esse sistema”, aponta Lima. Pesquisas também já apontam que os sistemas têm dificuldade para identificar pessoas trans e não binárias. Outro problema, de acordo com a pesquisadora, é que a tecnologia não trabalha com certezas, e sim probabilidades, elevando consideravelmente o risco de prisões erradas e arbitrárias.

Doutoranda em relações internacionais pela PUC-RJ, área que “não tem nada a ver com telas”, Lima vinha pesquisando por conta própria questões estatísticas e algoritmos desde a graduação. “Para pesquisar esse tema, a gente tem que parar e ouvir, porque ele é muito interdisciplinar”, afirma.

Um dos principais desafios, diz, é transformar questões técnicas e complexas em informações palatáveis para a população negra, que está só começando a entrar nesse debate. Um exemplo positivo seria a participação de organizações do movimento negro como a Uneafro, antes não identificada com debates tecnológicos, no questionamento ao Smart Sampa, programa de reconhecimento facial da capital paulista. Outra esperança, segundo a pesquisadora, é a possibilidade de inclusão da tecnologia no projeto de lei que debate a regulação da IA no Brasil.

Na conversa com Gama, Thallita fala ainda das consequências da tecnologia para pessoas acusadas erroneamente e debate alternativas ao uso de reconhecimento facial que ofereçam menos riscos.

• G |Como foi que começamos a usar a IA para reconhecimento facial?

  Thallita Lima |

  Quando a gente pensa em IA, imagina um filme do Spielberg, algo muito tecnológico ou fora do humano. Na verdade, o tema surgiu na década de 1960 com a ideia de máquinas capazes de emular nosso pensamento. Ainda não chegamos nisso. Elas emulam capacidades como a visão, no caso do reconhecimento facial, a compreensão e a criação — embora o ChatGPT só copie o que muitos humanos já produziram. O imaginário é de que trazer a tecnologia vai garantir o progresso. Hoje em dia, temos uma possibilidade técnica muito maior. Até no nosso celular tem IA, com o reconhecimento facial. O uso na segurança aconteceu primeiro no norte global. Nós, como um país em desenvolvimento, utilizamos tecnologias treinadas, importadas e pensadas primeiro em outros países. Reconhecimento facial é usado há mais de 20 anos nos EUA, e a gente só começou a debater isso em 2008.

• G |A tecnologia acaba perpetuando velhos hábitos e preconceitos? Por quê?

  TL |

  Nos EUA, quando o Obama entra no poder em 2009, tem um movimento de crítica à polícia, que é discriminatória e atinge mais pessoas negras. Isso estava sendo debatido em vários lugares do mundo, e a tecnologia veio como resposta. Ou seja, se a gente coloca câmeras e algoritmos de reconhecimento facial, aí não é o policial no centro da ação, mas a tecnologia. E ela seria neutra, científica. Então surgiu como uma forma de tirar a subjetividade e o preconceito, e responder às críticas sobre o modo discriminatório como as políticas de segurança eram aplicadas. Só que a tecnologia se desenvolve fora ou dentro do social? Se a resposta é dentro, ela também aprende com a sociedade, baseada nessa relação discriminatória. Apesar de vir como resposta à falta de preparo e profissionalismo dos policiais, a IA acaba reforçando certos problemas

• G |No Brasil, quando foi que a tecnologia ganhou força?

  TL |

  A partir de 2018, começam a surgir projetos públicos de reconhecimento facial, mais tarde impulsionados por uma portaria do Ministério da Justiça e da Segurança Pública sob o ministro [Sergio] Moro. Ela desenvolvia um mecanismo de gestão de recursos para implantar tecnologias de monitoramento e reconhecimento facial. O Brasil sempre viveu uma crise de segurança latente. A Bahia até hoje apresenta números escabrosos de letalidade policial e segurança pública, e é o estado empreendedor do reconhecimento facial no país. Mais de mil pessoas foram presas dessa forma lá. Mesmo assim, os dados de segurança não melhoraram. Então o que explica o uso dessa tecnologia como solução?

• G |Por que essas aplicações de tecnologia não têm alcançado bons resultados por aqui?

  TL |

  As câmeras corporais [que acompanham as ações dos policiais nos patrulhamentos] podem ser uma política pública importante para um país em que o sistema penal é baseado numa estrutura racista e seletiva. Seria uma forma de trazer algum tipo de transparência e controle da ação policial. Só que não é uma solução única. O Rio já está usando, mas no batalhão de Copacabana, não nas comunidades. O reconhecimento facial já é complexo, falho, e uma política em que se gasta muito dinheiro sem tantos resultados. A tecnologia sozinha não vai ser uma bala de prata. São Paulo, por outro lado, é um ótimo exemplo, porque está reduzindo a letalidade e as mortes de policiais. Deu certo porque se instaurou uma ouvidoria externa, procedimentos operacionais, o acesso às imagens, uma estrutura de profissionalização. Mas colocar a IA como solução para tudo é simplificar demais os nossos problemas sociais.

• G |A IA está presente em todo nosso sistema de câmeras?

  TL |

  Temos as câmeras de videomonitoramento e as de reconhecimento facial, que têm qualidade melhor e o uso de algoritmo. Em Salvador, tem muita câmera, mas as de reconhecimento facial estão na linha do metrô e lugares de grande circulação. São pontos estratégicos, porque as câmeras são específicas e mais caras. A IA é um guarda-chuva muito grande, e o algoritmo também. O algoritmo de reconhecimento facial funciona com machine learning. Ele é avançado e generativo através da aprendizagem com bancos de dados de imagens. Toda IA tenta emular o ser humano por meio da tecnologia. O reconhecimento facial entra nisso porque emula a visão.

• G |Por que a Bahia se tornou esse estado representativo da IA no país?

  TL |

  O Brasil foi um hub de grandes eventos: Copa do Mundo, Olimpíada e Jornada Mundial da Juventude. Todos eles trouxeram inovações tecnológicas. Foram criados os Centros Integrados de Comando e Controle no Rio, São Paulo e Bahia. Isso gerou uma estrutura de vigilância no Brasil. E a Bahia, na época da Copa, recebeu câmeras de reconhecimento facial. Quando o evento acabou, o governo baiano continuou o projeto, só que como um programa de segurança pública do estado. Teve a primeira fase, de instalar câmeras em Salvador, e agora estamos num momento de expansão para o interior. A Bahia inteira está sendo inundada por câmeras.

• G |A primeira prisão por reconhecimento facial inclusive aconteceu em Salvador…

  TL |

  No carnaval, uma pessoa vestida de melindrosa acabou presa. Saiu uma matéria gigantesca no Fantástico. O reconhecimento facial na Bahia é encarado como um sucesso pela Secretaria de Segurança Pública, um discurso de eficiência. Duas semanas atrás, fomos a Salvador conversar com o secretário. Lá tem até banner escrito: “Salvador está sendo vigiada”. Só que, nos dados, essa eficiência não se materializa. Não houve melhora na criminalidade, e ocorreu um aumento da letalidade policial. Essa eficiência foi uma coisa criada, não faz sentido. Nas pesquisas, o povo baiano quer mais saúde, mas o governo está deixando meio milhão de reais em reconhecimento facial. Além de ser enviesado, é falho. Tem muitos falsos positivos sobre os quais o governo não produz dados. E são pessoas, não coisas abstratas, que têm encontros violentos com policiais. A Bahia levou essa política para locais com saneamento básico de 0,5%. Em vez de direitos, estamos oferecendo uma estrutura de vigilância. Tem um ditado que diz que, para enxergar o futuro, precisamos olhar para trás. O futuro é ancestral. Não é com reconhecimento facial nas escolas que vai acabar o problema da evasão escolar. Tecnologia sozinha não é solução, tem que ter um objetivo.

• G |Do ponto de vista técnico, como a tecnologia reproduz erros e padrões racistas?

  TL |

  São erros em muitas camadas. Antes de tudo, é preciso criar um código e treinar o algoritmo para reconhecer um rosto humano. Esse treinamento acontece a partir de um banco de imagens. Se o arquivo só tem pessoas de um determinado perfil, quando apresento um perfil diferente, ele não reconhece. Tanto que os sistemas da primeira geração não reconheciam pessoas negras como humanas. Mas, mesmo com um banco maior, a IA pode cometer outros erros. No Brasil, usamos o banco de pessoas com mandados em aberto, do Conselho Nacional de Justiça. O sistema captura o rosto e identifica se há semelhança. Ele não trabalha com certezas, mas com probabilidade. Então pode ter 87% de chance de ser tal pessoa. Às vezes, os policiais vão conferir mesmo com só 30% de chances. E, se existem muitas pessoas negras nesse banco, o sistema vai reconhecer mais pessoas com esse tipo específico. Como, no Brasil, temos uma população carcerária majoritariamente negra, você retroalimenta esse sistema. No mundo real, a imagem vai pegar um rosto pela metade, em movimento, raramente com 100% de certeza. Também existe um debate sobre como homens brancos são a grande maioria dos programadores até hoje. Então isso acaba replicando padrões sociais.

• G |Que consequências a gente consegue identificar desses erros?

  TL |

  Quando a gente fala de algoritmo, não existe um erro, mas uma multitude deles. E o erro nunca é abstrato. Um caso que repercutiu foi o de um menino autista interpelado pela polícia no metrô. Isso causou uma dor psíquica para ele e problemas para a mãe. O menino não quer mais sair de casa, criou um pânico por aquela situação. Um erro se reflete numa ação policial que pode se traduzir numa prisão arbitrária ou abordagem violenta. É machine learning, a máquina está continuamente aprendendo com o que a gente mostra para ela. Então ela incorpora todos os preconceitos e problemas sociais com que a gente tem que lidar. O termo “racismo algorítmico” lança luz sobre isso. A máquina não é neutra e erra mais com pessoas negras, muito mais com mulheres negras e mais ainda com pessoas não-binárias. Então por que a gente continua adotando o reconhecimento facial enquanto política pública eficiente? É uma grana absurda que poderia ser investida em saneamento básico ou tecnologia para a educação.

• G |Como mostrar para a sociedade que um avanço tecnológico pode não ser bom e que existem alternativas?

  TL |

  Existem três discursos centrais no debate sobre a tecnologia de reconhecimento facial. O primeiro reconhece os erros, mas acredita que dá para aperfeiçoar. Afinal, a máquina está continuamente aprendendo. Então, se o banco de dados é enviesado, basta ampliar. Se o problema é o desenvolvedor, vamos trazer mais diversidade. Essa visão é a que mais tem avançado. Já o discurso do “centrão” é de que precisa regular. Existem tentativas de regulação na União Europeia e nos EUA. No Brasil, temos a LGPD, só que a própria lei abre uma exceção para segurança pública. Então não há nenhum tipo de regulação com um mínimo de controle. E existe a visão mais radical: banir o reconhecimento facial da segurança pública. A Coalizão de Direitos na Rede, da qual fazemos parte, batalha tanto pela regulação quanto pelo banimento, porque a gente sabe que o risco é maior que o benefício. Só que esse debate é difícil, porque a máquina é vista como menos preconceituosa que o ser humano. Por isso temos de batalhar por regulação. A Bahia nunca produziu um relatório de impacto. Hoje, eles só dão números: mil presos. O Centro Integrado de lá é uma coisa grandiosa, mas só tem sete pessoas analisando reconhecimento facial, com um computador em cima mostrando quem foi preso. Então se mede o sucesso da política pelo número de presos — lembrando que mandado de prisão não significa condenação.

• G |Esse viés racista existe em outras ferramentas mediadas pela IA, como o ChatGPT ou o Midjourney?

  TL |

  Arte é uma questão estética e visual. Quando peço para o Midjourney criar uma imagem de uma pessoa linda, ele retorna um cara branco com abdômen trincado. Para gerar esse resultado, é porque alguém o programou para aprender o que é belo. O viés vai estar em todo tipo de aplicação. Por exemplo, o seguro saúde que usa randomização com IA para identificar quem tem mais risco de sofrer AVC. É um mecanismo que cria um viés preconceituoso. Não existe tecnologia neutra, e a gente tem que lidar com isso.

• G |Parece que, conforme a tecnologia avança, mais ela se distancia da população negra. As organizações negras hoje participam dessa pauta?

  TL |

  No início dos debates aqui no Brasil, vimos um movimento maior de organizações brancas, porque era uma discussão sobre proteção de dados. Existe um recorte de raça e classe, é um debate que não chega a todo mundo. Quando o Cesec, que há 20 anos discute segurança pública com o antirracismo no centro, entra nesses debates, é porque não significa só proteger dados. Tem gente sendo presa e sofrendo abordagens violentas, que reproduzem práticas historicamente seletivas do sistema penal. Isso está mobilizando outras organizações do movimento negro. Um ponto que teve muita adesão foi o Smart Sampa. Organizações como a Uneafro, que não costuma pensar em tecnologia, se uniram para fazer o projeto parar. Mas muita gente ainda nem sabe o que é. Numa oficina que o Panóptico fez na favela do Jacarezinho, uma senhora perguntou se a tecnologia seria menos racista para o filho dela. É uma questão genuína. Para essa senhora, se a IA for melhor que um policial armado entrando na casa dela, vale a pena. Então precisamos deixar esse debate mais palatável, mostrando numa linguagem acessível que a juventude negra continua sendo presa. Essa é uma crítica que faço a mim e às organizações. Se não tiver visibilidade, fica difícil. E o movimento negro é essencial para isso.