Racismo Algorítmico: A Tecnologia que Amplifica Desigualdades Sociais
O racismo, um problema social profundamente enraizado em diversas sociedades, transcende as interações humanas e encontra um novo palco: a tecnologia. Softwares, algoritmos e sistemas de inteligência artificial, outrora vistos como ferramentas neutras, podem, na prática, reproduzir e até mesmo ampliar preconceitos existentes, um fenômeno conhecido como racismo algorítmico. A urgência em compreender e combater essa questão se intensifica com a crescente adoção de tecnologias como o reconhecimento facial em cidades, como o Smart Sampa em São Paulo, que já opera com 40 mil câmeras inteligentes.
Essa forma de discriminação não surge de uma intenção explícita de prejudicar, mas sim de falhas intrínsecas nos dados utilizados para treinar esses sistemas, nas escolhas de design e nos objetivos programados. O resultado, no entanto, é o mesmo: a perpetuação de desigualdades raciais e a criação de padrões preconceituosos que afetam diretamente a vida das pessoas, especialmente de grupos minoritários.
O caso de um homem negro detido quatro vezes por engano em São Paulo, após ser erroneamente identificado pelo sistema Smart Sampa como um foragido, ilustra de forma contundente os perigos do racismo algorítmico. Apesar das claras diferenças físicas e de dados, a tecnologia falhou, levantando sérias preocupações sobre a imparcialidade e a segurança desses sistemas. Essas informações foram amplamente divulgadas por veículos como o g1.
O Que Define o Racismo Algorítmico e Seus Mecanismos
O racismo algorítmico é definido como a reprodução ou amplificação de desigualdades raciais por meio de sistemas automatizados, incluindo algoritmos e inteligência artificial. Esse processo pode ocorrer devido a diversos fatores, como os dados utilizados no treinamento dos sistemas, as decisões tomadas pelos desenvolvedores, as regras intrínsecas ao funcionamento do software e a forma como essa tecnologia é aplicada no mundo real.
Essa problemática não se restringe a sistemas de vigilância. Ferramentas de seleção de candidatos para empregos, sistemas de análise de risco em diversas áreas e outras aplicações que envolvem tomadas de decisão automatizadas também podem ser veículos para a manifestação do racismo algorítmico. A complexidade reside no fato de que, muitas vezes, a discriminação não é intencional, mas uma consequência não prevista das escolhas de design e dos dados de treinamento.
Um ponto crucial é que o racismo algorítmico não exige uma intenção racista explícita para se manifestar. Basta que o sistema, de forma recorrente, produza resultados desiguais e discriminatórios. Isso ocorre porque, ao serem treinados com dados que refletem as desigualdades sociais históricas, os algoritmos podem aprender a tratar essas injustiças como padrões normais, perpetuando-as em suas operações.
As Origens do Preconceito em Algoritmos: Dados e Desenvolvimento
A origem do racismo em algoritmos é multifacetada, mas uma das fontes mais comuns e significativas reside nos próprios dados utilizados para treinar os sistemas de inteligência artificial. Se a sociedade em que esses dados foram coletados é marcada por desigualdades raciais e históricas, é quase certo que essas bases de dados registrarão e perpetuarão esses padrões discriminatórios.
Quando um modelo de IA aprende a partir de um conjunto de dados que já contém vieses raciais, ele pode, inadvertidamente, internalizar essas injustiças como regras ou sinais ‘normais’ de operação. Isso significa que a tecnologia, em vez de ser uma ferramenta para mitigar preconceitos, pode acabar se tornando um espelho distorcido das piores facetas da sociedade, amplificando-as.
Outro fator crítico é a representatividade e a qualidade dos dados. Estudos e pesquisas têm demonstrado que muitos bancos de dados, especialmente os utilizados em ferramentas comerciais, falham em representar adequadamente grupos étnicos minoritários ou populações marginalizadas. Essa sub-representação ou a má qualidade dos dados para esses grupos aumenta significativamente o risco de erros, que, por sua vez, podem ter impactos devastadores na vida das pessoas afetadas.
Manifestações do Racismo Algorítmico no Dia a Dia
O racismo algorítmico pode se manifestar em uma vasta gama de aplicações de inteligência artificial, especialmente quando os sistemas são treinados com dados enviesados, utilizam critérios superficiais de análise ou são implementados sem a devida consideração por seus potenciais impactos sociais. Compreender essas diferentes formas de manifestação é o primeiro passo para a prevenção e mitigação.
Entre as aplicações mais conhecidas e preocupantes está o reconhecimento facial. Essa tecnologia acumula um histórico de episódios de identificação incorreta, especialmente em relação a minorias raciais. A falha em reconhecer ou identificar corretamente pessoas negras, por exemplo, pode levar a abordagens policiais indevidas, prisões errôneas e outras consequências graves.
No contexto da seleção de candidatos e emprego, ferramentas de IA utilizadas em processos de contratação, avaliação de desempenho e até mesmo demissão têm sido apontadas como fontes de discriminação. Algoritmos podem, por exemplo, penalizar candidatos com perfis que fogem de padrões historicamente dominantes, perpetuando a exclusão de grupos sub-representados no mercado de trabalho.
A questão dos dados antigos com erros ou desigualdades é transversal a todas as aplicações. Vieses presentes em bases de dados históricas podem ser facilmente incorporados aos modelos de aprendizado de máquina, reproduzindo desigualdades que já existem no mundo real. Finalmente, o policiamento preditivo, embora ainda em desenvolvimento, também apresenta riscos. Sistemas enviesados que indicam onde possíveis crimes podem ocorrer, com base em dados históricos que refletem um policiamento desigual, podem reforçar a vigilância e a criminalização de comunidades específicas.
Smart Sampa e os Casos Concretos de Racismo Algorítmico em São Paulo
O sistema Smart Sampa, implementado em larga escala na cidade de São Paulo com 40 mil câmeras inteligentes, tem sido alvo de investigações e críticas relacionadas ao racismo algorítmico. Uma pesquisa divulgada em fevereiro de 2026 pelo Laboratório de Políticas Públicas e Internet (Lapin), em colaboração com o Instituto de Referência Negra Peregum e a Rede Liberdade, apontou que o sistema esteve associado a casos de falsos positivos e prisões indevidas, com indícios de viés racial e territorial.
Beatriz Lourenço, diretora de Áreas e Estratégia do Instituto de Referência Negra Peregum, expressou preocupação em entrevista à Agência Brasil, afirmando que “O Smart Sampa aprofunda desigualdades raciais e geográficas, reforçando um modelo de segurança pública que criminaliza determinados corpos e territórios”. Essa declaração ressalta como a tecnologia, em vez de promover segurança equitativa, pode exacerbar problemas sociais preexistentes.
Os dados da pesquisa são particularmente alarmantes. Eles indicam que 25% das pessoas presas em decorrência de identificações do sistema eram negras, enquanto apenas 16,01% eram brancas. Além disso, 58,9% dos registros não informavam a raça, o que pode mascarar ainda mais o viés. A concentração geográfica das prisões analisadas, majoritariamente no centro da cidade e em bairros periféricos, sugere uma articulação entre o sistema de vigilância, o racismo e as desigualdades socioeconômicas.
O relatório detalha ainda problemas técnicos no reconhecimento facial, com pelo menos 23 pessoas levadas por engano devido a inconsistências no sistema. Outras 82 foram presas, mas posteriormente liberadas, indicando a falibilidade e os perigos dessas tecnologias quando aplicadas sem a devida cautela e supervisão. Esses casos reforçam a necessidade de um debate público e rigoroso sobre o uso de reconhecimento facial e outras ferramentas de IA em espaços públicos.
A Luta Contra o Viés: É Possível Reduzir a Discriminação em Algoritmos?
A questão central é se é possível, e como, reduzir o viés em algoritmos e mitigar o racismo algorítmico. Estudos e pesquisas na área indicam que sim, é possível melhorar o desempenho e a equidade dos algoritmos, mas o processo exige escolhas de dados mais cuidadosas, metodologias de desenvolvimento rigorosas e uma constante avaliação de impacto.
O National Institute of Standards and Technology (NIST), um órgão dos Estados Unidos dedicado ao estudo de padrões e tecnologia, tem investigado o desempenho de algoritmos de reconhecimento facial. Suas pesquisas apontam que alguns algoritmos apresentam resultados superiores em precisão e equilíbrio entre diferentes grupos demográficos em comparação com outros. O NIST também sugere que a utilização de bases de treinamento mais diversas e representativas pode ser um caminho eficaz para reduzir as disparidades de desempenho observadas.
A pesquisa Gender Shades, publicada em 2018, é outro marco importante nesse debate. O estudo demonstrou de forma contundente que sistemas de reconhecimento facial apresentavam taxas de erro significativamente mais altas ao analisar rostos de mulheres e pessoas negras. Esses achados reforçam a necessidade crítica de testar exaustivamente essas tecnologias em uma ampla gama de grupos populacionais antes de sua implementação em larga escala.
No entanto, é fundamental ressaltar que a redução do viés em algoritmos não é uma tarefa simples nem automática. Em uma sociedade que se apoia cada vez mais em sistemas de IA para tomar decisões críticas, é preciso ir além de ajustes técnicos nos modelos de aprendizado de máquina. É necessário criar e implementar regras e processos robustos para avaliar os riscos potenciais antes e depois do uso dessas tecnologias, garantindo que elas não perpetuem o racismo, nem qualquer outra forma de preconceito.
O Futuro da Tecnologia e a Necessidade de Ética e Responsabilidade
A ascensão do racismo algorítmico nos alerta para a necessidade urgente de integrar considerações éticas e sociais no desenvolvimento e na aplicação de tecnologias de inteligência artificial. A promessa de um futuro mais eficiente e justo através da tecnologia só será cumprida se garantirmos que essas ferramentas sejam desenvolvidas e utilizadas de forma responsável e equitativa.
Isso implica em um esforço contínuo para diversificar as equipes de desenvolvimento, garantir a representatividade nos dados de treinamento, implementar auditorias independentes e criar mecanismos de responsabilização para falhas e discriminações. A sociedade civil, os governos e as empresas de tecnologia precisam colaborar para estabelecer diretrizes claras e regulamentações que protejam os direitos individuais e coletivos.
A discussão sobre racismo algorítmico não é apenas um debate técnico, mas uma questão fundamental de justiça social. Ao reconhecer e combater ativamente os vieses em algoritmos, podemos trabalhar para construir um futuro onde a tecnologia sirva como ferramenta de inclusão e progresso para todos, em vez de um mecanismo de perpetuação de desigualdades históricas.
