#56O que está acontecendo?Sociedade

Quem controla o código controla o futuro? Tecnologia, poder e a disputa por autonomia da sociedade

por Nina da Hora

A ciência da computação adora se vender com um banho de neutralidade matemática, como se sistemas analisassem dados de forma pura, imunes aos vícios e às imperfeições humanas. Só que basta olhar um pouco mais de perto para a engrenagem da visão computacional para ver que a história é bem diferente. As premissas do sistema, na verdade, já estão postas muito antes de o código ganhar forma.

Perceber esse mecanismo me fez direcionar minha pesquisa para o rastreio de vieses de raça, gênero e capacitismo em sistemas de recomendação e reconhecimento facial. Não era preciso sair da computação e migrar para as ciências humanas para fazer esses estudos, a própria área tem ferramentas para investigar suas falhas por dentro, propondo uma construção horizontal que o Vale do Silício ignora por completo. Fomos habituados a enxergar a inovação por um único ângulo, mas a prática mostra que existem outras rotas possíveis, ainda que abrir esses caminhos exija um rigor metodológico muito maior.

Quando cheguei ao mestrado na Unicamp, já no campo da visão computacional, a prioridade era encarar a forma como os algoritmos processam imagens e replicam vieses do mundo real. Mas eu não estava partindo do zero: o debate vem ganhando tração global graças ao trabalho pioneiro de uma rede de pesquisadoras e pesquisadores negros na engenharia, na matemática, nas ciências sociais e cognitivas, como Timnit Gebru, Ruha Benjamin e Joy Buolamwini. Entre 2017 e 2018, essas pesquisadoras auditaram os softwares de reconhecimento facial de gigantes como IBM e Microsoft. Os dados expostos por elas foram categóricos: a margem de erro dos sistemas aumentava progressivamente à medida que a pele se escurecia, atingindo o pico de falhas na identificação de mulheres negras.

Meu foco, então, foi para o processo, não apenas para o resultado. Ficou claro que as decisões tomadas no momento de escolher as imagens, ainda na amostragem, já determinam a dimensão do dano que a ferramenta vai causar quando estiver rodando. É essa dinâmica que venho chamando de “epistemicídio computacional”. A lógica do problema é direta, pois, quando o treinamento de um algoritmo utiliza bancos de imagens que ignoram a diversidade étnica, o sistema já nasce incapaz de reconhecer esses rostos na ponta final.

Expor essa engrenagem exigiu criar critérios rigorosos de auditoria para confrontar o código antes e depois do treinamento, em um percurso que esbarrou em gargalos complexos. O primeiro deles foi o desafio de transitar na fronteira entre a computação e a antropologia, articulando duas

linguagens profundamente diferentes para sustentar a crítica técnica. O segundo foi a própria falta de transparência do setor. Trabalhar com bases de dados fechadas, cedidas por big techs, significou dedicar noites a fio à engenharia reversa para tentar decifrar as regras e decisões embutidas em sistemas proprietários sobre os quais não se tem controle.

O diagnóstico de epistemicídio computacional, comprovada aqui e em muitas partes do mundo, ultrapassa as fronteiras acadêmicas e demanda a construção de políticas públicas. A insistência do setor privado em vender a regulação como uma trava ao progresso ignora a função primária da governança, sendo o estabelecimento de regras uma busca por descentralizar os ganhos do avanço tecnológico, permitindo que a inovação distribua renda e oportunidade em vez de afunilar riqueza em um punhado de corporações.

Paralelamente ao embate regulatório, existe um esforço para mudar como os modelos de IA são construídos desde a base. A intenção é reescrever a lógica matemática usada pelos cientistas de dados, para que métricas de igualdade racial e de gênero façam parte da própria estrutura do modelo. Com a equidade integrada à origem do algoritmo, o viés é cortado na raiz, dispensando os ajustes superficiais no produto final.

Enquanto a regulação e a reescrita do código tentam impor limites ao setor, fica exposto o abismo que separa a retórica das big techs da real capacidade da infraestrutura. Faltam rigor e evidências às promessas messiânicas de executivos que vendem a inteligência artificial como uma força mágica e ilimitada. Sem a fumaça do marketing e com uma análise técnica isenta de ilusões, a utopia de mapear e reproduzir a complexidade do mundo esbarra em fronteiras materiais intransponíveis. A própria promessa de levar a IA generativa a bilhões de pessoas tropeça na física do planeta. Manter essa engrenagem viva exige erguer um ecossistema monstruoso de data centers, capaz de drenar volumes colossais de energia e devorar montanhas de microchips. Para alimentar essa escala, a indústria precisaria acelerar a extração de minérios críticos — como lítio, cobalto e terras-raras — em um ritmo predatório que a Terra simplesmente não consegue suportar.

Mas, ainda que não consiga mapear o mundo por meios próprios, a indústria encontrou na sociedade a saída para essa limitação material. As redes sociais viraram o grande atalho dessa engrenagem, transformando a rotina dos usuários em um fluxo contínuo de dados, hábitos e afetos oferecidos de graça. E, para cobrir os pontos cegos do espaço físico, a vigilância avança pelas ruas com câmeras de reconhecimento facial e sensores que capturam a vida urbana sem pedir licença.

A captura em massa desses dados só acontece porque a sociedade engoliu a história de que essa invasão é o preço inevitável do progresso. A sociologia chama esse fenômeno de “determinismo tecnológico”, isto é, a criação de uma narrativa que vende a tecnologia como um rolo compressor impossível de parar. Esse discurso anestesia o debate público, gera paralisia e enterra qualquer tentativa de construir alternativas soberanas.

O problema é que essa paralisia tem consequências sérias. Ao aceitar que não há alternativa, governos passam a delegar a gestão de suas infraestruturas críticas às big techs, cobrando um preço alto no mundo real. Vimos isso de perto na pandemia de covid-19, quando o apagão nos sistemas do Ministério da Saúde obrigou pesquisadores a montarem uma réplica independente dos dados do DataSUS para impedir que a vacinação parasse. Foi o retrato do risco de viver no escuro ao entregar o controle de dados públicos para a iniciativa privada.

Essa perda de controle sobre a saúde é só a ponta do iceberg. Com o avanço dessa mesma dependência tecnológica sobre a política, o estrago vai direto no coração da democracia. O problema da desinformação hoje deixou para trás aquelas antigas fake news em texto. O uso de deepfakes hiper-realistas, a clonagem de portais de notícia e os ataques orquestrados ao jornalismo criam um clima de desconfiança geral, fazendo a população duvidar até do que é fato provado.

Cientistas e jornalistas começaram a montar uma linha de defesa, uma frente de combate focada em checar áudios e vídeos em tempo real por meio de ferramentas algorítmicas de verificação. Essa articulação ganha fôlego ao atrair recursos de filantropia internacional e do redirecionamento de fundos de pesquisa, como royalties do petróleo, financiado o desenvolvimento de tecnologias voltadas para a soberania digital e a proteção da informação.

Olhando para os próximos anos, a intenção vira disputa tática, e é aí onde surgem brechas reais de intervenção.

Pensando cinco anos à frente, a briga pela regulação das plataformas deve atingir o seu ápice. Mesmo que as big techs consigam aliviar o texto final das leis no Congresso, a verdadeira disputa vai migrar para as decisões miúdas da implementação. No campo técnico, a saída para a perda de privacidade passa por uma área promissora da computação chamada machine unlearning — ou desaprendizado profundo. Hoje, se uma pessoa descobre que um sistema de inteligência artificial usou suas fotos ou documentos sem permissão, as empresas alegam que é impossível apagar esse registro, pois isso exigiria deletar o modelo inteiro e retreiná-lo do zero. O desaprendizado profundo resolve o problema ao criar técnicas para remover informações específicas diretamente da memória do algoritmo, sem afetar o restante da estrutura. É o direito ao esquecimento traduzido em código.

Pensando de dez a vinte anos à frente, a inviabilidade econômica deve obrigar o mercado a mudar de rumo. O custo astronômico de manter supercomputadores centralizados e o estouro de bolhas de investimento em IA tendem a empurrar a indústria para redes descentralizadas. Em vez de espionar e guardar o perfil individual de cada cidadão, a tecnologia vai ter que aprender a trabalhar apenas com dados agregados e temporários, porque isso é o que cabe no bolso.

Nos casos em que fechar a torneira da coleta for impossível, a saída é o litígio estratégico. Sem perder tempo tentando barrar a coleta bruta de dados, o ataque vai direto nos usos mais perigosos: proibir decisões automatizadas em concessão de crédito, seguros de saúde, auxílios sociais e policiamento preditivo. A avalanche de processos que a Meta e outras gigantes enfrentam no mundo mostra que o bolso ainda é a linguagem que essas empresas melhor entendem.

No terreno da cibersegurança, o avanço da criptografia e das provas de conhecimento zero consolida-se como uma das blindagens mais sólidas para a infraestrutura pública. Desenvolver essas ferramentas em solo nacional não é luxo acadêmico, é uma questão de defesa e soberania de Estado.

O cenário é complexo, mas, se os resultados da minha pesquisa e os contatos com tantas pessoas dedicadas me mostraram algo, foi isto: pouco importa se por otimismo ou necessidade, o fatalismo atual não deveria nos paralisar. Entre a propaganda do Vale do Silício e o pânico apocalíptico, existe todo um espaço de matemática aplicada, ciência de ponta e disputa de leis pronto para ser ocupado.

A tecnologia não é um destino inevitável, é uma escolha política codificada em software. E escolhas podem ser mudadas.

Assine: IMPRESSO + DIGITAL

São 03 edições impressas por ano, além de ter acesso exclusivo ao conteúdo digital do nosso site.

Assine a revista