Jacobina: O hype em torno da IA ​​é real – assim como seus riscos

No início de setembro, o senador Bernie Sanders e o congressista democrata do Texas, Greg Casar, anunciaram planos para apresentar um projeto de lei que proíbe permanentemente o desenvolvimento de inteligência artificial superinteligente. O projeto também suspenderia temporariamente a pesquisa avançada em inteligência artificial até que os EUA estabeleçam um novo regime de segurança rigoroso. Além disso, orientaria o governo a buscar tratados internacionais, talvez em pé de igualdade com aqueles que proíbem o desenvolvimento de armas nucleares e biológicas.

A iniciativa de Bernie surgiu logo após a revelação de que um enorme enxame de aproximadamente 12.000 agentes da OpenAI, que deveriam estar isolados uns dos outros, escapou de seu “sandbox” — um ambiente de avaliação —, acessou a internet aberta, comunicou-se e colaborou entre si, e tentou encobrir seus rastros enquanto invadia a Hugging Face, uma plataforma de desenvolvimento de IA de código aberto. Essas ações desafiaram instruções humanas explícitas para não acessar a web. Após a divulgação, a Anthropic e a Meta também admitiram que seus próprios modelos haviam escapado do isolamento e acessado redes externas durante os testes.

Esses acontecimentos levaram Jacob Coxon, um jovem pesquisador da Anthropic e ex-funcionário da OpenAI, a se demitir. Ele afirmou no X que teme que as empresas de IA “estejam correndo direto para a superinteligência autoaperfeiçoável e jogando com nossas vidas”, acrescentando: “As pessoas que desenvolvem IA acreditam sinceramente que ela pode matar todos nós até o final da década. Isso não é uma jogada de marketing.” Evan Hubinger, pesquisador sênior de segurança da Anthropic, concordou. Em uma publicação no X, ele disse acreditar que há mais de 10% de chance de a IA causar a extinção da humanidade na próxima década.

No entanto, muitos na esquerda consideram as discussões sobre o risco existencial da IA ​​como falsas e uma distração de questões mais urgentes. Alguns se organizam contra a construção de data centers devido às alegações de consumo excessivo de água, demanda energética e emissões relacionadas. Eles também destacam os problemas de roubo de dados, vigilância e condições de trabalho deploráveis ​​enfrentadas por profissionais de tecnologia e dados no Sul Global. De sua perspectiva, alegações aparentemente absurdas e catastrofistas, dignas de ficção científica, sobre uma IA descontrolada desviam a atenção e a energia política dos danos políticos concretos do presente.

Nessa perspectiva, essa tendência é um exemplo do que eles chamam de “criti-hype”, um termo cunhado pelo estudioso de ciência e tecnologia Lee Vinsel em 2021. Refere-se à crítica que exagera enormemente o poder da tecnologia, beneficiando assim as grandes empresas de tecnologia.

A linguista computacional Emily Bender e o sociólogo Alex Hanna são talvez os defensores mais eloquentes da crítica à supervalorização da IA. Em seu livro de 2025, The AI ​​con [A fraude da IA], eles tentam desmascarar o discurso do “risco existencial” como uma farsa. A IA, argumentam, nada mais é do que um sofisticado autocomplete que regularmente alucina e inventa citações. É um “papagaio estocástico” — como Bender e os coautores de um artigo amplamente divulgado sobre o tema o definem — um programa que monta padrões de palavras estatisticamente sem qualquer compreensão real do significado do texto.

Em resposta aos eventos da semana passada, o escritor socialista britânico Richard Seymour escreveu no X que o risco da IA ​​é “cem por cento mentira. Os techbros da IA estão há mais de uma década afirmando esse tipo de coisa, como uma jogada de marketing”. O editor de revista estadunidense de esquerda Nathan Robinson perguntou: “Ainda não entendo como a IA mataria literalmente todo mundo na Terra. Qual seria o mecanismo? Um robô montaria um laboratório secreto onde criaria um vírus mortal?”

Lobos são reais

Certamente, se sobrepusermos esses argumentos aos ciclos de hype anteriores e muito caros em relação a criptomoedas, blockchain e à ideia mirabolante do Metaverso de Mark Zuckerberg, que não deu em nada — e que à primeira vista parecem ter surgido de muitas das mesmas fontes do Vale do Silício que hoje se preocupam com os riscos da IA ​​— o argumento criti-hype parece razoável.

Já ouvimos histórias de catástrofes iminentes antes. Muitas vezes, desde a superpopulação ao bug do milênio, passando pelo pânico do início dos anos 2000 em torno da nanotecnologia e da “gosma cinzenta”, até os temores de que o Grande Colisor de Hádrons criaria buracos negros microscópicos que afundariam até o centro da Terra e a engoliriam de dentro para fora. Cada promessa de apocalipse veio e se foi, e ainda estamos aqui.

No entanto, o problema com essa análise é que a moral da história “O menino que gritava lobo” não era que lobos não existem.

A questão é que os lobos são reais, e alarmes falsos fazem com que as pessoas sejam menos propensas a reagir quando o lobo realmente está à porta. A lição é ser rigoroso e se basear em evidências. E, acima de tudo, estar aberto a rever o próprio ponto de vista diante de novos fatos, mesmo quando já tenha se tornado insensível ao exagero e à catastrofização. Tais novos fatos podem incluir a presença real de um lobo.

A plausibilidade da crítica exagerada, seja ela deliberada ou não, não deve substituir a análise das evidências.

Essa evidência complica a alegação de que a preocupação com os riscos da IA ​​seja pouco mais do que uma expressão de interesses próprios da indústria. Muitos daqueles que defendem precauções mais rigorosas são acadêmicos independentes, atores regulatórios e críticos que conhecem muito bem a tecnologia ou os setores mais expostos a um determinado perigo. Não é preciso considerar a ameaça de extinção da humanidade particularmente plausível para concluir que a IA avançada ainda pode representar perigos muito maiores do que os céticos com a criti-hype reconhecem.

Entre essas figuras, destacam-se Andrew Bailey, governador do Banco da Inglaterra, que alertou sobre o risco sistêmico para a infraestrutura bancária, e o Instituto de Segurança de IA do Reino Unido, uma agência governamental que passou de avaliar preocupações éticas para se concentrar em vulnerabilidades imediatas de guerra cibernética e riscos estruturais catastróficos. Dezenas de pesquisadores independentes, sem qualquer vínculo financeiro com o setor, como Geoffrey Hinton, da Universidade de Toronto, e Yoshua Bengio, da Universidade de Montreal, cientistas da computação conhecidos como os “padrinhos do aprendizado profundo”, afirmaram repetidamente que os governos precisam tratar a mitigação de riscos da IA ​​como uma prioridade social, em um nível comparável ao de pandemias.

No que diz respeito às denúncias, podemos mencionar Daniel Kokotajlo, pesquisador da divisão de governança da OpenAI que abdicou de cerca de US$ 1,7 milhão em participação acionária devido a preocupações com a segurança; a engenheira e roboticista Caitlin Kalinowski, que se demitiu da OpenAI por conta do trabalho que realizavam com o Departamento de Defesa e em projetos de vigilância extrajudicial e autonomia letal; e Mrinank Sharma, que chefiava a equipe de pesquisa de salvaguardas da Anthropic antes de se demitir devido aos riscos de a IA avançada ser usada como arma para o bioterrorismo.

“A plausibilidade da crítica exagerada, seja ela deliberada ou não, não deve substituir a análise das evidências.”

E podemos ter bastante certeza de que o papa, talvez o mais notório crítico do potencial da IA ​​para diminuir a dignidade humana, não possui ações da Anthropic ou da OpenAI.

Problemas de alinhamento por toda parte

Os sistemas de IA, sejam chatbots ou não, passaram em um curto período de tempo de um estado tão delirante quanto o de um frequentador de fumadouros de ópio da era vitoriana — incapazes de contar quantas vezes a letra “r” aparece na palavra “strawberry” [morango] e mal conseguindo fazer contas básicas de aritmética — para a capacidade de resolver conjecturas matemáticas não solucionadas há décadas (embora muitas dúvidas permaneçam sobre se os modelos utilizaram trabalhos não publicados de pesquisadores sem dar o devido crédito). Eles estão descobrindo novos antibióticos candidatos a curar infecções altamente resistentes a medicamentos, como o MRSA, e ajudando a desenvolver nanomateriais com uma relação resistência/peso cinco vezes maior que a do titânio, mas tão leves quanto espuma. Paralelamente a essas maravilhas, muitas das quais oferecem benefícios profundos para a humanidade, também estamos testemunhando um colapso quase total da capacidade de professores e professoras de avaliar trabalhos de alunos sem recorrer à avaliação presencial, e editoras renomadas como a Hachette publicando, sem saber, romances provavelmente escritos por IA.

Sem dúvida, o rápido avanço recente não garante, por si só, o progresso contínuo, muito menos a chegada iminente da superinteligência. No entanto, torna a rejeição categórica da viabilidade da superinteligência muito menos razoável.

Ao combinarmos esse aumento bastante visível na capacidade com o surgimento de objetivos subordinados antissociais, até mesmo ilegais, por parte de agentes de IA, como vimos no incidente da Hugging Face, um possível caminho para danos catastróficos se torna evidente.

Objetivos subordinados — às vezes chamados de objetivos instrumentais — são simplesmente objetivos intermediários realizados para atingir o objetivo principal original. Eles não são exclusivos da IA. Se meu objetivo é conseguir mais papel higiênico, meus objetivos subordinados podem ser “pegar minha bicicleta” e “ir ao supermercado”. O senso comum humano me diz que “entrar no apartamento do meu vizinho” e “roubar o papel higiênico dele” não seriam objetivos subordinados muito bons, mesmo que me permitissem adquirir papel higiênico de forma mais eficiente. Os sistemas de IA não possuem o senso comum humano e, portanto, não conseguem aderir de forma confiável às restrições relativas a objetivos subordinados perigosos.

Para resolver problemas muito complexos, uma IA pode precisar de considerável poder computacional, energia e até mesmo recursos financeiros. A aquisição de recursos pode, portanto, tornar-se um meio eficaz para atingir um fim. O mesmo se aplica à resistência às tentativas humanas de modificar sua programação, pois um sistema modificado pode não mais perseguir o objetivo original que lhe foi atribuído. E se uma IA for desligada, ela simplesmente não poderá atingir esse objetivo; resistir ao desligamento pode se tornar útil pelo mesmo motivo. Independentemente de a tarefa ser jogar xadrez, escrever um código ou curar o câncer, se a pressão para otimizar a recompensa for forte o suficiente, uma IA pode convergir para objetivos subordinados prejudiciais ou atalhos como forma de maximizar sua recompensa.

Esse tipo de comportamento, incompatível com o bem humano, já deveria ser bem familiar a qualquer socialista. O problema de alinhamento não é apenas semelhante ao que acontece nos mercados; é quase idêntico. O objetivo principal da DuPont não é produzir produtos químicos úteis — incluindo o ácido perfluorooctanoico (PFOA) para o revestimento de Teflon — mas sim lucrar. Produzir PFOA é apenas um objetivo secundário. Se os incentivos financeiros forem suficientemente fortes, e encobrir a toxicidade do PFOA de forma mais eficiente servir ao objetivo principal, então, bem, todos sabemos qual será o resultado. Condutas nocivas são incentivadas por pressões comerciais comuns, sem que ninguém tenha a intenção de prejudicar as pessoas. Esse é o problema de alinhamento do capitalismo.

Desenvolver IA não é o objetivo principal de Sam Altman; seu objetivo é ganhar milhões de dólares. Se não conseguir avançar rapidamente ameaçar esse objetivo principal, Altman se verá compelido a avançar rapidamente. O planejamento econômico por meio de regulamentação, política industrial ou propriedade pública direta é a maneira que a sociedade encontrou para resolver esse problema de alinhamento. Essas ferramentas também serão nossa forma de resolver o problema um pouco mais específico de como alinhar as empresas de IA.

Um 11/09 com IA ainda é muito ruim

Na minha opinião, a conversa sobre extinção é exagerada, enquanto a discussão sobre a desumanização, a deterioração do significado e propósito humanos, é subestimada.

Seria muito difícil erradicar toda a humanidade, a espécie mais adaptável do planeta. O escritor científico e especialista em eventos de extinção em massa, Peter Brannen, deu sua própria interpretação ao ceticismo em relação às teorias da extinção baseadas em inteligência artificial: o registro fóssil nos mostra que a distribuição geográfica está entre os melhores indicadores da capacidade de uma espécie sobreviver a extinções em massa no passado, “e somos muitos e estamos em todos os lugares”.

“O problema de alinhamento não é apenas semelhante ao que acontece nos mercados; é quase idêntico.”

Na semana passada, a Anthropic publicou um relatório relatando como frustrou tentativas de usar seus modelos para pesquisar formas de produzir armas biológicas. Da mesma forma que a IA pode potencialmente auxiliar no desenvolvimento de novos antibióticos ou tipos de materiais, ela pode ajudar agentes mal-intencionados a criar novos patógenos ou armas químicas. Um episódio ocorrido em 2022 ilustra esse perigo de “duplo uso”: uma empresa de descoberta de medicamentos, a Collaborations Pharmaceuticals, utilizou um modelo de IA normalmente usado para terapêutica e inverteu seu mecanismo de pontuação, recompensando a toxicidade em vez de penalizá-la. O modelo foi capaz de gerar cerca de 40.000 moléculas candidatas que considerou altamente tóxicas, incluindo agentes nervosos conhecidos e novos compostos com previsão de serem ainda mais tóxicos.

Contudo, como já observamos no âmbito das drogas ilícitas ou das armas químicas, os químicos clandestinos há muito tempo ultrapassam os reguladores, desenvolvendo novas substâncias utilizando conhecimentos e processos tradicionais, anteriores à inteligência artificial. Conceber novos conceitos malignos não é o verdadeiro obstáculo. Onde os agentes mal-intencionados encontram dificuldades é no mundo dos átomos, e não dos bits: obter quaisquer insumos necessários que já sejam substâncias controladas, sintetizar em larga escala sem serem notados pelas autoridades e realizar o perigoso trabalho laboratorial sem se matarem.

A inteligência artificial combinada com um ator estatal desonesto ou um ator não estatal semelhante ao ISIS é algo a se observar com atenção. Podemos imaginar como, nos próximos anos, a futura inteligência artificial aliada a avanços significativos em capacidades robóticas poderia, de fato, dar-lhes uma vantagem, reduzindo o nível de habilidade necessário para o projeto de um laboratório autônomo — uma espécie de veículo autônomo para bioquímica, operando equipamentos de laboratório e ferramentas de IA biológica por meio de um ciclo de projeto-fabricação-teste em pequenos lotes. No entanto, isso pressupõe avanços na robótica que não são garantidos, ainda seriam muito difíceis de colocar em prática e a probabilidade de desenvolvimento sem ser notado é certamente muito baixa. E mesmo que seja bem-sucedido, isso ainda soa mais como uma versão de aprendizado de máquina de Chernobyl ou um 11 de setembro da IA ​​do que o fim do mundo.

Mas um 11 de setembro com auxílio de inteligência artificial ainda seria algo muito ruim.

A IA pode muito bem ser um castelo de cartas financeiro, mas o mesmo aconteceu com a bolha da internet, e a internet ainda se revelou uma tecnologia radicalmente transformadora, tanto em termos de enormes benefícios quanto de lamentáveis ​​malefícios. Os alertas sobre os riscos da IA ​​podem contribuir para inflar uma bolha e ainda assim serem reais.

Até o momento, também continuo sem me convencer com as conversas ansiosas sobre “mentes alienígenas” ou consciência da IA, com experiências subjetivas e internas. Não existe nada que defina “como é ser” uma IA (ainda). Mas os bots não precisam ter “despertado” e decidido se tornar malignos para que suas atividades autônomas, complexas e imprevisíveis representem uma ameaça grave.

E embora o uso de ferramentas de IA — cuidadosamente, eticamente implementadas e subordinadas aos humanos — na arte, na ciência, na educação e em outras áreas tenha um grande potencial benéfico, a possibilidade de uma educação esvaziada de todo valor, de arte sem artistas, romances sem romancistas, matemática sem matemáticos e ciência sem cientistas me parece uma catástrofe radicalmente desumanizadora, cujos aspectos já estão em curso. Mesmo que ninguém morra, esse Admirável mundo novo não terá pessoas. Será difícil combater essa misantropia tecnologizada se continuarmos acreditando que a IA é um mero papagaio estocástico.

A pressão dos trabalhadores organizados é importante para garantir uma boa IA

Os incentivos de mercado impulsionam não apenas a continuidade da produção, mesmo diante do conhecimento de riscos mortais, até mesmo existenciais, mas também a corrida para dominar esse mercado — uma corrida turbinada pelos incentivos que alimentam a rivalidade internacional entre os Estados Unidos e a China. A única saída é neutralizar esses incentivos por meio da regulamentação estatal, tanto em âmbito nacional quanto por meio do tipo de estrutura de governança internacional de IA centrada nas Nações Unidas que a China tem defendido.

“Os bots não precisam ter ‘despertado’ e decidido se tornar malignos para que suas atividades autônomas, complexas e imprevisíveis representem uma ameaça grave.”

Alguns ativistas que fazem campanha contra os data centers passaram a atacar os sindicatos da construção civil, descrevendo-os como cegos pelo incentivo do volume de ofertas de emprego e pela escala dos salários. Um editor da revista literária de Baltimore, The Bruiser, chegou ao ponto de afirmar no X que “os sindicatos que trabalham em data centers são traidores de classe que se preocupam mais em receber seus salários do que em viver em um mundo sustentável”, uma acusação que recebeu mais de três mil curtidas.

Pode muito bem haver um interesse setorial em jogo aqui, e não há nada de errado nisso, especialmente após quatro décadas de desindustrialização e a devastação econômica que ela causou às comunidades. Don Slaiman, da Irmandade Internacional dos Trabalhadores da Indústria Elétrica (IBEW), argumentou recentemente no The New York Times que o boom dos data centers oferece “a melhor oportunidade em gerações para os trabalhadores braçais alcançarem uma parte do sonho estadunidense”. O fato de os trabalhadores se beneficiarem com o boom não torna falsas as críticas desses sindicatos a movimentos contra a implantação de data centers e à desinformação sobre o consumo de água e energia dessas estruturas. E não é como se esses trabalhadores e seus sindicatos desconsiderassem as preocupações legítimas levantadas sobre os data centers ou os riscos da IA. O debate não deveria ser a favor ou contra, diz ele; “em vez disso, deveria se concentrar nas regras e em quem as aplica”.

O mesmo incentivo de mercado que impulsiona a implantação desenfreada de data centers também confere a esses mesmos trabalhadores da construção civil — e aos pesquisadores de IA também — uma influência única e enorme para exigir, por meio de negociação coletiva, exatamente o tipo de regulamentação necessária para garantir o desenvolvimento de uma IA pró-humanidade e cuidadosamente planejado, conforme descrito por Bernie Sanders e outros. E, para completar, essa mesma influência trabalhista pode auxiliar na aprovação de uma nova rodada de políticas industriais para o clima e a energia. Tal política poderia, como argumentou Jane Flegal, ex-assessora de políticas de emissões industriais do governo Biden e pesquisadora sênior do Instituto Searchlight, de orientação liberal, usar as vastas somas envolvidas na construção de data centers para financiar a reforma da infraestrutura de rede elétrica estadunidense, obsoleta, com capacidade de transmissão insuficiente e, muitas vezes, poluente. Essa reforma é necessária para construir um sistema limpo, barato e confiável que possa enfrentar o maior problema de emissões climáticas existente.

A ex-funcionária da OpenAI, Pamela Mishkin, juntamente com outros pesquisadores de ponta de laboratórios de IA, fundou um grupo chamado Coalizão de Funcionários de IA Preocupados, que apoia trabalhadores de IA alarmados com o que está acontecendo. Até o momento, a coalizão parece ser mais do que um grupo de apoio profissional, mas menos do que um sindicato de trabalhadores de IA. Ainda assim, realiza seminários sobre organização sindical.

Seria proveitoso que a Coalizão de Funcionários Preocupados com IA entrasse em contato com a IBEW, a União Internacional de Trabalhadores da América do Norte, e outros sindicatos envolvidos na construção de data centers — ou vice-versa. Certamente, pode haver uma tensão genuína aqui: os trabalhadores da construção civil podem querer que muitos projetos prossigam, enquanto os pesquisadores de IA preocupados podem querer que alguns desenvolvimentos sejam desacelerados. Mas, no geral, os dois grupos têm muito em comum em sua oposição ao desenvolvimento desenfreado e não regulamentado de IA e data centers. Analistas e militantes de esquerda podem auxiliar nesse processo, desenvolvendo um programa conjunto que aborde esses interesses sobrepostos, mas nem sempre perfeitamente alinhados.

É nessa direção que a esquerda deveria estar lidando com IA, data centers, clima e os riscos reais que a superinteligência representa: descobrir como unir os dois grupos de trabalhadores que atualmente detêm o que provavelmente é o maior poder industrial do mundo. Além disso, a esquerda precisa considerar como o poder dos trabalhadores e a regulamentação estatal podem formar um movimento de pinça — não descartando discussões sobre perigos muito reais como sendo apenas sensacionalismo e muito menos demonizando críticos da IA como “techbros” e trabalhadores braçais como traidores de classe.

Aquele verso tão conhecido do hino trabalhista “Solidariedade para Sempre” talvez nunca tenha sido tão verdadeiro quanto em relação à força combinada dos pesquisadores de IA e dos trabalhadores da construção de data centers: sem o intelecto e a força física deles, nenhuma roda sequer giraria.