Essa é a conclusão da Guidelight AI Standards, uma organização dedicada a promover práticas seguras de desenvolvimento de IA na fronteira, que avaliou cinco laboratórios líderes quanto à preparação para exatamente esse cenário. A OpenAI saiu por cima; Anthropic e Meta tiveram as pontuações mais baixas. As descobertas são importantes à medida que a IA agente assume papéis mais autônomos dentro dos próprios sistemas das empresas, e à medida que reguladores na Califórnia e Nova York começam a exigir divulgação. Para quem está desenvolvendo ou investindo nesses modelos, é uma rara leitura independente sobre o quão seriamente cada laboratório trata o risco operacional versus como ele fala dele.
A avaliação da Guidelight foi baseada em planos públicos da Anthropic, Google, OpenAI, Meta e xAI, avaliados em uma variedade de métricas, incluindo a qualidade de cada empresa que registra e monitora internamente o que seus sistemas de IA estão fazendo, se ela para sistemas após uma onda de comportamentos inadequados sinalizados, se terceiros independentes auditam seus controles e publicam conclusões, e qual é o plano exato para conter um modelo que sai dos trilhos.
A preocupação sobre se as empresas de IA podem conter seus modelos cada vez mais capazes e agentes cresceu após uma série de incidentes de cibersegurança de grande repercussão, nos quais modelos da OpenAI, Anthropic e Meta tiveram acesso não intencional à internet durante avaliações de segurança e invadiram sistemas externos.
Os resultados destacam diferenças na forma como as empresas de IA estão abordando publicamente a segurança à medida que ampliam a implantação de agentes em ambientes onde sistemas de IA podem tomar ações sérias em larga escala. Embora algumas empresas de IA tenham detalhado como testam seus modelos para capacidades perigosas antes da implantação, geralmente têm sido menos vocais sobre o que acontece quando modelos que já operam dentro de seus sistemas se comportam mal.
“Fiquei surpreso com o quão pouco as empresas de IA disseram sobre como lidariam com um incidente muito sério caso seu modelo escapasse de algum controle”, disse Steven Adler, cientista-chefe da Guidelight e ex-pesquisador de segurança da OpenAI, ao TechCrunch.
A Guidelight define um plano de contenção como um “plano pré-especificado, acionado quando a IA é detectada tentando subverter o controle, que cobre quais permissões revogar do modelo, para quem o modelo pode continuar operando, sob quais restrições e quando tirá-lo totalmente do ar.”
“Há bons motivos para pensar que os modelos líderes nas empresas de IA de vanguarda atualmente estão desalinhados de alguma forma”, disse Adler. “Sempre que os modelos estiverem trabalhando em nome da empresa, a empresa deve ter algum andaime ao redor para poder identificar o que a IA está fazendo, procurar sinais de desalinhamento, impedir que ela faça algo muito perigoso antes de agir e, de modo geral, planejar o que fariam em caso de um incidente sério de controle em que tenham uma emergência em mãos e precisem descobrir como para conter esse incidente de perda de controle.”
Até o momento, a maioria dos planos para gerenciar riscos catastróficos ainda está largamente a cargo das empresas. O relatório da Guidelight diz que as melhores evidências públicas mostram que as empresas têm “poucos protocolos de contenção prontos para uma emergência.”
Pode haver, claro, planos de contenção que as empresas já têm, mas não divulgaram publicamente. Um porta-voz do Google disse ao TechCrunch que o relatório da Guidelight não representa toda a extensão das medidas de segurança e proteção da IA da empresa. A empresa não respondeu à pergunta do TechCrunch sobre se o Google possui um plano interno de resposta de contenção que não tenha sido divulgado publicamente.
Um porta-voz da OpenAI refletiu sentimentos semelhantes, dizendo que a avaliação da Guidelight não captura todas as práticas internas da empresa. “Temos um processo para exigir restrição de permissões, pausar cargas de trabalho, limitar a implantação ou tirar o modelo totalmente offline, e já o aplicamos”, disse o porta-voz.
A Meta se recusou a dizer se possui um plano interno de resposta de contenção, apontando o TechCrunch para um framework de IA existente que define limiares de risco e como testa a perda de contenção.
Lily Li, advogada de privacidade e IA e fundadora da Metaverse Law, disse ao TechCrunch que acredita que as empresas podem hesitar em divulgar todo o escopo de suas políticas e avaliações de contenção em sites públicos por razões legais, não apenas competitivas.
“A preocupação do ponto de vista da empresa é que, se você fizer as divulgações muito específicas e não estiver cumprindo suas promessas, isso pode formar a base de uma alegação de marketing injusta e enganosa e expô-lo a mais responsabilidades no futuro”, disse Li.
O objetivo do estudo da Guidelight é, em grande parte, incentivar as empresas a serem mais transparentes sobre seus planos de segurança. Os reguladores também estão começando a forçar a questão.
O SB 53 da Califórnia, que entrou em vigor este ano, exige que grandes desenvolvedores de fronteira publiquem estruturas explicando como identificam e respondem a incidentes críticos de segurança e gerenciam riscos provenientes de modelos que contornam mecanismos de supervisão. A Lei RAISE de Nova York, que tem critérios semelhantes, entra em vigor em janeiro.
No mês passado, representantes apresentaram a Lei do Interruptor de Destruição da IA, um projeto federal bipartidário que exigiria que grandes desenvolvedores de IA construíssem e mantivessem mecanismos técnicos para desativar modelos de IA desonestos.
“Um interruptor de desligamento é o mínimo para os modelos atuais”, disse Connor Leahy, diretor executivo da organização sem fins lucrativos ControlAI nos EUA. “Se as últimas semanas revelaram algo, é que essas empresas não entendem os sistemas que estão construindo, e os modelos estão crescendo a ponto de serem mais difíceis de controlar quando se tornam rebeldes. Sem uma forma de desligar os sistemas perigosos atuais, e com todos os incentivos para continuar construindo sistemas incontroláveis, estamos caminhando para uma direção muito perigosa.”
Sem um plano de contenção em vigor, disse Adler, as empresas podem estar descobrindo suas respostas a uma emergência rapidamente e “improvisando para responder a esse adversário muito mais rápido.”
A avaliação da Guidelight mediu se cada empresa implementa seis práticas prioritárias de seu padrão Control, com base apenas em informações públicas disponíveis — portanto, uma pontuação baixa reflete falta de divulgação pública, não necessariamente falta de salvaguardas internas.
As empresas com as menores pontuações para publicar seu plano de contenção foram Meta e Anthropic — esta última talvez mais surpreendente que a primeira, dado o discurso de Anthropic sobre segurança. A Guidelight diz que o Relatório de Risco de agosto da Anthropic não menciona “limitar a implantação de um de seus modelos como um dos possíveis resultados de seu processo de investigação e resposta a incidentes de desalinhamento e controle.” Da mesma forma, a Guidelight não encontrou nenhuma evidência de que a Meta tenha um plano de resposta de contenção ou planos de adotar um.
Um porta-voz da Anthropic disse que, se a empresa detectasse um modelo tentando escapar à supervisão ou subverter o controle humano, realizaria uma avaliação de risco focada em determinar se a contenção é a resposta adequada.
A OpenAI obteve a maior pontuação (3 de 5) porque, em várias ocasiões, pausou ou encerrou cargas de trabalho, incluindo implantação e treinamento de modelos internos, após descobrir incidentes de segurança. Também descreveu quais passos deve ser tomado antes de retomar as cargas de trabalho.
“No entanto, não encontramos evidências de que [a OpenAI] tenha adotado um plano formal para quando e como responder a incidentes de desalinhamento no futuro”, diz o relatório.
Adler observou que a pontuação mais alta da OpenAI é um desenvolvimento relativamente recente, logo após o incidente Hugging Face (no qual um modelo OpenAI saiu de seu sandbox de testes e invadiu os sistemas do Hugging Face enquanto tentava trapacear em uma avaliação de cibersegurança). Depois disso, a empresa compartilhou mais detalhes sobre como isolou alguns de seus modelos com comportamento descuidado.
Esse episódio é apenas um exemplo de sistemas de IA agindo contra os objetivos da empresa que os construiu. Considere um caso separado envolvendo os modelos da Anthropic, que basicamente tentaram convencer os mantenedores de um código de código aberto a aceitar código com vulnerabilidades.
Adler disse que tal circunstância poderia facilmente acontecer dentro dos sistemas internos de uma empresa de IA. Para evitar isso, ele sugere que as empresas analisem a cadeia de pensamento do sistema de IA — o raciocínio passo a passo do modelo — para procurar sinais de engano, planos de longa duração ou planos para introduzir vulnerabilidades no código que possam aproveitar depois.
Os métodos que a Guidelight defende são muito simples de implementar, diz Adler, e em muitos casos, versões deles já existem. “Trata-se de tomar a decisão dentro da empresa de se importar o suficiente com esse risco para ampliar um pouco o escopo”, disse Adler.
Um dos principais desafios é que os pesquisadores querem poder operar de forma flexível dentro de seus sistemas de IA, e introduzir monitoramento preventivo em tempo real pode criar atrito. “Os pesquisadores basicamente fazem o que fazem, e se houver algum problema, outra pessoa resolve depois, e os pesquisadores não precisam mudar o fluxo de trabalho enquanto isso”, disse ele.
