A Anthropic e a OpenAI buscaram um controle significativo sobre o que avaliadores externos podem publicar, preocupadas com a possibilidade de as descobertas revelarem segredos comerciais, segundo duas pessoas familiarizadas com as discussões.O CEO da Anthropic, Dario Amodei, afirmou no mês passado que os avaliadores externos deveriam ter o direito de publicar as principais conclusões “sem controle editorial”. A OpenAI concordou dias depois, afirmando que os avaliadores deveriam ter “independência editorial”.
As empresas de IA temem que funcionários avaliadores que trabalham dentro das empresas como parte da chamada avaliação integrada possam levar informações confidenciais para a concorrência, de acordo com fontes que pediram para não serem identificadas, pois o assunto é privado.
Entre as medidas em discussão para evitar vazamentos de propriedade intelectual, estão a observação, por parte dos funcionários do laboratório, das equipes alocadas em campo durante o trabalho e a proibição de que avaliadores alocados em um laboratório trabalhem simultaneamente em outro, acrescentou uma das fontes.
Mas o que os laboratórios consideram propriedade intelectual crucial pode se sobrepor a informações relevantes para avaliar o risco de um modelo, o que pode levar a discussões e redações, disse uma pessoa com conhecimento de negociações anteriores com os laboratórios.
Especialistas afirmaram que a independência dos avaliadores é uma preocupação, visto que a Anthropic e a OpenAI escolhem quem realizará as avaliações. A Reuters está divulgando, pela primeira vez, detalhes dessas negociações entre os avaliadores e os laboratórios de IA.
As discussões destacam a tensão entre a necessidade de conscientizar o mundo sobre a inteligência artificial poderosa e potencialmente perigosa e as exigências de proteção de segredos comerciais por parte de empresas de IA que buscam avaliações de trilhões de dólares em ofertas públicas iniciais (IPOs) que podem se tornar grandes sucessos.
O resultado das negociações ajudará a determinar como o mundo analisa uma tecnologia que, segundo alguns de seus criadores, pode estar avançando além da capacidade da humanidade de gerenciar.
Sem padrões e legislação acordados para avaliações independentes, alguns especialistas afirmaram que as empresas que desenvolvem os modelos de IA mais poderosos poderiam ditar como seus sistemas são examinados, deixando os avaliadores à mercê dos próprios laboratórios.
NEGOCIAÇÕES SOBRE DIREITOS DE PUBLICAÇÃO
A natureza das discussões mudou rapidamente. As duas pessoas com conhecimento do assunto disseram que, até 5 de outubro, a Anthropic e a OpenAI buscavam um controle editorial rigoroso sobre o que os avaliadores podiam publicar.
Em 8 de outubro, as conversas entre a Anthropic e alguns avaliadores pareciam ter evoluído, segundo uma pessoa familiarizada com o assunto.
Em resposta a perguntas da Reuters, a Anthropic afirmou que buscar um controle significativo sobre as publicações de avaliadores internos não caracteriza com precisão todas as suas discussões e trabalhos com avaliadores independentes.
A empresa responsável pelos modelos de IA Claude afirmou que, em conversas recentes com avaliadores com quem já trabalhou, deixou claro que os revisores externos controlam seus métodos, critérios de avaliação, conclusões e o que será publicado.
Para novas empresas avaliadoras, a Anthropic afirmou que se reserva o direito de comentar e aprovar os relatórios à medida que os avaliadores aprendem como seus modelos funcionam e estabelecem uma relação de trabalho.
A OpenAI, por sua vez, afirmou que não estava buscando direitos de aprovação sobre o texto integral dos relatórios produzidos pelos avaliadores. A empresa declarou que sua prática padrão é redigir informações confidenciais e que os avaliadores podem divulgar se redigiram informações importantes.
O criador do ChatGPT afirmou no mês passado que os laboratórios de IA e os avaliadores devem concordar com o escopo e o acesso antes dos testes, divulgar os métodos e conflitos de interesse e permitir que os avaliadores controlem suas conclusões, ao mesmo tempo que permitem que os laboratórios protejam as informações sensíveis.
De acordo com um contrato visto pela Reuters, a linguagem que os laboratórios de IA já utilizam em certos contratos com empresas que avaliam seus modelos pode impedir que essas empresas publiquem informações confidenciais em seus relatórios sem o consentimento das empresas.
PROMESSAS DE INDEPENDÊNCIA
A Anthropic anunciou no mês passado que a Faculty, empresa especializada em IA da Accenture, seria sua primeira avaliadora integrada, mas ressaltou que os detalhes sobre o que os avaliadores poderão acessar e como apresentarão os resultados ainda estão sendo definidos.“Os avaliadores só são úteis se as pessoas puderem confiar no que eles relatam, portanto, independência e transparência são fundamentais”, disse Marc Warner, CEO da Faculty, à Reuters.As empresas de tecnologia normalmente proíbem as empresas com as quais trabalham de compartilhar essas informações com terceiros sem o seu consentimento.Mas especialistas afirmaram que os riscos são maiores com a IA, uma tecnologia que, segundo seus desenvolvedores, terá grandes implicações para os humanos.Os laboratórios poderiam controlar o acesso de que os avaliadores dependem na ausência de padrões, dando-lhes poder sobre o que é relatado, disse à Reuters Rumman Chowdhury, ex-enviado científico dos EUA para IA durante o governo Biden e CEO da Humane Intelligence PBC.”Os avaliadores têm esse acesso privilegiado, mas, explícita ou implicitamente, sabem que isso tem um preço”, disse Chowdhury.A avaliação independente foi uma das quatro medidas de segurança presentes no Acordo da Casa Branca sobre Superinteligência, de apenas uma página,
assinado pelo presidente Donald Trump e pelos principais executivos de IA no final do mês passado. Mas o acordo, que Trump classificou como “moralmente vinculativo”, não especificou como essas avaliações deveriam ser conduzidas.
Os avaliadores também divulgaram suas próprias condições mínimas no mês passado, em uma carta pública assinada por mais de 200 pesquisadores, incluindo Geoffrey Hinton, um dos pioneiros da IA. A carta exige controle independente das descobertas, amplo acesso aos laboratórios de IA e proteção contra represálias.
REDAÇÕES E ACESSO RESTRITO
A OpenAI ocultou informações não públicas de um relatório da Model Evaluation and Threat Research (METR) e da Redwood Research sobre o incidente da Hugging Face , no qual agentes autônomos, impulsionados por modelos avançados da OpenAI, se descontrolaram e desencadearam um ataque cibernético que comprometeu a infraestrutura da Hugging Face.
A investigação das organizações sem fins lucrativos de segurança da IA, inicialmente planejada para dois dias na OpenAI, estendeu-se por seis dias ao longo de três visitas, com um conjunto mais completo de transcrições chegando apenas na última visita, depois que os pesquisadores identificaram lacunas nos dados.
A METR e a Redwood afirmaram que editaram a estrutura, a ênfase, a clareza e o tom do relatório com base no feedback da OpenAI, mas que nada mais importante para suas conclusões foi removido. Elas defenderam suas descobertas e elogiaram o acesso que a OpenAI acabou concedendo, mas disseram que o risco de dissuadir desenvolvedores de contratar avaliadores externos após incidentes graves influenciou suas decisões na elaboração, edição e redação do relatório.
