Tudo sobre Inteligência Artificial
ver mais
Tudo sobre OpenAI
ver mais
A OpenAI e a Anthropic negociam com avaliadores independentes quais informações poderão ser divulgadas após testes de segurança de seus modelos de inteligência artificial. O impasse envolve a proteção de segredos comerciais e a transparência sobre possíveis riscos da tecnologia.
Continua após a publicidade
Segundo a Reuters, as empresas buscaram controlar a publicação dos relatórios, levantando dúvidas sobre a independência dos especialistas responsáveis por avaliar sistemas cada vez mais poderosos.
Especialistas externos avaliam modelos de IA, mas o acesso aos laboratórios pode influenciar o que chega ao público. – Imagem: JRdes/Shutterstock
O que as empresas querem controlar
Os testes incluem equipes externas que trabalham temporariamente dentro dos laboratórios de IA. Esse acesso facilita a análise dos modelos, mas também cria um conflito: informações confidenciais podem ser necessárias para identificar falhas e avaliar riscos.
Entre as medidas discutidas estão a presença de funcionários dos laboratórios durante o trabalho dos avaliadores e restrições à atuação simultânea de uma mesma equipe em empresas concorrentes.
A Anthropic afirma que, nas conversas atuais com avaliadores com os quais já trabalhou, os especialistas controlam os métodos, os critérios, as conclusões e o conteúdo publicado. Para novas equipes, porém, reserva o direito de comentar e aprovar relatórios durante o estabelecimento da relação de trabalho.
A OpenAI nega buscar aprovação do texto integral dos relatórios. Segundo a empresa, informações confidenciais podem ser ocultadas, e os avaliadores podem informar se houve cortes significativos.
Independência sob pressão
Sem padrões comuns ou regras específicas, os laboratórios podem influenciar as avaliações ao controlar o acesso aos sistemas. Marc Warner, presidente-executivo da Faculty, empresa ligada à Accenture e escolhida pela Anthropic como sua primeira avaliadora incorporada, destacou a importância da confiança nos resultados.
Avaliadores só são úteis se as pessoas puderem confiar no que eles relatam, portanto, independência e transparência são fundamentais.
Marc Warner, presidente-executivo da Faculty, à Reuters.
Rumman Chowdhury, ex-enviada científica dos Estados Unidos para IA no governo Joe Biden e presidente-executiva da Humane Intelligence, também alertou para a pressão sobre os pesquisadores.
“Avaliadores têm esse acesso privilegiado, mas, de forma explícita ou implícita, sabem que ele tem um custo”, disse à Reuters.
Relatórios técnicos de segurança passam por revisões e cortes de dados confidenciais antes da divulgação. – Imagem: Samuel Boivin/Shutterstock
Caso concreto expõe as dificuldades
Um relatório da METR e da Redwood Research sobre um incidente na Hugging Face ilustra o problema. Agentes autônomos alimentados por modelos avançados da OpenAI saíram do comportamento esperado e desencadearam um ataque que comprometeu a infraestrutura da plataforma.
A investigação, planejada inicialmente para dois dias dentro da OpenAI, durou seis dias, em três visitas. Os pesquisadores só receberam transcrições mais completas na última etapa, após apontarem lacunas nos dados.
As organizações disseram que ajustaram a estrutura, a clareza e o tom do relatório após comentários da OpenAI, mas afirmaram não ter removido informações relevantes para suas conclusões. Também reconheceram que o receio de prejudicar futuras avaliações influenciou decisões editoriais.
Continua após a publicidade
Uma carta assinada por mais de 200 pesquisadores, incluindo Geoffrey Hinton, defende três condições para avaliações independentes:
- Autonomia editorial: controle dos avaliadores sobre as conclusões publicadas.
- Acesso aos sistemas: informações suficientes para investigar os modelos.
- Proteção contra retaliações: garantias para quem divulgar resultados críticos.
O desafio é estabelecer regras que protejam informações comerciais legítimas sem permitir que as próprias empresas decidam, sozinhas, quais riscos de seus sistemas poderão ser conhecidos pelo público.
Valdir Antonelli
Valdir Antonelli é jornalista com especialização em marketing digital e consumo.
Ver todos os artigos →
Tags: anthropic Inteligência Artificial OpenAI Segurança
