OpenAI acusa Moonshot AI de tentar extrair raciocínio de seus modelos
A OpenAI afirmou ter identificado e interrompido uma campanha coordenada destinada a extrair mecanismos protegidos de raciocínio de seus modelos de inteligência artificial. Segundo a companhia, parte central da operação foi associada a indivíduos ligados à startup chinesa Moonshot AI, desenvolvedora do chatbot Kimi. A ação não violou criptografia ou bancos de dados, mas manipulou comandos entre conversas para tornar visíveis raciocínios normalmente ocultos.
O que se sabe
- A OpenAI identificou e interrompeu uma operação coordenada para extrair capacidades e mecanismos protegidos de raciocínio de seus modelos de IA.12
- A OpenAI atribuiu um núcleo central da atividade a indivíduos ligados à startup chinesa Moonshot AI, desenvolvedora do chatbot Kimi.12
- A movimentação começou no início de julho e atingiu pico entre 24 e 25 de julho, somando 16 mil solicitações feitas por mais de 4 mil usuários.12
- A investigação da OpenAI identificou posteriormente atividades relacionadas envolvendo mais de 15 mil usuários.12
- A OpenAI afirmou ter interrompido a campanha de extração completamente em 28 de julho.12
- Os operadores não invadiram bancos de dados nem quebraram a criptografia diretamente, mas manipularam interações para reproduzir o raciocínio oculto em formato visível.12
- A OpenAI classificou a técnica utilizada como 'destilação adversarial' e uma nova forma de ataque de distilação.12
- A OpenAI afirmou que não ficou claro se toda a atividade partiu de um único operador ou de grupos distintos.12
- O método envolvia copiar dados criptografados de uma conversa e solicitar em outra que o modelo descriptografasse e transcrevesse o conteúdo oculto.2
- A OpenAI não apresentou publicamente evidências técnicas detalhadas para sustentar a atribuição feita à Moonshot AI.2
- A OpenAI compartilhou os dados da investigação com outras desenvolvedoras por meio do Frontier Model Forum e canais governamentais.1
- A Moonshot AI não respondeu de imediato aos pedidos de comentário sobre as acusações da OpenAI.1
“Os operadores não quebraram nossa criptografia, comprometeram um banco de dados nem obtiveram acesso direto às conversas armazenadas dos usuários. Em vez disso, manipularam as interações com o modelo para que o raciocínio protegido pudesse ser reproduzido em formas visíveis ao solicitante, de maneira coordenada e em escala, violando nossos termos de serviço”OpenAI2
Cronologia
- Início das atividades coordenadas de extração de raciocínio contra a OpenAI
- Pico da atividade com 16 mil solicitações enviadas por mais de 4 mil usuários
- OpenAI interrompe completamente a operação de distilação adversarial
Quem está envolvido
A
Alibabaempresa citada pela Anthropic
A
Anthropicempresa que fez acusações semelhantes
C
Claudemodelo de IA da Anthropic
FM
Frontier Model Forumcanal de compartilhamento de descobertas
K
Kimichatbot desenvolvido pela Moonshot AI
MA
Moonshot AIacusada de envolvimento na operação
O
OpenAIalvo da extração de modelos