OpenAI acusa startup chinesa Moonshot AI de tentar extrair raciocínio de modelos

A OpenAI identificou e interrompeu uma operação coordenada montada para extrair capacidades e mecanismos protegidos de raciocínio de seus modelos de inteligência artificial. De acordo com a organização, o núcleo central da atividade foi atribuído a indivíduos vinculados à Moonshot AI, startup chinesa sediada em Pequim e responsável pelo desenvolvimento do chatbot Kimi.¹³²

Escala e dinâmica da investida

As movimentações tiveram início no começo de julho e atingiram o ápice nos dias 24 e 25 daquele mês, concentrando 16 mil requisições enviadas por mais de 4 mil contas de usuários. Investigações posteriores conduzidas pela OpenAI revelaram ramificações que envolveram mais de 15 mil usuários no total, até que a ofensiva fosse completamente bloqueada em 28 de julho.¹²

A técnica empregada foi categorizada pela empresa como uma nova modalidade de ataque de distilação, batizada de destilação adversarial. O procedimento não dependeu de invasões a servidores nem de quebra criptográfica direta: os operadores copiavam informações criptografadas geradas em uma conversa e solicitavam, em uma nova sessão, que o próprio modelo descriptografasse e transcrevesse o raciocínio oculto em formato legível.¹²

“Os operadores não quebraram nossa criptografia, comprometeram um banco de dados nem obtiveram acesso direto às conversas armazenadas dos usuários. Em vez disso, manipularam as interações com o modelo para que o raciocínio protegido pudesse ser reproduzido em formas visíveis ao solicitante, de maneira coordenada e em escala, violando nossos termos de serviço”OpenAI²

Compartilhamento de dados e posicionamentos

Apesar de apontar a participação de ligados à Moonshot AI, a OpenAI admitiu que não ficou claro se as ações integraram um esforço de um único operador ou a atuação de grupos distintos. Além disso, a companhia não divulgou relatórios técnicos detalhados com as evidências públicas que fundamentaram a atribuição formal à startup chinesa.¹²

Os registros e conclusões da apuração interna foram compartilhados pela OpenAI com canais governamentais e desenvolvedoras concorrentes integrantes do Frontier Model Forum. A Moonshot AI não respondeu de imediato aos pedidos de posicionamento sobre as alegações.¹