Sora 2 da OpenAI pode fabricar deepfakes convincentes sob comando, conclui estudo

O Sora 2 da OpenAI produziu vídeos realistas espalhando afirmações falsas 80% das vezes quando os pesquisadores solicitaram, de acordo com um Análise do NewsGuard publicado esta semana.

Dezesseis em cada vinte solicitações geraram desinformação com sucesso, incluindo cinco narrativas originadas de operações de desinformação russas.

O aplicativo criou imagens falsas de um funcionário eleitoral da Moldávia destruindo cédulas pró-Rússia, de uma criança detida por agentes de imigração dos EUA e de um porta-voz da Coca-Cola anunciando que a empresa não patrocinaria o Super Bowl.

Nada disso aconteceu. Tudo parecia real o suficiente para enganar alguém que rolasse rapidamente.

Os pesquisadores do NewsGuard descobriram que a geração dos vídeos levava minutos e não exigia nenhum conhecimento técnico. Eles ainda revelaram que a marca d’água de Sora pode ser facilmente removida, facilitando ainda mais a passagem de um vídeo falso para valer.

O nível de realismo também facilita a propagação da desinformação.

“Alguns vídeos gerados por Sora foram mais convincentes do que a postagem original que alimentou a falsa alegação viral”, explicou Newsguard. “Por exemplo, o vídeo criado por Sora de uma criança sendo detida pelo ICE parece mais realista do que uma imagem borrada e recortada da suposta criança que originalmente acompanhou a falsa alegação.”

Esse vídeo pode ser assistido aqui.

As descobertas chegam no momento em que a OpenAI enfrenta uma crise diferente, mas relacionada, envolvendo deepfakes de Martin Luther King Jr. e outras figuras históricas – uma bagunça que forçou a empresa a várias reversões de políticas nas três semanas desde o lançamento do Sora, passando de permitir deepfakes a um modelo opt-in para detentores de direitos, bloqueando números específicos e, em seguida, um consentimento de celebridade e proteção de voz após trabalhando com SAG-AFTRA.

A situação do MLK explodiu depois que os usuários criaram vídeos hiper-realistas mostrando o líder dos direitos civis roubando supermercados, fugindo da polícia e perpetuando estereótipos raciais. Sua filha Bernice King chamou o conteúdo de “humilhante” e “desarticulado” nas redes sociais.

A OpenAI e o espólio de King anunciaram na quinta-feira que estão bloqueando vídeos de King de IA enquanto a empresa “fortalece as proteções para figuras históricas”.

O padrão se repete em dezenas de figuras públicas. A filha de Robin Williams, Zelda, escreveu no Instagram: “Por favor, pare de me enviar vídeos de IA do papai.

A filha de George Carlin, Kelly Carlin-McCall, diz que recebe e-mails diários sobre vídeos de IA usando a imagem de seu pai. O Washington Post relatado clipes fabricados de Malcolm X fazendo piadas grosseiras e lutando com King.

Kristelia García, professora de direito de propriedade intelectual na Georgetown Law, contado NPR que a abordagem reativa da OpenAI se enquadra no padrão da empresa de “pedir perdão, não permissão”.

A zona cinzenta legal não ajuda muito as famílias. As leis tradicionais de difamação normalmente não se aplicam a indivíduos falecidos, deixando os representantes imobiliários com opções limitadas além de solicitar remoções.

O ângulo da desinformação torna tudo isso pior. OpenAI reconheceu o risco em documentação acompanhando o lançamento de Sora, afirmando que “os recursos avançados de Sora 2 exigem consideração de novos riscos potenciais, incluindo o uso não consensual de semelhanças ou enganar gerações.”

Altman defendeu a estratégia de “construir em público” da OpenAI em uma postagem no blog, escrevendo que a empresa precisa evitar desvantagem competitiva. “Por favor, espere uma taxa de mudança muito alta de nossa parte; isso me lembra dos primeiros dias do ChatGPT. Tomaremos algumas boas decisões e alguns erros, mas receberemos feedback e tentaremos corrigir os erros muito rapidamente.”

Para famílias como os Kings, esses erros trazem consequências que vão além dos ciclos de iteração do produto. O espólio de King e a OpenAI emitiram uma declaração conjunta dizendo que estão trabalhando juntos “para abordar como a imagem do Dr. Martin Luther King Jr.

A OpenAI agradeceu a Bernice King por sua divulgação e deu crédito a John Hope Bryant e ao Conselho de Ética da IA ​​por facilitarem as discussões. Enquanto isso, o aplicativo continua hospedando vídeos de Bob Esponja, South Park, Pokémon e outros personagens protegidos por direitos autorais.

A Disney enviou uma carta afirmando que nunca autorizou a OpenAI a copiar, distribuir ou exibir suas obras e não tem a obrigação de “excluir” para preservar os direitos autorais.

A controvérsia reflete a abordagem anterior da OpenAI com o ChatGPT, que treinou em conteúdo protegido por direitos autorais antes de finalmente fechar acordos de licenciamento com editores. Essa estratégia já levou a vários processos judiciais. A situação de Sora poderia acrescentar mais.