Lightricks está aumentando a aposta na criação e iteração rápida de vídeos com seu mais recente modelo de inteligência artificial. A empresa afirma que seu modelo básico LTX-2 recém-lançado pode gerar novo conteúdo mais rápido do que a velocidade de reprodução, além de elevar o nível de resolução e qualidade.
O LTX-2 de código aberto pode gerar um vídeo estilizado e de alta definição de seis segundos em apenas cinco segundos, sem comprometer a qualidade, permitindo que os criadores produzam conteúdo profissional muito mais rápido do que antes.
É uma conquista impressionante, mas não é o único parâmetro que diferencia o LTX-2 dos outros. Ele combina síntese nativa de áudio e vídeo com transparência de código aberto e, se os usuários estiverem dispostos a esperar mais alguns segundos, poderão aprimorar suas saídas para resolução 4K em até 48 quadros por segundo, diz a empresa. Melhor ainda, os criadores podem executar o software em GPUs de consumo, reduzindo drasticamente os custos de computação.
Modelos de difusão amadurecem
LTX-2 é conhecido como modelo de difusão, que funciona adicionando “ruído” gradativamente ao conteúdo gerado e, em seguida, reduzindo esse ruído até que a saída se assemelhe aos ativos de vídeo nos quais o modelo foi treinado.
Com o LTX-2, o Lightricks acelerou o processo de difusão, para que os criadores possam iterar suas ideias produzindo visualizações ao vivo quase instantaneamente. O modelo também é capaz de gerar áudio de acompanhamento ao mesmo tempo – seja trilha sonora, diálogo ou efeitos sonoros ambientais – acelerando drasticamente os fluxos de trabalho criativos.
Isso é importante, pois antes, os criadores teriam que criar qualquer áudio separadamente do vídeo e, em seguida, gastar tempo juntando-o e garantindo que houvesse uma sincronização perfeita. Os modelos Veo do Google foram celebrados por sua poderosa integração de geração de som sincronizada, portanto, esses novos recursos no LTX servem para reforçar a ideia de que a tecnologia da Lightricks está no mesmo nível do que há de mais moderno.
Quando se trata de opções de acesso, Lightricks ainda oferece aos criadores bastante flexibilidade com o LTX-2. A principal plataforma LTX Studio da empresa é voltada para profissionais que, em alguns casos, estão dispostos a sacrificar um pouco da velocidade para criar vídeos da mais alta qualidade. Com as taxas de processamento um pouco mais lentas, eles serão capazes de produzir vídeos em resolução nativa de 4K a até 48fps, criando o mesmo padrão esperado das produções cinematográficas, afirma Lightricks.
A plataforma oferece uma ampla gama de controles criativos, afetando os parâmetros personalizáveis do modelo. Mais detalhes sobre eles serão anunciados em breve, mas devem incluir controles de pose e profundidade, geração de vídeo para vídeo e alternativas de renderização – fique atento à data de lançamento, ainda neste outono.
O cofundador e presidente-executivo da Lightricks, Zeev Farbman, acredita que as capacidades aprimoradas do LTX-2 ilustram até que ponto os modelos de difusão estão finalmente amadurecendo. Ele disse em comunicado que o LTX-2 é: “O mecanismo de IA criativo mais completo e abrangente que já construímos, combinando áudio e vídeo sincronizados, fidelidade 4K, fluxos de trabalho flexíveis e eficiência radical”.
“Não se trata de vaporware ou de demonstração de pesquisa”, disse ele. “É um verdadeiro avanço na geração de vídeo.”
Um marco importante
Com o LTX-2, a Lightricks está demonstrando que está na vanguarda da geração de vídeo de IA, com a plataforma acompanhando uma série de inovações do setor em modelos LTXV anteriores.
Em julho, a família de modelos LTXV da empresa, incluindo LTXV-2B e LTXV-13B, tornou-se a primeira a suportar geração de vídeo de formato longo, que seguiu uma atualização que estendeu a saída para até 60 segundos. Com isso, a produção de vídeo por IA tornou-se “verdadeiramente direcionada”, com os usuários capazes de começar com um prompt inicial e adicionar mais prompts em tempo real à medida que o vídeo era transmitido ao vivo.
O LTXV-13B já tinha a reputação de ser um dos modelos de criação de vídeo mais poderosos do mercado, mesmo antes daquela atualização de um minuto. Lançada em maio, foi a primeira plataforma do setor a oferecer suporte à renderização em várias escalas, o que permite aos usuários aprimorar progressivamente seus vídeos, solicitando que o modelo adicione mais cores e detalhes, passo a passo, da mesma forma que os animadores profissionais “colocam” detalhes adicionais em seu trabalho nos processos de produção tradicionais.
O modelo 13B foi treinado com dados licenciados da Getty e Shutterstock. As parcerias da empresa com estes gigantes do conteúdo são importantes, não só pela qualidade dos dados de formação, mas também por razões éticas; os resultados dos modelos são muito menos problemáticos em termos de direitos autorais, uma questão que atormenta as criações de muitos outros modelos de IA.
Lightricks também lançou uma versão destilada do LTXV-13B que simplifica e acelera o processo de difusão, o que significa que o conteúdo pode ser gerado em apenas quatro a oito etapas. A versão destilada também suporta LoRAs, o que significa que pode ser ajustada pelos usuários para criar conteúdo mais sintonizado com o estilo estético de um projeto.
Modelos de faturamento inovadores
Como os modelos anteriores, o LTX-2 será lançado sob licença de código aberto, tornando-o uma alternativa viável à série de modelos Wan2 do Alibaba. Lightricks enfatizou que é verdadeiramente de código aberto, em oposição a apenas “acesso aberto”, o que significa que seus pesos pré-treinados, conjuntos de dados e todas as ferramentas estarão disponíveis no GitHub, junto com o próprio modelo.
O LTX-2 está disponível para usuários no LTX Studio e por meio de sua API a partir de agora, com a versão de código aberto prevista para ser lançada em novembro.
Para quem prefere usar a versão paga via API, o Lightricks oferece preços flexíveis, com custos a partir de apenas US$ 0,04 por segundo para uma versão que gera vídeos HD em apenas cinco segundos. A versão Pro equilibra velocidade com desempenho e aqui os preços começam em US$ 0,07 por segundo. A versão Ultra custa US$ 0,12 por segundo para geração de vídeo em resolução 4K a 48 fps, além de áudio de fidelidade total. Os preços também variam de acordo com a resolução, podendo os usuários escolher entre 720p, 1080p, 2K e 4K.
Lightricks afirma que, graças à eficiência do processamento do modelo, seu preço torna o LTX-2 até 50% mais barato que os modelos concorrentes, tornando projetos estendidos mais viáveis economicamente, mas com iteração mais rápida e qualidade superior às gerações anteriores. Alternativamente, os usuários poderão usar o modelo baixando a versão de código aberto e executando-o em GPUs de consumo depois que chegar ao GitHub no próximo mês.
Fonte da imagem: Unsplash
Fontesartificialintelligence
