Um token é frequentemente descrito como representando cerca de três quartos de uma palavra. Assim, dar a um LLM um texto de 10.000 palavras para examinar equivaleria a 12.000-13.000 tokens de conteúdo. Em termos de desenvolvedor, se um corpo de código que o Copilot examinasse (para refatoração ou caça a bugs, por exemplo) fosse composto por 10.000 ‘palavras’ (expressões, instruções, nomes de variáveis, funções e assim por diante), então usá-lo em uma consulta, uma vez, contaria como 12.000-13.000 tokens de sua cota para o mês.
O texto do prompt, como entrada, também contará, assim como as saídas do Copilot.
Os níveis de preços que entrarão em vigor no próximo mês permanecem atrelados aos níveis atuais, mas em vez de receberem uma série de consultas por mês, os usuários recebem ‘créditos de IA’ no mesmo valor. Um assinante básico do Copilot Pro (US$ 10 pcm) receberá 1.000 créditos, com o GitHub informando que atualmente um crédito de IA vale um centavo dos EUA.
O número de tokens que cada crédito compra dependerá do modelo usado, do mix de entrada/saída, do tamanho do cache (dados mantidos na memória do LLM para contexto) e do recurso solicitado. Assim, se um desenvolvedor usar principalmente consultas simples, provavelmente não precisará comprar tokens extras na forma de créditos todos os meses. Por outro lado, consultas de vários agentes sobre uma base de código complexa e longa esvaziarão a conta de crédito de IA mais rapidamente. As consultas aos modelos de fronteira mais avançados custarão mais do que aos menos poderosos.
As alterações de preços do GitHub incluem alguns benefícios compensatórios para os usuários: preenchimentos de código (semelhantes à função de preenchimento automático de um telefone) e sugestões de próxima edição permanecerão gratuitos.
Fontesartificialintelligence
