É por isso que Mirhoseini está usando a IA para otimizar os chips de IA. Em 2021, ela e seus colaboradores do Google construíram um sistema de IA não-LLM que poderia decidir onde colocar vários componentes em um chip de computador para otimizar a eficiência. Embora alguns outros pesquisadores não tenham replicado os resultados do estudo, Mirhoseini diz que Natureza investigou o artigo e confirmou a validade do trabalho – e ela observa que o Google usou os projetos do sistema para várias gerações de seus chips de IA personalizados.
Mais recentemente, o Mirhoseini aplicou o LLMS ao problema de escrever kernels, funções de baixo nível que controlam como várias operações, como a multiplicação da matriz, são realizadas em chips. Ela descobriu que mesmo os LLMs de uso geral podem, em alguns casos, escrever kernels que correm mais rápido que as versões projetadas pelo ser humano.
Em outros lugares do Google, os cientistas construíram um sistema que eles usaram para otimizar várias partes da infraestrutura LLM da empresa. O sistema, chamado AlphaEvolve, leva o Gemini LLM do Google a escrever algoritmos para resolver algum problema, avaliar esses algoritmos e pede que Gêmeos melhore o mais bem -sucedido – e repete esse processo várias vezes. A AlphaEvolve projetou uma nova abordagem para a execução de datacenters que economizou 0,7% dos recursos computacionais do Google, fez melhorias adicionais no design de chips personalizado do Google e projetou um novo kernel que acelerou o treinamento de Gemini em 1%.
Isso pode parecer uma pequena melhoria, mas em uma empresa enorme como o Google, isso equivale a uma enorme economia de tempo, dinheiro e energia. E Matej Balog, cientista de pesquisa da equipe do Google Deepmind que liderou o projeto AlphaEvolve, diz que ele e sua equipe testaram o sistema em apenas um pequeno componente do pipeline de treinamento geral de Gêmeos. Aplicar de maneira mais ampla, diz ele, pode levar a mais economias.
3. Automatando o treinamento
Os LLMs estão famosos com fome de dados, e treiná -los é caro em todas as etapas. Em alguns domínios específicos-linguagens uniformais de programação, por exemplo-dados do mundo do real são muito escassos para treinar LLMs de maneira eficaz. Aprendizagem de reforço com feedback humano, uma técnica na qual os humanos marcam respostas LLM aos avisos e os LLMs são treinados usando essas pontuações, tem sido essencial para criar modelos que se comportem de acordo com os padrões e preferências humanas, mas obter feedback humano é lento e caro.
Cada vez mais, os LLMs estão sendo usados para preencher as lacunas. Se solicitado com muitos exemplos, os LLMs podem gerar dados sintéticos plausíveis em domínios em que não foram treinados e que os dados sintéticos podem ser usados para treinamento. Os LLMs também podem ser usados de maneira eficaz para o aprendizado de reforço: em uma abordagem chamada “LLM como juiz”, LLMs, em vez de humanos, são usados para obter as saídas dos modelos que estão sendo treinados. Essa abordagem é fundamental para a influente estrutura “constitucional da IA” proposta por pesquisadores antrópicos em 2022, na qual um LLM é treinado para ser menos prejudicial com base no feedback de outro LLM.
A escassez de dados é um problema particularmente agudo para os agentes de IA. Os agentes eficazes precisam ser capazes de realizar planos de várias etapas para realizar tarefas específicas, mas exemplos de conclusão de tarefas passo a passo bem-sucedidos são escassos on-line e o uso de seres humanos para gerar novos exemplos seria caro. Para superar essa limitação, Mirhoseini de Stanford e seus colegas pilotaram recentemente uma técnica na qual um agente LLM gera uma possível abordagem passo a passo para um determinado problema, um juiz LLM avalia se cada etapa é válida e, em seguida, um novo agente LLM é treinado nessas etapas. “Você não está mais limitado por dados, porque o modelo pode apenas gerar arbitrariamente mais e mais experiências”, diz Mirhoseini.
4. Design de agente de aperfeiçoamento
Uma área em que os LLMs ainda não fizeram grandes contribuições está no design dos próprios LLMs. Os LLMs de hoje são todos baseados em uma estrutura de rede neural chamada um transformador, proposto por pesquisadores humanos em 2017, e as notáveis melhorias que foram feitas na arquitetura também foram projetadas pelo ser humano.
