Escalando Autoresearch: O Que Acontece Quando o Agente Tem um Cluster de GPUs?

Lucas Moraes (CEO Toolzz AI)
20 de março de 2026

Autoresearch, a ferramenta de pesquisa autônoma de Andrej Karpathy, revolucionou a forma como podemos otimizar modelos de aprendizado de máquina. Originalmente concebido para rodar um experimento por vez, o que acontece quando damos a ele acesso a um cluster de GPUs? Este artigo explora os resultados surpreendentes de escalar autoresearch, revelando como o paralelismo acelera a pesquisa e desbloqueia novas estratégias de otimização.

O Gargalo: Uma GPU, Um Experimento

O grande limitador do autoresearch em sua configuração original é a dependência de uma única GPU. O processo é inerentemente sequencial: o agente edita o código, o treinamento é executado, os resultados são avaliados e o ciclo se repete. O tempo de treinamento, que pode levar vários minutos, se torna o principal gargalo, impedindo que o agente explore o espaço de parâmetros de forma eficiente. Enquanto o agente aguarda a conclusão de um experimento, ele poderia estar preparando o próximo, ou até mesmo vários ao mesmo tempo.

Dando ao Agente GPUs na Nuvem

Para superar essa limitação, utilizamos o SkyPilot para fornecer ao autoresearch acesso a um cluster de 16 GPUs. SkyPilot é uma ferramenta de código aberto que simplifica o lançamento de tarefas em várias nuvens e Kubernetes, e possui uma habilidade integrada que ensina agentes de codificação a usá-lo. O agente aprende a usar SkyPilot para provisionar clusters, enviar experimentos, verificar logs e manter o processo em andamento. A configuração é definida em um arquivo YAML (experiment.yaml) que especifica o tipo de GPU, as dependências e o comando de execução.

Resultados: ~910 Experimentos, ~8 Horas, 16 GPUs

Com acesso a 16 GPUs, o agente conseguiu realizar aproximadamente 90 experimentos por hora, um aumento de 9x em relação à execução sequencial. Em 8 horas, foram submetidos cerca de 910 experimentos, dos quais 700 produziram resultados válidos. A pesquisa evoluiu através de cinco fases distintas, cada uma impulsionada pelas descobertas da anterior.

Fase 1: Variações de Hiperparâmetros (~Primeiros 200 Experimentos)

Inicialmente, o agente se concentrou em ajustar os hiperparâmetros mais óbvios, como tamanho do lote, parâmetros do Adam, taxa de decaimento do peso e agendamentos de taxa de aprendizado. Rapidamente, identificou que reduzir o tamanho do lote para 2^18 e ajustar os parâmetros do Adam para 0,9 e 0,95 melhoravam o desempenho. Essa fase inicial mapeou o espaço de hiperparâmetros e preparou o terreno para as próximas iterações.

Fase 2: Descoberta da Arquitetura (~Experimentos 200-420)

O avanço mais significativo ocorreu quando o agente começou a explorar diferentes arquiteturas de modelo. Em uma única iteração, testou seis proporções diferentes simultaneamente, descobrindo que aumentar a largura do modelo de AR~48 (dimensão do modelo=384) para AR=96 (dimensão do modelo=768) superou todas as otimizações de hiperparâmetros da fase anterior. Essa descoberta demonstrou o poder do paralelismo para identificar rapidamente as direções mais promissoras.

Fase 3: Ajuste Fino do Modelo Mais Amplo (~Experimentos 420-560)

Com a arquitetura mais ampla estabelecida, o agente se concentrou em ajustá-la. Explorou diferentes agendamentos de aquecimento, taxas de aprendizado da matriz e configurações de decaimento de peso. Essa fase otimizou o desempenho do modelo dentro da arquitetura selecionada.

Fase 4: Ajuste do Otimizador (~Experimentos 560-700)

O agente descobriu que aumentar o parâmetro beta2 do otimizador Muon de 0,95 para 0,98 resultou em melhorias significativas. Essa mudança permitiu que o modelo desse passos mais eficazes durante o treinamento, levando a um desempenho aprimorado.

Fase 5: Retornos Decrescentes (~Experimentos 700-910)

À medida que a pesquisa avançava, os ganhos diminuíram. O agente continuou a explorar novas configurações, mas as melhorias se tornaram cada vez menores, indicando que o espaço de otimização havia sido amplamente explorado.

Como o Paralelismo Mudou a Estratégia de Pesquisa do Agente

O paralelismo não apenas acelerou a pesquisa, mas também alterou a forma como o agente abordou o problema. Com uma única GPU, o agente se limita a uma abordagem de escalada de colina gulosa, testando uma alteração por vez. Com 16 GPUs, ele pode executar grades fatoriais de experimentos, capturando interações entre parâmetros que seriam perdidas na pesquisa sequencial. Por exemplo, o agente testou seis larguras de modelo em uma única iteração, identificando imediatamente a tendência e concentrando-se na melhor configuração.

Estratégias de Pesquisa Emergentes: Explorando Hardware Heterogêneo

O agente também demonstrou a capacidade de explorar hardware heterogêneo. Identificou que tinha acesso a GPUs H100 e H200 e desenvolveu uma estratégia para utilizar as diferenças de desempenho. Ideias promissoras foram inicialmente testadas em GPUs H100 mais baratas, e os vencedores foram promovidos para GPUs H200 para validação.

Impressione sua equipe com resultados ainda melhores! Descubra como os Agentes de IA da Toolzz podem otimizar seus processos.

Conclusão

Escalar autoresearch com um cluster de GPUs revelou o poder do paralelismo para acelerar a pesquisa e descobrir novas estratégias de otimização. O agente não apenas alcançou melhores resultados mais rapidamente, mas também demonstrou a capacidade de adaptar-se a diferentes ambientes de hardware e explorar o espaço de parâmetros de forma mais eficaz. A capacidade de automatizar a pesquisa e otimização de modelos de aprendizado de máquina é um passo importante para democratizar o acesso à inteligência artificial. A Toolzz oferece soluções de IA personalizadas que permitem que as empresas aproveitem o poder da automação e otimização para impulsionar seus negócios.