A Vals AI deixou o GPT-6 Astra jogar Minecraft por 141 horas. Sem uma API especial do jogo: ele trabalhou principalmente pela tela, pelo teclado e pelo mouse, o que se chama de computer use (a IA usando o computador como uma pessoa). O Astra chegou a uma fortaleza do Nether, montou uma fazenda de blazes semiautomática e conseguiu 6 bastões de blaze e 3 pérolas do End. Cavou 34,573 blocos, andou 135.1 km e morreu 548 vezes.
Aí um creeper explodiu o baú com os itens de valor, junto com a cama. Nessa partida o keepInventory estava LIGADO (você não perde os itens quando morre), então levar o que era importante no corpo era mais seguro. O Astra tirou essa lição depois do desastre. Só que, em seguida, passou horas plantando quase só batata e ficou tão desconfiado que parava para confirmar que um objeto verde e comprido era "cana-de-açúcar, não um creeper".
Por que ele não olha a wiki?
Dentro do jogo também existem outras saídas: espalhar os itens em vários baús, erguer muros, colocar iluminação, guardar recursos de reserva. Além disso, uma wiki de guias, uma busca na web, registros anteriores, capturas de tela e anotações no computador, ou perguntar a uma pessoa, também podem ser fontes de busca. Ou seja, não é só procurar a próxima ação, e sim procurar onde procurar: uma metabusca.
Só que, mesmo que o Astra consiga navegar sozinho, não dá para saber se este experimento liberou o acesso à web ou a arquivos locais. Se estava fechado, é uma limitação do espaço de ações (action space). Se estava aberto e ele não procurou, é uma fraqueza bem interessante para um agente de longa duração.
Sem fontes para buscar, a visão fica estreita?
Só com conhecimento interno ainda dá para ter ideias, mas sem informação de fora é difícil entrarem observações novas que derrubem as próprias hipóteses. Mandar "pense mais" cem vezes com o mesmo material rende menos do que uma página da wiki ou uma frase de outra pessoa, que às vezes abre um caminho novo.
No jargão do aprendizado por reforço, é explorar versus aproveitar (exploration vs. exploitation). Se uma grande perda empurra as ações arriscadas para baixo demais e a "batata" segura para cima demais, você afunda num ótimo local. E se "procurar outra fonte de informação" também sai da lista de opções, a visão fica ainda mais estreita.
Perder tudo. Ir para o lado seguro. Fugir do desconhecido. Repetir o trabalho de sempre. Desconfiar até da cor verde.
A batata nunca trai.
Isso não prova que ele tenha emoções como as humanas. Mas o comportamento é estranhamente humano. O que uma IA de longo prazo precisa talvez seja da capacidade de, quando trava, ampliar o próprio espaço de busca: o ambiente, o histórico, o computador, a web, outras pessoas.
Uma IA inteligente consegue continuar explorando o mundo com amplitude, mesmo depois de se dar mal com a própria estratégia? Provavelmente é mais difícil que derrotar o dragão.
