Recentemente, tem havido muita discussão sobre se os modelos de linguagem de grande escala (LLMs), como o GPT-4 e o Bard, realmente “entendem” o que estão dizendo ou se são apenas modelos estatísticos avançados. Este artigo analisa um estudo recente que sugere que esses modelos estão desenvolvendo uma compreensão do mundo, mesmo sem receber treinamento explícito para isso.

O Estudo de Othello

O estudo analisou um modelo treinado no jogo de tabuleiro Othello. O modelo recebeu apenas sequências de movimentos, sem nenhum conhecimento explícito sobre as regras do jogo ou o tabuleiro 8×8. No entanto, depois do treinamento, o modelo foi capaz de prever movimentos legais com alta precisão. Mais importante, sondas dentro do modelo foram capazes de prever com precisão o estado atual do tabuleiro, sugerindo que o modelo havia desenvolvido internamente uma representação do jogo.

O Uso de Sondas

As sondas funcionam como “detetives” que examinam os sinais internos do modelo treinado e tentam prever características específicas, como o estado atual do tabuleiro. Se as sondas puderem prever o estado do tabuleiro com precisão, isso sugere que o modelo está mantendo essa representação internamente.

Mapas de Saliência Latente

Os pesquisadores também usaram mapas de saliência latente para visualizar quais partes do modelo estão envolvidas na tomada de decisão. Isso mostrou que o modelo estava focando nas peças corretas do “tabuleiro” ao fazer previsões, ainda mais evidência de que havia desenvolvido uma representação interna do jogo.

Implicações Mais Amplas

Este estudo fornece fortes evidências de que os LLMs podem desenvolver internamente representações complexas do mundo, mesmo quando treinados em tarefas relativamente simples. Isso apoia a visão de que esses modelos estão construindo uma compreensão, em oposição à visão de que eles são apenas “papagaios estocásticos”.

Se os LLMs estão desenvolvendo verdadeiramente algum nível de compreensão, isso tem implicações importantes para questões como a segurança de IA e como devemos interagir com esses sistemas. Há um senso de urgência na comunidade de pesquisa para chegar a um consenso sobre essa questão fundamental.

O estudo de Othello fornece fortes evidências de que os modelos de linguagem de grande escala podem estar desenvolvendo internamente representações complexas do mundo, apesar de serem treinados apenas em dados brutos como sequências de símbolos. Isso sugere que eles estão construindo algum nível de compreensão, em vez de serem meros modelos estatísticos. Mais pesquisas são necessárias, mas esse é um passo importante para entender as capacidades emergentes desses sistemas de IA.