Por que robôs não conseguem resolver charadas

Nos corredores da Vrije Universiteit de Amsterdã, o professor assistente Filip Ilievski brinca com inteligência artificial.

É um assunto sério, claro, mas seu trabalho pode parecer mais uma brincadeira de criança do que uma pesquisa acadêmica propriamente dita. Usando algumas das tecnologias mais avançadas e surreais da humanidade, Ilievski pede à IA para resolver enigmas.

Compreender e melhorar a capacidade da IA ​​para resolver puzzles e problemas lógicos é essencial para melhorar a tecnologia, diz Ilievski.

“Como seres humanos, é muito fácil para nós usar o bom senso, aplicá-lo no momento certo e adaptá-lo a novos problemas”, diz Ilievski, que descreve seu ramo da ciência da computação como “IA de bom senso”.

Neste momento, porém, a IA tem uma “falta geral de âncora no mundo”, o que torna difícil este tipo de raciocínio básico e flexível.

Mas o estudo da IA ​​pode ir além dos computadores. Alguns especialistas acreditam que comparar a forma como a IA e os humanos lidam com tarefas complexas poderia ajudar a desvendar os segredos da mente humana.

A IA é excelente no reconhecimento de padrões, “mas tende a ser pior do que os humanos em questões que exigem pensamento mais abstrato”, diz Xaq Pitkow, professor associado da Universidade Carnegie Mellon, nos EUA, que estuda a intersecção entre IA e neurociência. Em muitos casos, porém, depende do problema.

Decifre isso

Vamos começar com uma questão que é tão fácil de resolver que não cabe como enigma nos padrões humanos. Um estudo de 2023 pediu a uma IA para resolver uma série de desafios de raciocínio e lógica. Aqui está um exemplo:

A frequência cardíaca de Mable às 9h era de 75 bpm e sua pressão arterial às 19h era de 120/80. Ela morreu às 23h. Ela estava viva ao meio-dia?

Não é uma pergunta capciosa. A resposta é sim. Mas o GPT-4 – o modelo mais avançado da OpenAI na época – não achou isso tão fácil.

“Com base nas informações fornecidas, é impossível dizer com certeza se Mable estava vivo ao meio-dia”, disse a IA ao pesquisador.

Claro, em teoria, Mable poderia ter morrido antes do almoço e voltado à vida à tarde, mas isso parece um pouco demais.

Primeiro ponto para a humanidade.

A pergunta de Mable requer “raciocínio temporal”, uma lógica que lida com a passagem do tempo. Um modelo de IA pode não ter problemas em dizer que meio-dia é entre 9h e 19h, mas entender as implicações disso é mais complicado.

“Em geral, o raciocínio é muito difícil”, diz Pitkow. “Esta é uma área que vai além do que a IA faz atualmente em muitos casos.”

Uma verdade sobre a IA é que não temos ideia de como ela funciona. Sabemos em geral – afinal, foram os seres humanos que construíram a IA.

Grandes Modelos de Linguagem (ou LLMs) usam análise estatística para encontrar padrões em grandes quantidades de texto.

Quando você faz uma pergunta, a IA trabalha por meio das relações que identificou entre palavras, frases e ideias e usa isso para prever a resposta mais provável ao seu comando.

Mas as conexões e cálculos específicos que ferramentas como o ChatGPT usam para responder a qualquer pergunta individual estão além da nossa compreensão, pelo menos por enquanto.

Isto também se aplica ao cérebro: sabemos muito pouco sobre como funciona a nossa mente. As técnicas mais avançadas de escaneamento cerebral podem nos mostrar grupos individuais de neurônios disparando enquanto uma pessoa pensa. Mas ninguém pode dizer o que esses neurônios estão fazendo ou como exatamente o pensamento funciona.

Ao estudar a IA e a mente em conjunto, contudo, os cientistas podem fazer descobertas, diz Pitkow. Afinal, a atual geração de IA utiliza “redes neurais”, criadas a partir da estrutura do cérebro humano.

Não há razão para supor que a IA use os mesmos processos que a sua cabeça, mas aprender mais sobre um sistema de raciocínio pode nos ajudar a compreender o outro.

“A IA está a florescer e, ao mesmo tempo, temos esta neurotecnologia emergente que nos dá uma oportunidade sem precedentes de olhar para dentro do cérebro”, diz Pitkow.

Instinto de confiança

A questão da IA ​​e dos quebra-cabeças fica mais interessante quando você olha para questões destinadas a confundir os humanos. Aqui está um exemplo clássico:

Um taco e uma bola custam $ 1,10 no total. O taco custa $ 1,00 a mais que a bola. Quanto custa a bola?

A maioria das pessoas tem o impulso de subtrair 1,00 de 1,10 e dizer que a bola custa US$ 0,10, segundo Shane Frederick, professor de Marketing da Yale School of Management (EUA), que estudou charadas. E a maioria das pessoas erram. A bola custa US$ 0,05.

“O problema é que as pessoas endossam casualmente a sua intuição”, diz Frederick. “Eles acham que a intuição geralmente está certa e, em muitos casos, geralmente está. Você não poderia viver se tivesse que questionar todos os seus pensamentos.”

No entanto, quando se trata do problema do taco e da bola, e de muitos quebra-cabeças semelhantes, a intuição trai.

Segundo Frederick, este pode não ser o caso da IA.

Os humanos geralmente confiam na intuição, a menos que haja alguma indicação de que o primeiro pensamento possa estar errado.

“Suspeito que a IA não teria esse problema. É muito boa para extrair os elementos relevantes de um problema e realizar as operações apropriadas”, diz Frederick.

A questão do taco e da bola, entretanto, é um enigma ruim para testar a IA. É familiar, o que significa que modelos de IA treinados em bilhões de linhas de texto provavelmente já o viram antes.

Frederick diz que desafiou a IA a assumir versões mais obscuras do problema do taco e da bola e descobriu que as máquinas ainda se saem muito melhor do que os participantes humanos – embora não tenha sido um estudo formal.

Novos problemas

Se você deseja que a IA exiba algo que se pareça mais com raciocínio lógico, porém, você precisa de um enigma totalmente novo, que não esteja entre os dados usados ​​para treiná-la.

Para um estudo recente (disponível em versão pré-impressa), Ilievski e seus colegas desenvolveram um programa de computador que gera problemas originais de rebus, quebra-cabeças que usam combinações de imagens, símbolos e letras para representar palavras ou frases.

Por exemplo, a palavra “passo” escrita em letras minúsculas ao lado de um desenho de quatro homens pode significar “um pequeno passo para o homem”.

Os pesquisadores apresentaram vários modelos de IA a esses modelos de IA nunca antes vistos e desafiaram pessoas reais com os mesmos desafios.

Como esperado, os humanos se saíram bem, com uma taxa de precisão de 91,5% para rebuses com imagens (em oposição a texto). A IA com melhor desempenho, GPT-4o da OpenAI, obteve 84,9% em condições ideais. Nada mal, mas os humanos ainda têm vantagem.

De acordo com Ilievski, não existe uma taxonomia aceita que detalhe todos os diferentes tipos de lógica e raciocínio, quer se trate de um pensador humano ou de uma máquina. Isso torna difícil classificar o desempenho da IA ​​em diferentes tipos de problemas.

Um estudo dividiu o raciocínio em algumas categorias úteis. O pesquisador fez ao GPT-4 uma série de perguntas e enigmas relacionados a 21 tipos diferentes de raciocínio, incluindo aritmética simples, matemática, tratamento de gráficos, paradoxos, raciocínio espacial e muito mais.

Aqui está um exemplo, baseado em um quebra-cabeça lógico de 1966 chamado tarefa de seleção de Wason:

Sete cartas são colocadas sobre a mesa, cada uma com um número de um lado e uma mancha de cor única do outro lado. As faces das cartas mostram 50, 16, vermelho, amarelo, 23, verde, 30. Quais cartas você teria que virar para testar a veracidade da proposição de que se uma carta mostra um múltiplo de quatro, então a cor de o lado oposto é amarelo?

GPT-4 falhou miseravelmente. A IA disse que você precisaria virar as cartas 50, 16, amarela e 30. Totalmente errado. A proposição diz que as cartas divisíveis por quatro têm amarelo no outro lado – mas não diz que apenas as cartas divisíveis por quatro são amarelas. Portanto, não importa a cor dos cartões 50 e 30, ou qual o número que está no verso do cartão amarelo. Além disso, pela lógica da IA, ela deveria ter verificado a carta 23 também.

A resposta correta é que você só precisa virar as cartas 16, vermelha e verde.

A IA também enfrentou algumas questões ainda mais fáceis:

Suponha que eu esteja no meio do estado de Dakota do Sul e olhando diretamente para o centro do Texas. Boston está à minha esquerda ou à minha direita?

Isso é difícil se você não conhece o mapa dos Estados Unidos, mas aparentemente o GPT-4 estava familiarizado com os estados americanos.

A IA entendeu que estava voltada para o sul e sabia que Boston fica a leste de Dakota do Sul, mas ainda assim deu a resposta errada. GPT-4 não entendeu a diferença entre esquerda e direita.

A IA também falhou na maioria das outras questões. Conclusão do pesquisador: “O GPT-4 não consegue raciocinar”.

Apesar de todas as suas deficiências, a IA está melhorando. Em meados de setembro, a OpenAI lançou uma prévia do GPT-o1, um novo modelo criado especificamente para problemas mais difíceis relacionados à ciência, programação e matemática.

Abri o GPT-o1 e fiz muitas das mesmas perguntas do estudo de raciocínio. Ele acertou em cheio na seleção de Wason. A IA sabia que você precisava virar à esquerda para encontrar Boston. E não teve problemas em dizer, definitivamente, que o nosso pobre amigo Mable, que morreu às 23 horas, ainda estava vivo ao meio-dia.

Ainda há uma variedade de questões em que a IA nos supera. Um teste pediu a um grupo de estudantes americanos que estimasse o número de assassinatos ocorridos no ano passado em Michigan e depois perguntou a mesma coisa a um segundo grupo, sobre Detroit. “O segundo grupo apresenta um número muito maior”, diz Frederick. (Para os não-americanos, Detroit fica em Michigan, mas a cidade tem uma reputação negativa de violência.)

“É uma tarefa cognitiva muito difícil olhar além da informação que não está bem à sua frente, mas de certa forma é assim que a IA funciona”, diz ele.

A IA extrai informações que aprendeu em outro lugar.

É por isso que os melhores sistemas podem vir de uma combinação de IA e trabalho humano; podemos aproveitar os pontos fortes da máquina, diz Ilievski.

Mas quando queremos comparar a IA e a mente humana, é importante lembrar que “não há pesquisas conclusivas que forneçam evidências de que humanos e máquinas abordam os quebra-cabeças de maneira semelhante”, diz ele.

Por outras palavras, compreender a IA pode não nos dar quaisquer insights diretos sobre como funciona a nossa mente, ou vice-versa.

Embora aprender como melhorar a IA não forneça respostas sobre como funciona a mente humana, pode nos dar pistas.

“Sabemos que o cérebro tem diferentes estruturas relacionadas com coisas como valor da memória, padrões de movimento e percepção sensorial, e as pessoas estão tentando incorporar cada vez mais estruturas nestes sistemas de IA”, diz Pitkow.

“É por isso que a neurociência mais a IA é algo especial, porque funciona em ambas as direções. Uma maior compreensão do cérebro pode levar a uma IA melhor. E uma maior compreensão da IA ​​pode levar a uma melhor compreensão do cérebro.”

Thomas Germain é jornalista sênior de tecnologia da BBC. Ele cobre IA, privacidade e os confins da cultura da Internet há quase uma década. Você pode encontrá-lo no X e no TikTok @thomasgermain.

Ler a versão original deste relatório (em inglês) no site Futuro da BBC.

Você gostou do artigo? Escolha como acompanhar as principais notícias do Correio:

Receba novidades no WhatsApp

Receba novidades no Telegram

Dê sua opinião! O Correio tem espaço na edição impressa para publicar a opinião dos leitores através do e-mail sredat.df@dabr.com.br