Dois novos estudos indicam que modelos de inteligência artificial como o ChatGPT deverão enfrentar dificuldade crescente para se aprimorar a partir de agora. Um deles mostra que essa IA incorporou a propensão de humanos a cair em "pegadinhas" lógicas. O outro mostra que robôs treinados com textos criados por robôs entram em colapso.
O primeiro trabalho, feito por um grupo de cientistas da DeepMind, a divisão de pesquisa em IA do Google, teve como objetivo entender se os grandes modelos de linguagem (LLM), os projetos que possuem a mesma arquitetura do ChatGPT, Gemini e Llama estão incorporando problemas de raciocínio típicos de humanos.
Isso era de certa forma esperado, porque esses projetos foram todos treinados com um grande volume de textos produzidos por humanos, mas o grupo, liderado pelo cientista da computação Andrew Lampinen, mostra que o problema vai além da presença de erros factuais no material incorporado: os LLMs estão aprendendo a raciocinar de maneira errada em algumas instâncias.
O problema, dizem os pesquisadores, é que os modelos acabam incorporando uma preconcepção sobre alguns assuntos, e não conseguem construir um argumento novo mesmo quando são alimentados com informações diferentes.
Para ilustrar isso, os cientistas submeteram o GPT-3 e alguns outros modelos à tarefa de avaliar se uma cadeia de raciocínio estava correta. Um exemplo é a afirmação abaixo:
- Todos os estudantes leem.
- Algumas pessoas que leem também escrevem ensaios.
- Logo, alguns estudantes escrevem ensaios.
Entretanto, como no mundo real sabemos que alguns estudantes escrevem contos, deixamos que nosso conhecimento prévio interfira na nossa avaliação sobre a validade do raciocínio.
Isso é o que psicólogos chamam de "efeito de conteúdo", porque o significado contido nas palavras usadas na conclusão interfere em nossa cadeia de pensamento. Neste caso isso não é um problema muito grande, porque sabemos que estudantes escrevem redações. Mas quando máquinas cometem esse tipo de equívoco, é um sinal de que a IA não está conseguindo raciocinar de forma fria, como se esperaria dela.
Em um artigo na revista científica PNAS Nexus, Lampinen e colegas realizaram experimento pedindo ao sistema de IA para avaliar o raciocínio acima, além de outos similares, e o modelo errou com frequência, afetado pelo "efeito de conteúdo". Mas mesmo quando o conteúdo era substituído por variáveis abstratas, o erro de raciocínio ocorria:
- Todos os X são Y.
- Alguns Y são Z.
- Logo, alguns X são Z.
"Os humanos são pensadores imperfeitos. Nós raciocinamos mais efetivamente sobre situações consistentes com nossa compreensão de mundo, e frequentemente lutamos para raciocinar em situações que violam essa compreensão ou são abstratas e desconectadas do mundo real", afirmou Lampinen no estudo. "Nossos experimentos mostram que os modelos de linguagem espelham esses padrões de comportamento."
Essa fragilidade deriva não só da busca da IA de imitar humanos, mas também da maneira com que as LLMs foram concebidas. Todos esses projetos alimentados com quantidades enormes de informações escritas têm uma maneira "probabilística" de raciocinar.
Quando um LLM produz resposta para uma pergunta, ele parte do texto digitado pelo usuário e usa o seu banco de dados de treinamento para tentar prever quais palavras são mais prováveis aparecer após aquela sequência de texto. Palavra por palavra, o sistema de IA vai produzindo a resposta buscando o resultado mais provável de aparecer após a pergunta.
A IA não é capaz, porém, de saber quando deve abandonar esse raciocínio probabilístico para começar a operar de modo sistemático com lógica formal. Nessas ocasiões, é como se o sistema tentasse resolver a conta "2 + 2" por votação, consultando sua base de dados, em vez de operar a soma como uma calculadora.
Robô ensina robô
Se os humanos estão contaminando a base de raciocínio da IA com raciocínio equivocado, um outro tipo de contaminação (esta outra digital), também ameaça a confiabilidade de futuros projetos de inteligência artificial.
Um segundo estudo, publicado nesta semana na revista Nature por cientistas da Universidade de Oxford, simula o que acontecerá com a IA treinada com dados buscados na internet quando uma porcentagem grande desses dados não tiver mais origem humana.
A quantidade de conteúdo gerada por IA, afinal de contas, está crescendo cada vez mais, e já representa uma parte maior daquilo que existe na web. Esse fenômeno estabelece um processo de loop em que, para alguns tópicos, a IA começa a usar informações que ela mesma produziu para tentar se aprimorar.
Liderado pelo cientista Ilia Shumailov, o grupo de Oxford fez uma simulação criando pequenos modelos de LLM para entender o que acontece quando esse processo se repete por sucessivas gerações (uma IA treinada com dados produzidos por IA, que foi treinada com dados produzidos por outra IA, e assim por diante).
Os pesquisadores mostraram que, quando o conteúdo na web sobre um assunto começa a ser dominado por produção de LLMs, os modelos de IA entram em colapso ao tentar discorrer sobre o tema. O sistema passa a gerar frases sem sentido e sequências arbitrárias de palavras repetidas.
"Os LLMs chegaram para ficar e mudarão substancialmente o ecossistema de texto e imagens online. Nós descobrimos que o uso indiscriminado de conteúdo gerado por esses modelos para treinamento de IA causa defeitos irreversíveis nos modelos resultantes", diz Shumailov na Nature.
Segundo o cientista, esse problema precisa ser atacado pela indústria de tecnologia para que a inteligência artificial consiga dar seu próximo salto de inovação.
"Isso precisa ser levado a sério se quisermos manter os benefícios que a IA obtém com treinamento a partir de dados extraídos da web em grande escala. O valor de dados gerados por interações humanas genuínas será cada vez maior na presença de conteúdo gerado por LLMs em dados capturados da Internet."
Fonte: O GLOBO
0 Comentários