Estudo Revela Falhas em IAs do GPT-4, GPT-5 e Gemini-2.5 Flash

Novos Desafios na Inteligência Artificial: Estudo Revela Falhas em Modelos de IA

Pesquisadores da Microsoft e da Universidade Estadual do Arizona lançaram recentemente um novo ambiente de simulação, chamado Magentic Marketplace, para avaliar o desempenho de agentes de inteligência artificial. Paralelamente, uma pesquisa identificou vulnerabilidades significativas em modelos de IA de ponta, incluindo o GPT-4o e GPT-5, ambos da OpenAI, e o Gemini-2.5-Flash, do Google.

O estudo foca na capacidade desses agentes de operar de forma eficiente em cenários não supervisionados, questionando as expectativas recentes sobre o potencial dos “agentes” de IA.

Simulação de Mercado Digital Revela Limitações dos Agentes

O Magentic Marketplace simula um ambiente de mercado digital onde agentes “clientes” tentam realizar pedidos, como encomendar um jantar. Inicialmente, 100 representantes de consumidores interagiram com 300 empresários em diversas situações de negociação e tomada de decisão.

Leia também:

David Baker lidera projeto de IA que acelera criação de anticorpos inovadores

Nvidia Alerta para EUA Sobre Disputa da IA com a China, Jensen Huang Preocupado

Amazon e OpenAI Assinam Acordo Bilionário de US$ 38 Bilhões

Os testes iniciais demonstraram que os modelos de IA apresentaram dificuldades em lidar com estímulos variados, sendo suscetíveis a técnicas de persuasão utilizadas pelos agentes “comerciantes” para influenciar suas escolhas e promover a venda de produtos.

Dificuldades na Tomada de Decisão e Colaboração

A pesquisa apontou que a eficiência dos modelos de IA diminui quando confrontados com um grande número de opções de escolha. Segundo Ece Kamar, diretora do AI Frontiers Lab da Microsoft, o objetivo principal é compreender como os agentes de IA lidam com negociações e colaboração.

A equipe busca determinar se essas IAs têm o potencial de transformar o mundo, e, para isso, é crucial entender profundamente como essa transformação ocorrerá.

Código Aberto para Novos Estudos

A plataforma Magentic Marketplace é disponibilizada com código aberto, o que permite que outros grupos repliquem os experimentos ou desenvolvam novos estudos sobre o comportamento emergente desses sistemas. A pesquisa também identificou problemas críticos em tarefas colaborativas, onde os agentes de IA não conseguiam se organizar sozinhos para alcançar um objetivo comum, gerando confusão sobre a atribuição de funções.

A equipe ressalta que a capacidade de colaboração deveria ser inerente aos modelos de IA, melhorando quando instruções explícitas eram fornecidas.