ChatGPT em teste: estudo aponta limites e potencial da IA em respostas sobre cancer

Agente do ChatGPT reserva restaurante, faz compra, mas erra ao insistir demais; g1 testou

O agente do simpatia para ganhar na loteriaChatGPT é uma vers?o mais avan?ada da IA da OpenAI, capaz de executar tarefas complexas de forma aut?noma, como fazer compras, reservar restaurantes e planejar viagens.

No teste do g1, ele concluiu tarefas como compra online e agendamento de reserva, mas insistiu em caminhos sem saída e apresentou resultados básicos em atividades criativas.

Por seguran?a, o sistema n?o preenche dados pessoais, como e-mail ou cart?o de crédito, e interrompe a??es que exigem esse tipo de informa??o para que o próprio usuário coloque.

Imagine ter um assistente virtual de IA que faz muito mais do que responder perguntas: ele compra ingredientes para um jantar, reserva mesa no restaurante para o seu date e até ajuda a planejar viagens, comprando sozinho as passagens de avi?o.

Isso já é possível gra?as aos agentes de inteligência artificial, considerados a evolu??o dos chatbots que conhecemos lá no final de 2022.

Há um mês, a OpenAI apresentou o agente do ChatGPT (ChatGPT Agent, em inglês). A empresa disse que "o rob? agora pode trabalhar para você usando um computador próprio. De quebra, também pode realizar tarefas complexas do início ao fim".

??Baixe o app do g1 para ver notícias em tempo real e de gra?a

Entre os exemplos citados est?o: "planeje e compre ingredientes para um jantar de comida japonesa para quatro pessoas" e "consulte minha agenda e me informe sobre as próximas reuni?es com clientes".

Apesar de avan?ada, a tecnologia ainda enfrenta limita??es e nem sempre consegue concluir as tarefas com precis?o (veja no teste abaixo).

A OpenAI n?o é a única a investir em agentes. Google e Microsoft têm apostado em solu??es do tipo, por enquanto apenas para empresas.

A chinesa Manus AI também executa tarefas de forma aut?noma. Em divulga??o da própria empresa, um exemplo foi a ajuda na compra de um imóvel em Nova York (veja aqui).

?? A principal diferen?a entre os agentes e os chatbots é que, nos chatbots, a IA precisa de comandos o tempo todo e responde com base no pedido feito. O agente, por outro lado, n?o apenas responde, mas também pensa e executa a??es de forma aut?noma por você.

1 de 10 Apresenta??o do modo Agente do ChatGPT. — Foto: Reprodu??o

?? O g1 testou o agente do ChatGPT na vers?o GPT-4o em a??es realmente úteis. Desde 17 de julho, o recurso está disponível apenas para usuários dos planos Pro, Plus e Team.

O g1 usou o agente no plano Plus, que custa US$ 20 por mês (R$ 99,99) e permite até 40 solicita??es mensais. No plano Pro, de US$ 200 mensais (cerca de R$ 1 mil), o limite sobe para 400 prompts (comandos) por mês.

?? Como funciona o ChatGPT Agent

2 de 10 Modo Agente do ChatGPT — Foto: Reprodu??o/ChatGPT

Antes de tudo, é preciso ativar o modo agente nas ferramentas do próprio ChatGPT. Depois disso, basta digitar o que você precisa — e a IA come?a a agir sozinha (veja na imagem acima).

Um navegador integrado ao ChatGPT é aberto: ela navega por sites, clica em bot?es e registra cada passo com capturas de tela.

O ChatGPT registra as a??es com capturas de tela, mas interrompe esse processo ao encontrar formulários que exigem dados pessoais, como nome, e-mail ou cart?o de crédito/débito.

Nesses momentos, ele pede para o usuário preencher — e retoma a tarefa logo em seguida. Ele também n?o consegue resolver Captchas, aquelas checagens que provam que você é humano e n?o um rob?.

Outro detalhe curioso: o agente mostra como está "pensando" (veja na imagem abaixo). Se ele n?o consegue clicar em um bot?o, por exemplo, exibe mensagens como: "O bot?o de compra está indisponível. Vou recarregar a página para tentar concluir".

?? Reserva de restaurante

3 de 10 Agente do ChatGPT tendo dificuldade para reservar um restaurante. — Foto: Reprodu??o

A primeira experiência com o agente foi uma tarefa relativamente simples: pedir ao ChatGPT que agendasse uma reserva em um restaurante famoso de S?o Paulo, para um sábado à noite, naquela mesma semana.

A IA come?ou a vasculhar sites parceiros do restaurante que oferecem reserva online. Antes disso, perguntou para quantas pessoas seria a mesa e seguiu com a solicita??o. Após algumas tentativas, encontrou uma plataforma que indicava que n?o havia mais mesas disponíveis para a data informada

4 de 10 Reserva de restaurante feita pelo agente do ChatGPT. — Foto: Reprodu??o

Ainda assim, o agente passou impressionantes 14 minutos tentando concluir a reserva para a data indisponível. Recarregava a página, alternava entre datas, voltava para o sábado original, mas, sem sucesso.

Na sequência, foi solicitado que tentasse reservar para o fim de semana mais próximo. Dessa vez, a reserva foi concluída. Alguns dias depois, o g1 entrou em contato com o restaurante pelo WhatsApp e eles confirmaram que estava tudo certo com o agendamento feito pelo ChatGPT (veja na imagem acima).

??? Compra de produto

5 de 10 Tela do ChatGPT comprando um produto automaticamente ao lado de uma captura de e-mail confirmando a entrega em breve. — Foto: Reprodu??o

A IA também foi usada para fazer uma compra. O g1 pediu que o agente encontrasse um whey protein de uma marca específica, apenas em lojas confiáveis e com o menor pre?o. Durante 15 minutos, ela vasculhou diversos sites, incluindo grandes varejistas e redes de farmácia.

Foi interessante ver que, ao encontrar o produto em um site pouco conhecido, o agente acessou o Reclame Aqui para verificar a reputa??o da loja (veja na imagem abaixo). No fim da pesquisa, apresentou quatro op??es: três delas em comércios online conhecidos, com pre?os dentro do esperado.

6 de 10 Agente do ChatGPT analisando a reputa??o de uma loja no Raclame Aqui. — Foto: Reprodu??o

Na etapa seguinte, foi solicitado que o agente finalizasse a compra. A IA acessou o site escolhido, que exigia e-mail e senha, e devolveu o controle ao usuário para preenchimento dos dados pessoais.

?? Nessa hora, o ChatGPT exibe um bot?o "Entrar" (para fazer login) e outro "Assumir controle" (para preencher formulários).

No carrinho, ele identificou a presen?a de outros produtos e perguntou se deveria considerá-los, mas a sugest?o foi recusada. Em seguida, retomou a tarefa.

7 de 10 ChatGPT devolvendo o controle para preencher fazer login. — Foto: Reprodu??o

Na hora do pagamento, o ChatGPT liberou a navega??o para o preenchimento dos dados do cart?o de crédito. Após isso, recebeu o comando para seguir com a finaliza??o. A IA apertou o bot?o "Comprar" e, em poucos segundos, a confirma??o da compra chegou por e-mail.

?? Compra em supermercado

8 de 10 Agente do ChatGPT tentando realizar compra no site de um supermercado. — Foto: Reprodu??o

Em um teste de compra de supermercado, o g1 pediu ao agente que adquirisse duas caixas de leite de uma marca específica. Primeiro, ele encontrou o produto por R$ 5,99 a unidade em uma grande rede de supermercados.

Foi preciso criar uma conta para prosseguir, mas, logo em seguida, o ChatGPT informou que o item estava indisponível e iniciou a busca em outro estabelecimento.

Na segunda tentativa, encontrou o mesmo leite por R$ 5,79 a unidade — um pouco mais barato — em outra rede. Novamente, tivemos que criar a conta na loja para concluir a compra. No total, o processo levou 33 minutos, um tempo considerado alto para a compra de poucos itens.

A experiência foi um tanto desgastante pelo tempo gasto na busca, pela indisponibilidade na primeira loja e pela pequena diferen?a de pre?o entre os dois mercados, deixando dúvidas sobre a pesquisa.

?? Planejamento de viagem

9 de 10 ChatGPT tentou acessar o site oficial do passeio de trem, mas n?o conseguiu concluir a compra. — Foto: Reprodu??o

O g1 também usou o modo agente para ajudar uma pessoa que estava buscando por ingressos do passeio no The Jacobite Train (conhecido como o "trem do Harry Potter"), na Escócia. A interessada já havia perdido cerca de uma hora pesquisando em vários sites, sem sucesso.

Ao ser ativado, o agente do ChatGPT percorreu caminhos semelhantes aos que já haviam sido tentados manualmente e concluiu a tarefa em 22 minutos. A IA acessou o site oficial, testou diferentes datas e categorias de assento, mas n?o encontrou nenhuma disponibilidade para os dias em que ela estaria disponível para o passeio.

Como os ingressos avulsos estavam esgotados, só restavam pacotes turísticos com o passeio incluído. E foi exatamente isso que o sistema acabou localizando: sugeriu dois pacotes oferecidos por terceiros.

A experiência foi positiva, mas chamou aten??o o fato de a IA insistir em reservar pelo site oficial, mesmo quando ele já informava que n?o havia mais ingressos disponíveis. Ainda assim, a economia de tempo foi um ponto de vantagem aqui.

??? Apresenta??o para reuni?o

10 de 10 Teste de cria??o de apresenta??o (PPT) com o Agente do ChatGPT. — Foto: Reprodu??o

Básico, mas funcional. Essa foi a impress?o deixada pelo teste em que o agente criou uma apresenta??o, a partir de uma reportagem recente do g1, sobre a demanda de energia em data centers de IA. No comando, foi informado que o material seria usado em uma reuni?o com investidores do setor.

A apresenta??o ficou pronta em 18 minutos — uma tarefa que, feita manualmente, levaria pelo menos 1h30. Sem instru??es detalhadas, o agente escolheu um modelo simples, com textos, imagens geradas por IA e ilustra??es extraídas da própria reportagem.

Mesmo sem solicita??o, o sistema incluiu o link do g1 no final de cada slide, o que foi considerado um ponto positivo. No fim, a apresenta??o foi baixada em formato PowerPoint.

Na sequência, foi feito um novo pedido: uma vers?o mais criativa. A IA melhorou o visual, resumiu o conteúdo e adicionou ícones. O resultado ficou um pouco mais "moderno", mas ainda distante do esperado em termos de criatividade (compare na imagem acima).

A vers?o tradicional do ChatGPT já cria apresenta??es com base nas informa??es fornecidas. Segundo a ferramenta, a diferen?a no modo agente é a capacidade de interpretar melhor o objetivo e definir, por conta própria, o estilo mais apropriado.

?? Conclus?o

O ChatGPT Agent é uma ferramenta útil para tarefas demoradas. A economia de tempo em atividades que levariam horas é, sem dúvida, o principal ponto positivo. Ele agiliza processos como a cria??o de apresenta??es, que, embora n?o sejam as mais criativas do mundo, ganham forma rapidamente e depois só exigem revis?o humana e ajustes finos de design.

Em compras online, vale comparar manualmente para evitar informa??es equivocadas, como no teste do supermercado, em que o agente n?o identificou de imediato um produto mais barato.

Além disso, a IA n?o preenche dados como e-mail ou cart?o de crédito, o que é positivo. Ainda assim, a OpenAI poderia ser mais transparente, já que n?o há como confirmar se essas informa??es n?o s?o coletadas pela empresa de alguma forma.

Recentemente, conversas de usuários com o ChatGPT estavam sendo indexadas e exibidas no Google. Pelo menos 4.500 links apareciam no buscador, muitos com informa??es pessoais e de identidade, segundo o site Fast Company, que revelou a situa??o. A empresa disse que já resolveu problema.

Outro ponto a melhorar é a insistência em caminhos sem saída. Na tentativa de reservar um restaurante, o agente levou 14 minutos insistindo em uma data claramente indisponível. O g1 fez a mesma tarefa manualmente em apenas 1 minuto e 43 segundos, o que mostra que, embora eficiente, o agente ainda n?o se sai bem em todos os cenários.