ChatGPT vs. Claude vs. Gemini: A melhor IA para pesquisa (Resultados do Teste de Hallucinação)
quais modelos de IA realmente dizem a verdade e quais estão mentindo para você. Minha equipe testou os mais populares modelos de grande linguagem para pesquisa acadêmica e aqui estão os resultados. Então a primeira coisa é o que realmente fizemos. Há duas coisas que queríamos testar. A primeira coisa é que ele fornece referências reais? Eu chamo estes primeiro
encomendar alucinações se não fornecem apenas uma simples referência que existe. E assim as ferramentas de IA estão ficando melhores em realmente encontrar referências reais e tipo real de links para essas referências. Mas o mais importante não é a alucinação de primeira ordem. Não, porque podemos verificar isso facilmente. Uma coisa que requer muito esforço é verificar as alucinações de segunda ordem. E é isso
citando uma reivindicação. Será que ele realmente local o papel correto para as razões adequadas ou é essa alegação realmente no papel? E eu chamo estas alucinações de segunda ordem. Assim, as respostas são apoiadas pelo conteúdo do artigo? É nisso que estou interessado. E estes..
são o meu tipo de critérios de sucesso e fracasso. Portanto, fornece referências precisas? E a citação realmente apoia a alegação de que está sendo citado? Então estes são os modelos que eu testei e a equipe foi além e acima. Passaram horas e horas passando e testando tudo isso para você. e vamos encontrar
fora qual modelo real vai ser o mais útil para você usar e quais você deve evitar completamente. Então aqui temos modelos testados. Você pode ver no chat GPT testamos todos esses modelos e então em uh Claude testamos todos esses modelos e em uh Gemini testamos todos esses modelos. Agora é muito importante notar que para alguns destes modelos você precisa pagar e spoiler alerta pagamento não realmente torná-lo melhor. Vais ver o que quero dizer num minuto. Então isto é o que eu
queria fazê-lo. Então, a primeira coisa é que tipo de alertas estamos usando? Bem, então aqui está uma espécie de prompt que eu estou usando em última análise em cada modelo diferente. Quero saber se pode dar uma resposta concreta para apoiar alguma coisa. Dá-me uma citação real? E também pode apagá-lo
num estilo de bibliografia da APA? Então é pedir muito de um modelo de linguagem grande. Então é um pouco de um teste de stress. Mas estes são os resultados que eu acho mais importante para você. Então, alucinações de primeira ordem, a referência realmente existe? Agora, em geral, quando estamos
falando sobre chat GPT, quando estamos falando sobre Claude, quando estamos falando sobre Gemini, estes são os resultados. O Chat GPT dá uma resposta correta ao longo de 60% das vezes. Para o Claude, eram cerca de 56% das vezes. E então para Gemini, apenas 20% do tempo realmente forneceu uma referência que realmente existiu. E, claro, isso é apenas arranhar a superfície. Então, o quê
parece-se com quando mudamos os diferentes modelos? Bem, aqui está. Então, aqui estão todos os diferentes modelos aqui. Agora, chat GPT em geral, os melhores que você poderia usar foram chat GPT5 pensando, e você teve que habilitar a pesquisa na web, e que de longe foi o melhor. Em seguida, em seguida, chat GPT5 auto mais pesquisa profunda. Então, desde que tiveste
pesquisa profunda ou busca web ligada, então ele realmente forneceu referências reais. Óptimo. E lembrem-se, isto não é sobre se as afirmações nessas referências apoiam ou não porque está a ser citado. Esta é apenas, sim, a referência existe, mas então olhamos para Claude, e você pode ver que é como um saco misturado com Claude. Alguns deles funcionam muito bem. Então, Sonnet 4 mais pesquisa fez
muito bem. 100% taxa de sucesso em fornecer referências reais que existiam. E então, Opus 4.1 era lixo. Não forneceu nenhum árbitro. Bem, ele..
forneceu referências, mas nenhuma delas realmente existiu. E surpreendentemente, apesar das minhas experiências anteriores, quando sob pressão, Gemini fez o pior. Veja, você pode ver que o Flash 2.5 Pro, que é o que você paga, além de pesquisa profunda, nenhuma das referências realmente existiu. E então temos aqui Flash 2.5, nenhuma das referências
realmente existiu. e então apenas 40% realmente existiram para o resto deles. Então você pode ver que é um saco misto lá fora quanto ao modelo de linguagem grande que você deve usar. E isso é apenas se a citação que ele fornece realmente existe. E estamos procurando uma referência completa, incluindo o título, os autores, o ano, tudo isso. E você conhece Gemini, você é
um pouco de lixo amigo. Porque é que és tão lixo? Então bate-papo GPT 5 em particular é absolutamente matá-lo se você quer referências reais e isso é porque ele está saindo e fazendo pesquisa na web e pesquisa profunda. Ok, então sabemos que o chat GPT é melhor ou melhor para se apenas quisermos encontrar referências. Ok, e esta segunda ordem?
ou seja, a referência contém o conteúdo correto para o porquê de estar sendo referenciado. E eu vou dar-lhe a coisa geral. Bong, aqui está. Chat GPT apenas tipo de como acabou de chegar por cerca de e isso foi através de todos os modelos a propósito. Pouco menos de 50% das citações contêm as informações para as quais foram citadas.
Isso é um pouco de lixo, não é? Você não pode confiar em metade mais da metade das coisas que o chat GPT fornece. Claude era ainda pior. Então, pouco mais de 40% das citações realmente contêm as informações para as quais estavam sendo citadas. E Gemini, olha para isto. Isto
não é um erro. Gemini não foi capaz de fornecer nenhuma referência. Agora, ouve isto. Qualquer um agora sente-se. Olha, leva isto. Gemini não forneceu nenhum
referências onde o conteúdo estava no artigo por que estava sendo citado. Isso é tão estúpido que não devias usar isto para pesquisa académica. E mais uma vez, este é apenas o nível da superfície. Isto está em todos os modelos. Vamos coçar um pouco mais fundo e podemos ver que este é o resultado.
A citação corresponde à reivindicação? Conversa GPT5 pensando mais uma vez. Então, pensando com pesquisa profunda, pensando com pesquisa web, eles foram os melhores aqui em cima. Você pode ver auto com pesquisa profunda estava bem. E depois o agente GPT5 não funcionou. Ok, isso foi..
Taxa de sucesso de 0%. E o Claude era o próximo. Você pode ver que ele tinha uma taxa de 40 a 50% de sucesso de realmente citar referências onde a alegação foi apoiada dentro da referência. E depois também, pobre Gemini. Sinto pena disso agora. Pobre Gemini. Teve 0% de sucesso
taxa. Então, o que significa isso? Em geral, as alucinações de primeira e segunda ordem significam que o volume, este é eles em ordem do menos bem sucedido para o mais bem sucedido. Isso realmente significa que você deve usar chat GPT5 thinking plus web search se você quiser alguma chance de realmente obter referências. e as referências que contêm as informações adequadas para a sua referência. Você pode ver o chat GPT para baixo
aqui domina com cinco auto-pensamento e pesquisa profunda ou busca na web. É o que eu estaria a usar neste momento. Mas fique neste canal porque eu vou testar e testar o stress para pesquisas acadêmicas no futuro. Prometo-te. Muito bem. E depois..
até aqui, dá para ver que estes fizeram o pior. como em eles têm 0% referências reais e 0% obviamente porque eles estavam sendo citados porque eles não existiam em tudo. E depois há um lote misto aqui no meio. É o que devias estar a fazer. Aqui estão algumas mensagens para ti. Adoramos levar para casa
mensagens. Só porque pagaste por algo, não o torna mais preciso. Isso é muito importante. Então converse GPT5, se você pagar, você está recebendo um produto melhor. Enquanto que com Gemini neste teste, e eu sei que este teste pode ir muito, muito mais fundo, mas neste, falhou. O melhor de todos
o grupo. Sim, já falámos sobre isso. Gemini lutou, claro. Está bem, então. Modo de falha comum. Então..,
a coisa sobre todas essas referências é que às vezes algo estava sendo referenciado e estava no papel, mas veja só, isso é o mais importante. Na verdade, foi na parte de introdução desse artigo que foi citado. Então, na verdade, foi como não citar primeiro uh princípio primeiro uh ordem o que você chamá-lo fontes primárias estava realmente citando um papel para algo que o papel citado então foi como dupla extraído da informação bate-papo GPT e outros grandes modelos de linguagem não são muito bons nisso e a coisa mais importante é que estes são máquinas de plausibilidade então quando você olha para as saídas que você vai oh sim isso é certo sim que deve estar certo porque faz parecer que é tão real, que realmente existe. O motor de plausibilidade nestas coisas é simplesmente incrível. Torna-se realmente convincente e você precisa ser aquele que vai embora e verifica cada referência individual se você vai usar um modelo de linguagem grande. E depois..
obviamente um fluxo de trabalho seguro é gerar algo, mas então você deve rastrear cada reivindicação para o PDF e página para o porquê ele está sendo referenciado. Essa é a única maneira de verificar manualmente essas coisas. Agora, se eu não vou usar um modelo de linguagem grande, e eu recomendo que você não use um modelo de linguagem grande para encontrar referências, o que mais posso usar? Aqui estão três recomendações que significam que você vai contornar a maioria dessas coisas porque elas são especificamente projetadas para academia e pesquisa. A primeira ferramenta que deves saber é o elict. O Elicit usa papéis reais
e é verificado no fundo antes de lhe dar essa informação. Então você pode ter certeza que ele está lhe dando a verdadeira referência que realmente existe e que a referência contém a informação para o porquê está sendo referenciado. O amor provoca. Outro é tamanho. O Sispace está a tornar-se uma potência absoluta neste espaço. Eles só..
libertou o agente deles. Vai ver o meu outro vídeo onde falo sobre isso. Mas aqui você pode fazer muitas coisas. Pode procurar papéis. Você pode criar uma revisão de literatura e é tudo baseado em referências reais lá fora no mundo.
Outro que é realmente grande é o consenso. Esta é uma ótima ferramenta. Se você só precisa saber sim ou não de um campo de pesquisa em particular, vá ver meu outro vídeo de consenso onde eu falo sobre todas as coisas incríveis que isso pode fazer. Use estas três ferramentas. Se você quiser ir à procura de referências, grandes modelos de linguagem são realmente ótimos em trabalhar com a linguagem, mas não como uma fonte para coletar a informação.
E é por isso que você precisa usar ferramentas especializadas e verificar meus outros vídeos neste canal, porque é isso que este canal é tudo sobre. Vou testar estas ferramentas em breve. Então, assina e vejo-te no próximo vídeo. Se você gosta deste vídeo e você quer saber todas as ferramentas de IA que você deve saber sobre, vá verificar este porque eu listo todas as ferramentas de IA para o meio acadêmico e pesquisa que você deve saber. Vai ver.
Watch on YouTube
Keyword: best AI writing tools comparison