ChatGPT vs. Claude vs. Gemini: La meilleure AI pour la recherche (Résultats des tests d’hallucination)
quels modèles d’IA vous disent la vérité et lesquels vous mentent. Mon équipe a testé les grands modèles linguistiques les plus populaires pour la recherche universitaire et voici les résultats. La première chose est ce qu’on a fait. Donc il y a deux choses que nous voulions tester. La première chose est de fournir des références réelles? Je les appelle d’abord
commander des hallucinations si elles ne fournissent pas seulement une référence simple qui existe. Et donc les outils d’IA s’améliorent à trouver réellement de vraies références et de vrais liens avec ces références. Mais la chose la plus importante n’est pas l’hallucination du premier ordre. Non, parce qu’on peut vérifier ça facilement. Une chose qui demande beaucoup d’efforts est de vérifier les hallucinations de deuxième ordre. Et c’est ça
citant une réclamation. Est-ce qu’il place réellement le bon papier pour les bonnes raisons ou est-ce que c’est ce que prétend réellement dans le papier? Et j’appelle ces hallucinations de second ordre. Les réponses sont-elles appuyées par le contenu du document? C’est ce qui m’intéresse. Et ces
sont mon genre de critères de réussite et d’échec. Il fournit donc des références précises? Et la citation appuie-t-elle réellement l’affirmation pour laquelle elle est citée ? Ce sont donc les modèles que j’ai testés et l’équipe est allée au-delà. Ils ont passé des heures et des heures à tester tout ça pour vous. et nous allons trouver
hors quel modèle réel va être le plus utile pour vous d’utiliser et ceux que vous devriez éviter complètement. Nous avons des modèles testés. Vous pouvez voir dans le chat GPT nous avons testé tous ces modèles et puis dans uh Claude nous avons testé tous ces modèles et ensuite dans uh Gemini nous avons testé tous ces modèles. Maintenant, il est très important de noter que pour certains de ces modèles, vous devez payer et gâcher alerte payer ne rend pas vraiment mieux. Tu verras ce que je veux dire dans une minute. Donc c’est ce que je
je voulais le faire. Donc la première chose est quel genre d’invites utilisons-nous ? Eh bien, voici une sorte de prompt que j’utilise finalement sur chaque modèle différent. Je veux savoir s’il peut fournir une réponse réelle pour soutenir quelque chose. Est-ce que ça me donne une vraie citation ? Et il peut aussi le mettre dehors
dans un style de bibliographie APA? C’est donc beaucoup à demander d’un grand modèle de langue. Donc c’est un peu un test de stress. Mais ce sont les résultats que je pense les plus importants pour vous. Donc, hallucinations de premier ordre, la référence existe-t-elle réellement ? Maintenant, en général, quand nous sommes
parler de chat GPT, quand on parle de Claude, quand on parle de Gemini, ce sont les résultats. Chat GPT donne une réponse correcte plus de 60% du temps. Pour Claude, c’était 56% du temps. Et puis pour Gemini, seulement 20% du temps a-t-il réellement fourni une référence qui existait réellement. Et bien sûr, cela ne fait que gratter la surface. Et alors
cela ressemble-t-il en dessous quand on change les différents modèles ? Voilà. Voici donc tous les différents modèles. Maintenant, chat GPT dans l’ensemble, les meilleurs que vous pourriez utiliser étaient chat GPT5 pensée, et vous avez dû activer la recherche Web, et que de loin était le meilleur. Ensuite, le chat GPT5 auto plus la recherche profonde. Donc, tant que vous avez eu
une recherche approfondie ou une recherche sur le Web a été lancée, puis elle a fourni de véritables références. Génial. Et rappelez-vous, il ne s’agit pas de savoir si les allégations contenues dans ces références confirment pourquoi elles sont citées. C’est juste, oui, la référence existe, mais ensuite nous regardons Claude, et vous pouvez voir que c’est comme un sac mélangé avec Claude. Certains fonctionnent très bien. Donc, Sonnet 4 plus la recherche
très bien. Taux de réussite de 100% en fournissant des références réelles qui existaient. Et puis, l’Opus 4.1 était nul. Il n’a fourni aucun réf. Et bien, ça
a fourni des références, mais aucun d’entre eux n’existait réellement. Et étonnamment, malgré mes expériences précédentes, quand mis sous pression, Gemini a fait le pire. Regardez, vous pouvez voir que le Flash 2.5 Pro, qui est ce que vous payez, plus une recherche approfondie, aucune des références n’existait réellement. Et puis nous avons ici Flash 2.5, aucune des références
en fait, il existait. Et puis seulement 40% existaient pour le reste d’entre eux. Donc vous pouvez voir que c’est un sac mélangé là-bas pour savoir quel grand modèle de langue vous devriez utiliser. Et c’est seulement si la citation qu’elle fournit existe réellement. Et nous cherchons une référence complète comprenant le titre, les auteurs, l’année, tout ça. Et tu connais Gemini, tu es
un petit con. Pourquoi es-tu si nul ? Donc, chat GPT 5 en particulier est absolument tuer si vous voulez de vraies références et c’est parce que c’est sortir et faire la recherche en ligne et la recherche profonde. Ok, donc nous savons que le chat GPT est meilleur ou meilleur si nous voulons juste trouver des références. Et ce deuxième ordre ?
c’est-à-dire que la référence contient le contenu correct pour la raison pour laquelle elle est effectivement référencée. Et je vais vous donner l’essentiel. Bong, le voilà. Chat GPT seulement un peu comme juste obtenu par environ et cela a été sur tous les modèles au fait. Un peu moins de 50% des citations contiennent les informations pour lesquelles elles étaient citées.
C’est un peu nul, non ? Vous ne pouvez pas compter sur la moitié plus de la moitié des choses que le chat GPT fournit. Claude était encore pire. Donc un peu plus de 40% des citations contiennent en fait l’information pour laquelle elles étaient citées. Et Gemini, regarde ça. Cette
n’est pas une erreur. Gemini n’a pu fournir aucune référence. Prends ça. Tout de suite. Prends ça. Gemini n’a pas fourni
les références où le contenu était dans le document pour la raison pour laquelle il était cité. C’est tellement stupide que tu ne devrais pas l’utiliser pour la recherche universitaire. Et encore une fois, c’est juste le niveau de surface. C’est dans tous les modèles. Grattons un peu plus profondément et nous pouvons voir que c’est le résultat.
La citation correspond-elle à la revendication ? Heu chat GPT5 penser encore une fois. Donc en pensant à la recherche profonde, en pensant à la recherche sur le Web, ils étaient les meilleurs ici. Vous pouvez voir auto avec des recherches profondes était bien. Et puis discuter avec l’agent GPT5 n’a pas du tout fonctionné. Ok, c’était
Taux de réussite de 0 %. Et puis Claude était le suivant. Vous pouvez constater qu’il avait un taux de réussite d’environ 40 à 50 % en citant effectivement des références où la revendication était appuyée dans la référence. Et puis, pauvre Gemini. Je suis juste désolé pour ça maintenant. Pauvre Gemini. Il a eu 0 % de succès
taux. Qu’est-ce que ça veut dire ? Dans l’ensemble, les hallucinations du premier et du deuxième ordre signifient qu’elles sont en vrac, c’est-à-dire dans l’ordre du moins réussi au plus réussi. Cela signifie vraiment que vous devriez utiliser chat GPT5 pensée plus recherche web si vous voulez une chance d’obtenir réellement des références. et les références contenant l’information appropriée pour la raison pour laquelle elle est référencée. Vous pouvez voir chat GPT vers le bas
ici domine avec cinq auto pensée et la recherche profonde ou la recherche web. C’est ce que j’utiliserais maintenant. Mais restez abonnez-vous à cette chaîne parce que je vais tester et le stress tester ces pour la recherche universitaire dans le futur. Je vous le promets. Très bien. Et puis
jusqu’ici, tu vois que ça a fait le pire. Comme dans ils ont obtenu 0% de vraies références et 0% évidemment pourquoi ils étaient cités parce qu’ils n’existaient pas du tout. Et puis il y a un lot mixte au milieu. C’est ce que tu devrais faire. Voici quelques messages à emporter pour vous. On aime bien rentrer chez nous
messages. Juste parce que tu as payé pour quelque chose, ça ne le rend pas plus précis. C’est très, très important. Donc chat GPT5, si vous payez de l’argent, vous obtenez un meilleur produit. Alors qu’avec Gemini dans ce test, et je sais que ce test pourrait aller beaucoup, beaucoup plus profond, mais dans celui-ci, il a échoué. Le meilleur
le groupe. On en a déjà parlé. Gemini a lutté, bien sûr. Très bien. Mode de défaillance commun. Alors,
la chose à propos de toutes ces références sont que parfois quelque chose était référencé et c’était dans le papier, mais obtenez ceci, c’est la chose importante. C’est en fait dans la partie d’introduction de ce document que l’on l’a cité. Donc c’était en fait une sorte de comme ne pas citer le principe d’abord heu premier heu ordre ce que vous appelez sources primaires c’était en fait citant un papier pour quelque chose que l’article cité ainsi il était comme double extrait de l’information chat GPT et d’autres grands modèles de langue ne sont pas très bon à cela et la chose la plus importante est que ce sont des machines de plausibilité donc quand vous regardez les sorties vous allez oh oui c’est vrai oui qui doit être juste parce qu’il donne l’impression qu’il est si réel, qu’il existe vraiment. Le moteur de plausibilité dans ces choses sont tout simplement incroyable. Cela le rend vraiment convaincant et vous devez être celui qui s’en va et vérifie chaque référence individuelle si vous allez utiliser un grand modèle de langue. Et puis
évidemment un workflow sûr est de générer quelque chose, mais ensuite vous devez tracer chaque revendication au PDF et à la page pour pourquoi il est référencé. C’est la seule façon de vérifier manuellement ces choses. Maintenant, si je ne vais pas utiliser un grand modèle de langue, et je vous recommande de ne pas utiliser un grand modèle de langue pour trouver des références, que puis-je utiliser d’autre? Voici trois recommandations qui vous permettront de contourner la plupart de ces choses parce qu’elles sont spécifiquement conçues pour le milieu universitaire et la recherche. Ok, le premier outil que vous devriez savoir est d’obtenir. Elicit utilise des papiers réels
et il est vérifié en arrière-plan avant de vous donner cette information. Donc vous pouvez être sûr qu’il vous donne la vraie référence qui existe vraiment et que la référence contient l’information pour la raison pour laquelle il est référencé. L’amour suscite. Un autre est de taille. Sispace devient une puissance absolue dans cet espace. Ils ont juste
libérer leur agent. Va voir mon autre vidéo où je parle de ça. Mais ici vous pouvez faire beaucoup de choses. Vous pouvez chercher des papiers. Vous pouvez créer une revue de littérature et tout est basé sur de vraies références là-bas dans le monde.
Un autre qui est vraiment génial est le consensus. C’est un très bon outil. Si vous avez juste besoin de savoir oui ou non d’un domaine de recherche particulier, allez voir mon autre vidéo de consensus où je parle de toutes les choses géniales que cela peut faire. Utilisez ces trois outils. Si vous voulez aller à la recherche de références, les grands modèles de langue sont vraiment excellents pour travailler avec la langue, mais pas comme une source pour recueillir l’information.
Et c’est pourquoi vous devez utiliser des outils spécialisés et consulter mes autres vidéos sur cette chaîne parce que c’est ce qu’est cette chaîne. Je vais bientôt tester ces outils. Alors, abonnez-vous et je vous verrai dans la prochaine vidéo. Si vous aimez cette vidéo et que vous voulez connaître tous les outils d’IA que vous devriez connaître, allez voir celui-ci parce que je liste tous les outils d’IA pour le milieu universitaire et la recherche que vous devriez connaître. Va voir.
Watch on YouTube
Keyword: best AI writing tools comparison