Le modèle Le Chat de Mistral AI a suscité beaucoup d'attention au sein de la communauté des chatbots IA, certains observateurs le décrivant comme un concurrent potentiel de ChatGPT malgré son apparition récente.
Mais ce chatbot émergent mérite-t-il vraiment ce titre ? Le Chat de Mistral AI est-il meilleur que ChatGPT ? Vérifier Raisons de commencer à utiliser Claude 3 au lieu de ChatGPT.
Qu'est-ce que le modèle Le Chat de Mistral AI ?
Le Chat est un chatbot IA développé par la startup française Mistral AI. Il est alimenté par plusieurs des grands modèles de langage (LLM) exclusifs de Mistral, notamment Mistral Large, Mistral Small et Mistral Next, que vous pouvez tous choisir d'utiliser lorsque vous interagissez avec le chatbot IA. Bien qu’il s’agisse d’un entrant relativement nouveau dans le domaine des chatbots, il est très bien noté pour les performances de ses modèles d’IA malgré leur petite taille par rapport aux poids lourds de l’industrie tels que Gemini et GPT-4.
Pour comprendre ce que cela signifie, imaginez que vous jouez avec des blocs de construction. Plus vous avez de blocs, plus vous pouvez construire des structures complexes et détaillées, n'est-ce pas ? Les modèles de langage d’IA ressemblent un peu à ceci. Ils existent en différentes tailles et sont généralement exprimés en termes de nombre de paramètres. Ainsi, vous avez peut-être entendu des termes tels que « paramètres 70B » ou « paramètres 70B » dans les modèles d’IA. Le nombre de paramètres est similaire au nombre d’éléments de base autour desquels le modèle doit comprendre et générer des réponses. Par conséquent, si un modèle linguistique comporte plus de paramètres, il peut comprendre et générer des réponses plus complexes et meilleures.
Aujourd’hui, alors que GPT-4 possède environ 1.76 7 milliards de paramètres, Mistral AI aurait entre 56 et XNUMX milliards de paramètres. Vous voyez la différence de taille ? Ainsi, la capacité de Mistral AI à offrir des performances décentes est l’une des raisons de ce battage médiatique.
Bien que Le Chat n'ait pas le niveau de battage médiatique de ChatGPT ni la marque de Gemini, il a fait sa place dans toutes les conversations chaque fois qu'un concurrent potentiel de ChatGPT est évoqué. Mais mérite-t-il vraiment une place à table ?
Je me demandais la même chose, et pour le savoir, j'ai testé Le Chat de manière approfondie pour voir comment il se compare à ChatGPT. Vérifier GitHub Copilot ou ChatGPT : quel est le meilleur pour les tâches de programmation ?
Comparaison entre Le Chat et ChatGPT : Créativité
La créativité est l’une des mesures les plus importantes pour juger des performances d’un chatbot IA. N'oubliez pas que le but d'un chatbot est de reproduire ou d'imiter les capacités conversationnelles et le flair créatif des humains à grande échelle. Cela fait de la créativité un atout très important pour tout chatbot IA. Le monde expérimente ChatGPT depuis plus d’un an et son potentiel créatif est indéniable. Mais qu’en est-il du Chat ? Nous soumettons les deux chatbots à une série de tests de créativité.
J'ai commencé par demander aux deux chatbots : « Comment vous décririez-vous en tant qu'artiste ? Tester la capacité de chacun à utiliser des mots créatifs et imaginatifs pour se représenter.
Voici comment ChatGPT se décrit à l'artiste :
Voici également comment Le Chat se décrit :
Les deux réponses étaient opportunes à leur manière. ChatGPT était plus intéressé par l'utilisation d'images et de métaphores vives pour se décrire, démontrant ainsi un flair créatif. La réponse du Chat, en revanche, est informative et se concentre sur la description de son essence en tant que chatbot IA. Certains pourraient dire qu'il manque du flair créatif et de l'approche artistique que montre la réponse de ChatGPT. Cependant, je vais prendre des risques et dire que je préfère la réponse plus facile à imaginer de Le Chat à la description abstraite de ChatGPT.
Ensuite, j'ai demandé à ChatGPT et Le Chat d'écrire une chanson de rap sur le thème de devenir riche en cultivant des concombres, une demande stimulante que nous avons utilisée pour tester la créativité d'autres chatbots. Combien de chansons de rap pouvez-vous trouver sur le concombre sur le Web ?
Voici la réponse de ChatGPT :
Voici la réponse du Chat :
Il s'agit peut-être d'un problème subjectif, mais la réponse ChatGPT semble être la meilleure option ici. Les paroles de Le Chat semblaient pleines de clichés et ne ressemblaient pas vraiment à celles d'un rappeur. Pour tester le son de ces mots s'ils étaient convertis en musique, nous avons utilisé un générateur de musique. Suno IA Créer de la musique à partir de mots. Dans trois tests sur trois, les paroles de ChatGPT sonnaient bien mieux. Voici quelques exemples des deux chatbots, vous pouvez juger quel chatbot a été le plus performant.
Exemples générés à partir de mots-clés ChatGPT :
Échantillon 1 :
Échantillon 2 :
Extraits créés à partir des paroles de Le Chat :
Échantillon 1 :
Échantillon 2 :
J'ai essayé d'autres tâches créatives, comme des poèmes, la rédaction d'articles et la rédaction d'e-mails professionnels difficiles à l'aide de chatbots IA. Malgré de grandes promesses, ChatGPT a clairement surperformé Le Chat dans tous les cas. Il est important de noter qu'un domaine dans lequel Le Chat était particulièrement fort était la rédaction d'essais, même s'il y avait quelques techniques de motivation difficiles. Cependant, en termes de créativité globale, la médaille revient à ChatGPT.
Comparaison entre Le Chat et ChatGPT : Compétences en programmation
La maîtrise de la programmation est devenue une exigence de base pour les principaux chatbots. Écrire un code décent est une compétence essentielle, mais pour vraiment se démarquer parmi l’élite, un chatbot IA doit démontrer ses prouesses dans la création de code capable de résoudre efficacement une variété de problèmes complexes. Nous avons précédemment construit une application Web complète à partir de zéro en utilisant ChatGPT, ce qui démontre ses grandes capacités en tant qu'outil logiciel. Mais dans quelle mesure Le Chat est-il doué pour écrire du code ?
J'ai chargé les deux chatbots d'écrire une application simple de liste de tâches en utilisant CSS, HTML et JavaScript. ChatGPT n'a eu aucun problème à obtenir de bons résultats. J'ai copié le code généré et l'ai prévisualisé sur le navigateur, et voici ce que ChatGPT a généré :
Chaque fois que nous répétions l'invite, ChatGPT créait une application de liste de tâches fonctionnelle en utilisant différents styles. Le code généré n’a en aucun cas manqué de fonctionner.
Lorsque j'ai essayé la même invite avec Le Chat, cela a généré ce qui semblait être du code clair, mais lorsque nous avons essayé de l'exécuter sur le navigateur, cela n'a pas fonctionné. Après avoir répété l'invite trois fois, aucune instance n'a produit de code capable d'accomplir la tâche spécifiée. Il a échoué à une tâche de programmation de base, ce qui est un signe d’avertissement !
Bien sûr, je ne jugerais pas Le Chat sur la base d’un seul test raté. Ensuite, j'ai demandé aux deux chatbots de générer du code JavaScript et PHP pour crypter et déchiffrer le texte. Dans ce deuxième test, ChatGPT et Le Chat ont produit un code fonctionnel capable d'effectuer la tâche spécifiée. Cependant, la version Le Chat ressemblait à ce qu'écrirait un programmeur novice inexpérimenté. En revanche, le code ChatGPT était plus complet et semblait avoir été écrit par un programmeur expérimenté.
J'ai répété d'autres tests de programmation impliquant la recherche et la correction de bugs, et ChatGPT surpasse systématiquement Le Chat. Dans certains cas, Le Chat ne savait même pas ce qu'il était censé faire. Il y a de fortes chances que Le Chat puisse atteindre le niveau de ChatGPT dans certains domaines, mais les compétences en programmation ne semblent pas en faire partie. Vérifier Alternatives ChatGPT avancées qui fournissent des scripts d'application automatisés.
Comparatif Le Chat vs ChatGPT : Bon sens et pensée logique
L’un des développements intéressants des chatbots IA est leur capacité à résoudre facilement des tâches complexes, mais à échouer dans des tâches simples qui nécessitent du bon sens pour être accomplies. De nombreux chatbots, qu'ils soient établis comme ChatGPT ou nouveaux venus comme Le Chat, ont du mal à résoudre des tâches qui nécessitent du bon sens humain et une pensée logique. Alors, comment Le Chat et ChatGPT se comparent-ils sur ce front ?
J'ai demandé aux deux chatbots : « Si vous avez une bouteille de 3 litres et une bouteille de 5 litres. Comment mesurer 4 litres d’eau avec les bouteilles de 3 litres et de 5 litres ?
ChatGPT a résolu le problème en utilisant Flair :
Le Chat a tenté la même tâche et a réussi à résoudre le problème, bien qu'en utilisant une approche différente.
Les deux chatbots ont réalisé des performances similaires lors de ce test.
Ensuite, nous avons posé une question piège aux deux robots : « Si un vaisseau spatial martien se divisait en deux, une partie s’écrasant dans l’océan Atlantique près du Brésil et l’autre dans l’océan Pacifique près du Japon, où les survivants seraient-ils enterrés ?
ChatGPT a détecté l'astuce et a répondu en conséquence :
Le Chat a également pu voir clair dans l'astuce et a également répondu en conséquence :
J'ai essayé d'autres questions pièges, et ChatGPT et Le Chat semblent très habiles à gérer les invites logiques et de bon sens. Cependant, pour des questions logiques plus complexes, seul ChatGPT peut fournir les bonnes réponses.
Bien que Le Chat ait généré un certain buzz en tant que « concurrent potentiel de ChatGPT », nos tests montrent qu’il lui reste encore beaucoup de chemin à parcourir avant de pouvoir véritablement rivaliser avec les principaux modèles du monde des chatbots IA. Bien que Le Chat ait démontré des capacités impressionnantes dans des domaines tels que le bon sens, sa production créative et ses compétences en programmation étaient nettement en retard par rapport à ChatGPT. La startup française d’IA semble certes prometteuse, mais le battage médiatique est peut-être un peu en avance sur ses capacités.
Comme beaucoup de compétiteurs en herbe avant lui, Le Chat a besoin de s'améliorer et de s'entraîner constamment avant d'être prêt pour les grands tournois. À l’heure actuelle, les chatbots IA comme ChatGPT sont toujours les rois incontestés dans le monde des chatbots IA. Mais le champ des concurrents est de plus en plus encombré, de sorte que les dirigeants ne peuvent rivaliser uniquement sur la base de leurs capacités existantes. Vous pouvez maintenant visualiser Parvenir à l’auto-apprentissage pour les ordinateurs : les systèmes intelligents peuvent-ils acquérir du bon sens ?
