Het Le Chat-model van Mistral AI heeft veel aandacht gekregen binnen de AI-chatbotgemeenschap, waarbij sommige waarnemers het beschrijven als een potentiële concurrent van ChatGPT, ondanks zijn recente verschijning.
Maar verdient deze opkomende chatbot deze titel echt? Is Le Chat van Mistral AI beter dan ChatGPT? Verifiëren Redenen om Claude 3 te gaan gebruiken in plaats van ChatGPT.
Wat is het Le Chat-model van Mistral AI?
Le Chat is een AI-chatbot ontwikkeld door de Franse startup Mistral AI. Het wordt mogelijk gemaakt door verschillende van Mistral's eigen Large Language Models (LLM), waaronder Mistral Large, Mistral Small en Mistral Next, die u allemaal kunt gebruiken bij interactie met de AI-chatbot. Hoewel het een relatief nieuwkomer is op het gebied van chatbots, wordt het hoog gewaardeerd vanwege de prestaties van zijn AI-modellen, ondanks hun kleine omvang in vergelijking met zwaargewichten in de industrie, zoals Gemini en GPT-4.
Om te begrijpen wat dit betekent, moet je je voorstellen dat je met bouwstenen speelt. Hoe meer blokken je hebt, hoe complexere en gedetailleerdere structuren je kunt bouwen, toch? AI-taalmodellen lijken een beetje hierop. Ze zijn er in verschillende maten en worden meestal uitgedrukt in aantal parameters. U heeft dus wellicht termen als ‘70B-parameters’ of ‘70B-parameters’ gehoord in AI-modellen. Het aantal parameters is vergelijkbaar met het aantal basiselementen waarrond het model antwoorden moet begrijpen en genereren. Als een taalkundig model dus meer parameters heeft, kan het complexere en betere antwoorden begrijpen en genereren.
Terwijl GPT-4 naar schatting 1.76 biljoen parameters heeft, wordt geschat dat Mistral AI tussen de 7 en 56 miljard parameters heeft. Zie je het verschil in maat? Het vermogen van Mistral AI om behoorlijke prestaties te leveren is dus een van de redenen voor de hype.
Hoewel Le Chat niet het hype-niveau heeft van ChatGPT, noch de branding van bijvoorbeeld Gemini, heeft het zijn weg gevonden naar elk gesprek wanneer een potentiële ChatGPT-concurrent wordt besproken. Maar verdient het echt een plaats aan tafel?
Ik vroeg me hetzelfde af en om daar achter te komen heb ik Le Chat uitgebreid getest om te zien hoe het zich verhoudt tot ChatGPT. Verifiëren GitHub Copilot of ChatGPT: wat is beter voor programmeertaken?
Vergelijking tussen Le Chat en ChatGPT: Creativiteit
Creativiteit is een van de belangrijkste maatstaven om de prestaties van een AI-chatbot te beoordelen. Vergeet niet dat het doel van een chatbot is om de gespreksvaardigheden en creatieve flair van mensen op grote schaal te repliceren of te imiteren. Dit maakt creativiteit een zeer belangrijke kracht voor elke AI-chatbot. De wereld experimenteert al meer dan een jaar met ChatGPT en het creatieve potentieel ervan valt niet te ontkennen. Maar hoe verhoudt het zich tot Le Chat? We hebben beide chatbots aan een reeks creativiteitstests onderworpen.
Ik begon met de vraag aan beide chatbots: “Hoe zou je jezelf omschrijven als kunstenaar?” Om elkaars vermogen te testen om creatieve en fantasierijke woorden te gebruiken om zichzelf te portretteren.
Hier is hoe ChatGPT zichzelf beschrijft aan de artiest:
Dit is hoe Le Chat zichzelf omschrijft:
Beide reacties kwamen op hun eigen, unieke manier op het juiste moment. ChatGPT was meer geïnteresseerd in het gebruik van levendige beelden en metaforen om zichzelf te beschrijven, wat blijk gaf van een creatieve flair. Aan de andere kant is het antwoord van Le Chat informatief en richt het zich op het beschrijven van de essentie ervan als een AI-chatbot. Sommigen zullen misschien zeggen dat het de creatieve flair en artistieke benadering mist die uit de reactie van ChatGPT blijkt. Ik zal echter een stap verder gaan en zeggen dat ik de gemakkelijker voor te stellen reactie van Le Chat verkies boven de abstracte beschrijving van ChatGPT.
Vervolgens vroeg ik ChatGPT en Le Chat om een rapnummer te schrijven over rijk worden door het kweken van komkommers, een uitdagend verzoek dat we gebruikten om de creativiteit van andere chatbots te testen. Hoeveel rapnummers kun je op internet over komkommer vinden?
Hier is het antwoord van ChatGPT:
Dit is het antwoord van Le Chat:
Het kan een subjectief probleem zijn, maar een ChatGPT-reactie lijkt hier de beste optie. De teksten van Le Chat leken vol clichés en lazen niet echt als iets dat een rapper zou uitbrengen. Om te testen hoe deze woorden zouden klinken als ze in muziek zouden worden omgezet, gebruikten we een muziekgenerator Suno AI Om muziek te maken van woorden. In drie van de drie tests klonken de teksten van ChatGPT veel beter. Hier zijn enkele voorbeelden van beide chatbots, u kunt beoordelen welke chatbot beter presteerde.
Voorbeelden gegenereerd op basis van ChatGPT-trefwoorden:
Voorbeeld 1:
Voorbeeld 2:
Samples gemaakt op basis van de teksten van Le Chat:
Voorbeeld 1:
Voorbeeld 2:
Ik heb een aantal andere creatieve taken geprobeerd, zoals gedichten, artikelen schrijven en moeilijke werk-e-mails opstellen met behulp van AI-chatbots. Ondanks dat het veelbelovend was, presteerde ChatGPT in alle gevallen duidelijk beter dan Le Chat. Het is belangrijk op te merken dat een gebied waarop Le Chat bijzonder sterk was, het schrijven van essays was, hoewel er enkele moeilijke motivatietechnieken waren. In termen van algehele creativiteit gaat de medaille echter naar ChatGPT.
Vergelijking tussen Le Chat en ChatGPT: Programmeervaardigheden
Vaardigheid in programmeren is een basisvereiste geworden voor grote chatbots. Het schrijven van fatsoenlijke code is een essentiële vaardigheid, maar om echt op te vallen tussen de elite, moet een AI-chatbot laten zien hoe goed hij is in het maken van code die een verscheidenheid aan complexe problemen effectief kan oplossen. We hebben eerder een hele webapplicatie helemaal opnieuw gebouwd met behulp van ChatGPT, wat de geweldige mogelijkheden als softwaretool aantoont. Maar hoe goed is Le Chat in het schrijven van code?
Ik heb beide chatbots de opdracht gegeven om een eenvoudige takenlijst-applicatie te schrijven met behulp van CSS, HTML en JavaScript. ChatGPT had geen probleem om goede resultaten te behalen. Ik heb de gegenereerde code gekopieerd en een voorbeeld ervan in de browser bekeken, en dit is wat ChatGPT heeft gegenereerd:
Elke keer dat we de prompt herhaalden, creëerde ChatGPT een functionele takenlijstapplicatie met verschillende stijlen. De gegenereerde code werkte op geen enkele manier.
Toen ik dezelfde prompt probeerde met Le Chat, genereerde het wat leek op duidelijke code, maar toen we probeerden het in de browser uit te voeren, werkte het niet. Na drie keer herhalen van de prompt produceerde geen enkele instantie code die de opgegeven taak kon voltooien. Hij faalde in een basisprogrammeringstaak, wat een waarschuwingssignaal is!
Natuurlijk zou ik Le Chat niet beoordelen op basis van één mislukte test. Vervolgens liet ik beide chatbots JavaScript- en PHP-code genereren om de tekst te coderen en decoderen. In deze tweede test produceerden ChatGPT en Le Chat functionele code die de gespecificeerde taak kon uitvoeren. De Le Chat-versie zag er echter uit als wat een onervaren beginnende programmeur zou schrijven. Aan de andere kant was de ChatGPT-code completer en leek het geschreven te zijn door een ervaren programmeur.
Ik heb een aantal andere programmeertests herhaald waarbij bugs moeten worden gevonden en opgelost, en ChatGPT presteert consequent beter dan Le Chat. In sommige gevallen wist Le Chat niet eens wat hij moest doen. De kans is groot dat Le Chat op sommige gebieden het niveau van ChatGPT kan bereiken, maar programmeervaardigheden lijken daar niet bij te horen. Verifiëren Geavanceerde ChatGPT-alternatieven die geautomatiseerde applicatiescripting bieden.
Le Chat versus ChatGPT-vergelijking: gezond verstand en logisch denken
Een van de interessante ontwikkelingen bij AI-chatbots is hun vermogen om complexe taken met gemak op te lossen, maar falen bij eenvoudige taken waarvoor gezond verstand nodig is. Veel chatbots, zowel gevestigde als ChatGPT als nieuwkomers als Le Chat, worstelen als het gaat om het oplossen van taken die menselijk gezond verstand en logisch denken vereisen. Hoe verhouden Le Chat en ChatGPT zich op dit vlak tot elkaar?
Ik vroeg aan beide chatbots: “Als je een fles van 3 liter en een fles van 5 liter hebt. Hoe meet je 4 liter water af met de flessen van 3 en 5 liter?”
ChatGPT loste het probleem op met flair:
Le Chat probeerde dezelfde taak en slaagde erin het probleem op te lossen, zij het met een andere aanpak.
Beide chatbots presteerden vergelijkbaar in deze test.
Vervolgens stelden we beide robots een strikvraag: "Als een ruimteschip op Mars in tweeën zou splitsen, waarbij het ene deel in de Atlantische Oceaan bij Brazilië en het andere in de Stille Oceaan bij Japan zou neerstorten, waar zouden de overlevenden dan begraven worden?"
ChatGPT heeft de truc gedetecteerd en heeft overeenkomstig gereageerd:
Le Chat doorzag de truc ook en reageerde ook dienovereenkomstig:
Ik heb meer strikvragen geprobeerd, en zowel ChatGPT als Le Chat lijken erg bedreven te zijn in het omgaan met logische en op gezond verstand gebaseerde aanwijzingen. Bij complexere logische vragen kan echter alleen ChatGPT de juiste antwoorden geven.
Hoewel Le Chat enige bekendheid heeft gegenereerd als potentiële ‘ChatGPT-concurrent’, laten onze tests zien dat het nog veel moet groeien voordat het echt kan concurreren met de belangrijkste modellen in de wereld van AI-chatbots. Hoewel Le Chat indrukwekkende capaciteiten vertoonde op gebieden als gezond verstand, bleven de creatieve output en programmeervaardigheden aanzienlijk achter bij ChatGPT. De Franse AI-startup ziet er zeker veelbelovend uit, maar de hype loopt misschien een beetje voor op zijn mogelijkheden.
Net als veel aspirant-deelnemers vóór hem heeft Le Chat constante verbetering en training nodig voordat hij klaar is voor de grote toernooien. Op dit moment zijn AI-chatbots zoals ChatGPT nog steeds de onbetwiste koningen in de wereld van AI-chatbots. Maar het deelnemersveld wordt steeds drukker, zodat leiders niet alleen op basis van hun bestaande capaciteiten kunnen concurreren. Je kunt nu bekijken Zelfleren voor computers realiseren: kunnen intelligente systemen gezond verstand verwerven?
