O modelo Le Chat da Mistral AI ganhou muita atenção na comunidade de chatbot de IA, com alguns observadores descrevendo-o como um concorrente potencial do ChatGPT, apesar de seu aparecimento recente.
Mas será que este chatbot emergente realmente merece este título? O Le Chat da Mistral AI é melhor que o ChatGPT? Verificar Razões para começar a usar Claude 3 em vez de ChatGPT.
Qual é o modelo Le Chat da Mistral AI?
Le Chat é um chatbot de IA desenvolvido pela startup francesa Mistral AI. Ele é alimentado por vários Large Language Models (LLM) proprietários da Mistral, incluindo Mistral Large, Mistral Small e Mistral Next, todos os quais você pode escolher para usar ao interagir com o chatbot de IA. Embora seja um participante relativamente novo no espaço do chatbot, é altamente avaliado pelo desempenho dos seus modelos de IA, apesar do seu pequeno tamanho em comparação com pesos pesados da indústria, como Gemini e GPT-4.
Para entender o que isso significa, imagine que você está brincando com blocos de construção. Quanto mais blocos você tiver, mais estruturas complexas e detalhadas você poderá construir, certo? Os modelos de linguagem de IA são um pouco assim. Eles vêm em tamanhos diferentes e geralmente são expressos em termos do número de parâmetros. Portanto, você deve ter ouvido termos como “parâmetros 70B” ou “parâmetros 70B” em modelos de IA. O número de parâmetros é semelhante ao número de elementos básicos em torno dos quais o modelo deve compreender e gerar respostas. Portanto, se um modelo linguístico tiver mais parâmetros, ele poderá compreender e gerar respostas mais complexas e melhores.
Agora, enquanto o GPT-4 tem cerca de 1.76 trilhão de parâmetros, estima-se que o Mistral AI tenha entre 7 e 56 bilhões de parâmetros. Viu a diferença de tamanho? Portanto, a capacidade do Mistral AI de oferecer um desempenho decente é uma das razões do entusiasmo.
Embora Le Chat não tenha o nível de entusiasmo do ChatGPT nem a marca de nomes como Gemini, ele entra em qualquer conversa sempre que um potencial concorrente do ChatGPT é discutido. Mas será que realmente merece um lugar à mesa?
Eu estava me perguntando a mesma coisa e, para descobrir, testei extensivamente o Le Chat para ver como ele se compara ao ChatGPT. Verificar GitHub Copilot ou ChatGPT: Qual é melhor para tarefas de programação?
Comparação entre Le Chat e ChatGPT: Criatividade
A criatividade é uma das métricas mais importantes para julgar o desempenho de um chatbot de IA. Lembre-se de que o objetivo de um chatbot é replicar ou imitar as habilidades de conversação e o talento criativo dos humanos em grande escala. Isso torna a criatividade um ponto forte muito importante para qualquer chatbot de IA. O mundo vem experimentando o ChatGPT há mais de um ano e seu potencial criativo é inegável. Mas como ele se compara ao Le Chat? Submetemos os dois chatbots a uma série de testes de criatividade.
Comecei perguntando aos dois chatbots: “Como você se descreveria como artista?” Para testar a capacidade de cada um de usar palavras criativas e imaginativas para se retratar.
Veja como o ChatGPT se descreve para o artista:
Veja como o Le Chat também se descreve:
Ambas as respostas foram oportunas de uma maneira única. ChatGPT estava mais interessado em usar imagens vívidas e metáforas para se descrever, demonstrando um talento criativo. Por outro lado, a resposta do Le Chat é informativa e centra-se em descrever a sua essência como um chatbot de IA. Alguns podem dizer que falta o talento criativo e a abordagem artística que a resposta do ChatGPT mostra. No entanto, vou arriscar e dizer que prefiro a resposta mais fácil de imaginar do Le Chat à descrição abstrata do ChatGPT.
Em seguida, pedi ao ChatGPT e ao Le Chat que escrevessem um rap sobre como ficar rico cultivando pepinos, um pedido desafiador que usamos para testar a criatividade de outros chatbots. Quantas músicas de rap você consegue encontrar sobre pepino na web?
Aqui está a resposta do ChatGPT:
Esta é a resposta do Le Chat:
Pode ser uma questão subjetiva, mas a resposta do ChatGPT parece ser a melhor opção aqui. As letras de Le Chat pareciam cheias de clichês e não pareciam algo que um rapper lançaria. Para testar como essas palavras soariam se convertidas em música, usamos um gerador de música Suno IA Para criar música a partir de palavras. Em três dos três testes, as letras do ChatGPT soaram muito melhores. Aqui estão alguns exemplos de ambos os chatbots. Você pode avaliar qual chatbot teve melhor desempenho.
Amostras geradas a partir de palavras-chave ChatGPT:
Amostra 1:
Amostra 2:
Amostras criadas a partir das letras de Le Chat:
Amostra 1:
Amostra 2:
Tentei algumas outras tarefas criativas, como poemas, escrever artigos e redigir e-mails de trabalho difíceis usando chatbots de IA. Apesar de se mostrar muito promissor, o ChatGPT superou claramente o Le Chat em todos os casos. É importante notar que uma área em que Le Chat foi particularmente forte foi a redação de ensaios, embora existissem algumas técnicas motivacionais difíceis. Porém, em termos de criatividade geral, a medalha vai para o ChatGPT.
Comparação entre Le Chat e ChatGPT: habilidades de programação
A proficiência em programação tornou-se um requisito básico para os principais chatbots. Escrever código decente é uma habilidade essencial, mas para realmente se destacar entre a elite, um chatbot de IA deve demonstrar sua habilidade na elaboração de código que possa resolver com eficácia uma variedade de problemas complexos. Anteriormente, construímos um aplicativo da web inteiro do zero usando ChatGPT, o que demonstra seus excelentes recursos como ferramenta de software. Mas quão bom é o Le Chat em escrever código?
Encarreguei ambos os chatbots de escrever um aplicativo simples de lista de tarefas usando CSS, HTML e JavaScript. ChatGPT não teve problemas em obter bons resultados. Copiei o código gerado e visualizei no navegador, e aqui está o que o ChatGPT gerou:
Cada vez que repetimos o prompt, o ChatGPT criava um aplicativo funcional de lista de tarefas usando estilos diferentes. O código gerado não deixou de funcionar de forma alguma.
Quando tentei o mesmo prompt com Le Chat, ele gerou o que parecia ser um código claro, mas quando tentamos executá-lo no navegador, não funcionou. Depois de repetir o prompt três vezes, nenhuma instância produziu código que pudesse concluir a tarefa especificada. Ele falhou em uma tarefa básica de programação, o que é um sinal de alerta!
Claro, eu não julgaria Le Chat com base em um teste que falhou. Em seguida, fiz com que ambos os chatbots gerassem código JavaScript e PHP para criptografar e descriptografar o texto. Neste segundo teste, ChatGPT e Le Chat produziram código funcional que poderia executar a tarefa especificada. No entanto, a versão Le Chat parecia o que um programador novato inexperiente escreveria. Por outro lado, o código do ChatGPT era mais completo e parecia ter sido escrito por um programador experiente.
Repeti alguns outros testes de programação que envolvem encontrar e corrigir bugs, e o ChatGPT supera consistentemente o Le Chat. Em alguns casos, Le Chat nem sabia o que deveria fazer. Há uma boa chance de que Le Chat alcance o nível de ChatGPT em algumas áreas, mas habilidades de programação não parecem ser uma delas. Verificar Alternativas avançadas de ChatGPT que fornecem scripts automatizados de aplicativos.
Comparação Le Chat vs ChatGPT: Bom senso e pensamento lógico
Um dos desenvolvimentos interessantes nos chatbots de IA é a sua capacidade de resolver tarefas complexas com facilidade, mas falham em tarefas simples que requerem bom senso básico para serem concluídas. Muitos chatbots, tanto os estabelecidos como o ChatGPT quanto os recém-chegados como o Le Chat, têm dificuldade para resolver tarefas que exigem bom senso e pensamento lógico ao estilo humano. Então, como o Le Chat e o ChatGPT se comparam nesse aspecto?
Perguntei aos dois chatbots: “Se você tem uma garrafa de 3 litros e uma garrafa de 5 litros. Como você pode medir 4 litros de água usando garrafas de 3 e 5 litros?”
ChatGPT resolveu o problema usando talento:
Le Chat tentou a mesma tarefa e conseguiu resolver o problema, embora utilizando uma abordagem diferente.
Ambos os chatbots tiveram desempenho semelhante neste teste.
Em seguida, fizemos uma pergunta capciosa a ambos os robôs: “Se uma nave marciana se dividisse em duas, com uma parte caindo no Oceano Atlântico, perto do Brasil, e a outra no Oceano Pacífico, perto do Japão, onde os sobreviventes seriam enterrados?”
ChatGPT detectou o truque e respondeu de acordo:
Le Chat também conseguiu perceber o truque e respondeu de acordo:
Eu tentei mais perguntas capciosas, e tanto o ChatGPT quanto o Le Chat parecem ser muito hábeis em lidar com solicitações lógicas e de bom senso. Porém, com questões lógicas mais complexas, apenas o ChatGPT pode fornecer as respostas corretas.
Embora Le Chat tenha gerado algum buzz como um potencial “concorrente do ChatGPT”, nossos testes mostram que ele ainda tem muito a crescer antes de poder realmente competir com os principais modelos no mundo dos chatbots de IA. Embora Le Chat tenha demonstrado habilidades impressionantes em áreas como o bom senso, sua produção criativa e habilidades de programação ficaram significativamente atrás do ChatGPT. A startup francesa de IA certamente parece promissora, mas o hype pode estar um pouco à frente de suas capacidades.
Como muitos aspirantes a competidores antes dele, Le Chat precisa de constante aprimoramento e treinamento antes de estar pronto para os grandes torneios. No momento, chatbots de IA como o ChatGPT ainda são os reis indiscutíveis no mundo dos chatbots de IA. Mas o campo dos concorrentes está a tornar-se mais lotado, pelo que os líderes não podem competir apenas com base nas suas capacidades existentes. Agora você pode visualizar Alcançando a autoaprendizagem para computadores: os sistemas inteligentes podem ganhar bom senso?
