El modelo Le Chat de Mistral AI ha ganado mucha atención dentro de la comunidad de chatbots de IA, y algunos observadores lo describen como un competidor potencial de ChatGPT a pesar de su reciente aparición.
Pero, ¿este chatbot emergente realmente merece este título? ¿Es Le Chat de Mistral AI mejor que ChatGPT? Verificar Razones para empezar a utilizar Claude 3 en lugar de ChatGPT.
¿Qué es el modelo Le Chat de Mistral AI?
Le Chat es un chatbot de IA desarrollado por la startup francesa Mistral AI. Está impulsado por varios de los modelos de lenguaje grande (LLM) patentados por Mistral, incluidos Mistral Large, Mistral Small y Mistral Next, los cuales puede elegir utilizar al interactuar con el chatbot de IA. Aunque es un participante relativamente nuevo en el espacio de los chatbots, está altamente calificado por el rendimiento de sus modelos de IA a pesar de su pequeño tamaño en comparación con los pesos pesados de la industria como Gemini y GPT-4.
Para entender lo que esto significa, imagina que estás jugando con bloques de construcción. Cuantos más bloques tengas, más estructuras complejas y detalladas podrás construir, ¿verdad? Los modelos de lenguaje de IA son un poco así. Vienen en diferentes tamaños y generalmente se expresan en términos de número de parámetros. Por lo tanto, es posible que haya escuchado términos como “parámetros 70B” o “parámetros 70B” en los modelos de IA. La cantidad de parámetros es similar a la cantidad de elementos básicos alrededor de los cuales el modelo debe comprender y generar respuestas. Por tanto, si un modelo lingüístico tiene más parámetros, puede comprender y generar respuestas más complejas y mejores.
Ahora, mientras que GPT-4 tiene aproximadamente 1.76 billones de parámetros, se estima que Mistral AI tiene entre 7 y 56 mil millones de parámetros. ¿Ves la diferencia de tamaño? Entonces, la capacidad de Mistral AI para ofrecer un rendimiento decente es una de las razones del revuelo.
Aunque Le Chat no tiene el nivel de publicidad de ChatGPT ni la marca de empresas como Gemini, se ha abierto camino en cualquier conversación cada vez que se habla de un competidor potencial de ChatGPT. ¿Pero realmente merece un lugar en la mesa?
Me preguntaba lo mismo y, para descubrirlo, probé Le Chat exhaustivamente para ver cómo se compara con ChatGPT. Verificar GitHub Copilot o ChatGPT: ¿Cuál es mejor para las tareas de programación?
Comparación entre Le Chat y ChatGPT: creatividad
La creatividad es una de las métricas más importantes para juzgar el desempeño de un chatbot de IA. Recuerde, el propósito de un chatbot es replicar o imitar las habilidades conversacionales y el talento creativo de los humanos a escala. Esto hace que la creatividad sea una fortaleza muy importante para cualquier chatbot de IA. El mundo lleva más de un año experimentando con ChatGPT y su potencial creativo es innegable. Pero, ¿cómo se compara con Le Chat? Sometimos a ambos chatbots a una serie de pruebas de creatividad.
Comencé preguntándoles a ambos chatbots: "¿Cómo te describirías a ti mismo como artista?" Poner a prueba la capacidad de los demás para utilizar palabras creativas e imaginativas para retratarse a sí mismos.
Así es como ChatGPT se describe al artista:
Así se describe también Le Chat:
Ambas respuestas fueron oportunas a su manera. ChatGPT estaba más interesado en utilizar imágenes vívidas y metáforas para describirse a sí mismo, demostrando un talento creativo. Por otro lado, la respuesta de Le Chat es informativa y se centra en describir su esencia como un chatbot con IA. Algunos podrían decir que carece del estilo creativo y el enfoque artístico que muestra la respuesta de ChatGPT. Sin embargo, me arriesgaré y diré que prefiero la respuesta más fácil de imaginar de Le Chat a la descripción abstracta de ChatGPT.
A continuación, le pedí a ChatGPT y Le Chat que escribieran una canción de rap sobre cómo hacerse rico cultivando pepinos, una solicitud desafiante que utilizamos para probar la creatividad de otros chatbots. ¿Cuántas canciones de rap puedes encontrar sobre pepino en la web?
Aquí está la respuesta de ChatGPT:
Esta es la respuesta de Le Chat:
Puede que sea una cuestión subjetiva, pero la respuesta ChatGPT parece ser la mejor opción en este caso. Las letras de Le Chat parecían llenas de clichés y realmente no parecían algo que un rapero publicaría. Para probar cómo sonarían estas palabras si se convirtieran en música, utilizamos un generador de música. Suno AI Crear música a partir de palabras. En tres de cada tres pruebas, las letras de ChatGPT sonaron mucho mejor. Aquí hay algunos ejemplos de ambos chatbots, puedes juzgar cuál funcionó mejor.
Ejemplos generados a partir de palabras clave de ChatGPT:
Muestra 1:
Muestra 2:
Muestras creadas a partir de las letras de Le Chat:
Muestra 1:
Muestra 2:
Probé otras tareas creativas, como poemas, escribir artículos y redactar correos electrónicos de trabajo difíciles utilizando chatbots de IA. A pesar de mostrarse muy prometedor, ChatGPT superó claramente a Le Chat en todos los casos. Es importante señalar que un área en la que Le Chat fue particularmente fuerte fue la redacción de ensayos, aunque hubo algunas técnicas de motivación difíciles. Sin embargo, en términos de creatividad general, la medalla es para ChatGPT.
Comparación entre Le Chat y ChatGPT: habilidades de programación
El dominio de la programación se ha convertido en un requisito básico para los principales chatbots. Escribir código decente es una habilidad esencial, pero para destacar verdaderamente entre la élite, un chatbot de IA debe demostrar su destreza en la elaboración de código que pueda resolver eficazmente una variedad de problemas complejos. Anteriormente, creamos una aplicación web completa desde cero utilizando ChatGPT, lo que demuestra sus grandes capacidades como herramienta de software. Pero, ¿qué tan bueno es Le Chat escribiendo código?
Encargué a ambos chatbots que escribieran una aplicación de lista de tareas sencilla utilizando CSS, HTML y JavaScript. ChatGPT no tuvo problemas para lograr buenos resultados. Copié el código generado y lo obtuve una vista previa en el navegador, y esto es lo que generó ChatGPT:
Cada vez que repetíamos el mensaje, ChatGPT creaba una aplicación funcional de lista de tareas pendientes utilizando diferentes estilos. El código generado no dejó de funcionar de ninguna manera.
Cuando probé el mismo mensaje con Le Chat, generó lo que parecía ser un código claro, pero cuando intentamos ejecutarlo en el navegador, no funcionó. Después de repetir el mensaje tres veces, ninguna instancia produjo código que pudiera completar la tarea especificada. Falló en una tarea básica de programación, ¡lo cual es una señal de advertencia!
Por supuesto, no juzgaría a Le Chat basándome en una prueba fallida. A continuación, hice que ambos chatbots generaran código JavaScript y PHP para cifrar y descifrar el texto. En esta segunda prueba, ChatGPT y Le Chat produjeron un código funcional que podría realizar la tarea especificada. Sin embargo, la versión de Le Chat se parecía a lo que escribiría un programador novato sin experiencia. Por otro lado, el código ChatGPT era más completo y parecía haber sido escrito por un programador experimentado.
He repetido algunas otras pruebas de programación que implican encontrar y corregir errores, y ChatGPT supera consistentemente a Le Chat. En algunos casos, Le Chat ni siquiera sabía lo que debía hacer. Hay muchas posibilidades de que Le Chat pueda alcanzar el nivel de ChatGPT en algunas áreas, pero las habilidades de programación no parecen ser una de ellas. Verificar Alternativas avanzadas de ChatGPT que proporcionan secuencias de comandos de aplicaciones automatizadas.
Comparación de Le Chat vs ChatGPT: sentido común y pensamiento lógico
Uno de los avances interesantes en los chatbots de IA es su capacidad para resolver tareas complejas con facilidad, pero fallan en tareas simples que requieren sentido común básico para completarse. Muchos chatbots, tanto los establecidos como ChatGPT como los recién llegados como Le Chat, tienen dificultades cuando se trata de resolver tareas que requieren sentido común y pensamiento lógico al estilo humano. Entonces, ¿cómo se comparan Le Chat y ChatGPT en este frente?
Pregunté a ambos chatbots: “Si tienes una botella de 3 litros y una de 5 litros. ¿Cómo se pueden medir 4 litros de agua con botellas de 3 y 5 litros?
ChatGPT resolvió el problema usando estilo:
Le Chat intentó la misma tarea y pudo resolver el problema, aunque utilizando un enfoque diferente.
Ambos chatbots obtuvieron resultados similares en esta prueba.
A continuación, les hicimos a ambos robots una pregunta capciosa: "Si una nave espacial marciana se partiera en dos, una parte chocara en el Océano Atlántico cerca de Brasil y la otra en el Océano Pacífico cerca de Japón, ¿dónde serían enterrados los supervivientes?"
ChatGPT detectó el truco y respondió en consecuencia:
Le Chat también pudo ver el truco y respondió en consecuencia:
Probé más preguntas capciosas y tanto ChatGPT como Le Chat parecen ser muy hábiles en el manejo de indicaciones lógicas y de sentido común. Sin embargo, con preguntas lógicas más complejas, sólo ChatGPT puede proporcionar las respuestas correctas.
Aunque Le Chat ha generado cierta expectación como un potencial "competidor de ChatGPT", nuestras pruebas muestran que todavía tiene mucho por hacer antes de que realmente pueda competir con los principales modelos en el mundo de los chatbots de IA. Aunque Le Chat demostró habilidades impresionantes en áreas como el sentido común, su producción creativa y habilidades de programación quedaron significativamente por detrás de ChatGPT. La startup francesa de IA ciertamente parece prometedora, pero es posible que el revuelo se esté adelantando un poco a sus capacidades.
Como muchos aspirantes a competidores antes que él, Le Chat necesita mejorar y entrenar constantemente antes de estar listo para los grandes torneos. En este momento, los chatbots de IA como ChatGPT siguen siendo los reyes indiscutibles en el mundo de los chatbots de IA. Pero el campo de competidores está cada vez más poblado, por lo que los líderes no pueden competir únicamente basándose en sus capacidades existentes. Ahora puedes ver Lograr el autoaprendizaje de las computadoras: ¿pueden los sistemas inteligentes ganar sentido común?
