Nvidia ha lanzado Chat with RXT, un chatbot de IA que se ejecuta en tu computadora y ofrece características similares a las que encontrarás al usar ChatGPT, ¡y más! Todo lo que necesitas es una tarjeta gráfica Nvidia RTX y estarás listo para comenzar a usar el nuevo chatbot de Nvidia.
En este artículo, profundizaremos en las funciones del chatbot de Nvidia y cómo usarlo en su computadora. Exploraremos usos potenciales y veremos cómo aprovechar al máximo esta tecnología innovadora. Verificar Cómo usar Poe de Quora para acceder a diferentes chatbots y modelos LLM.
¿Qué es Chat con RTX de Nvidia?
Nvidia Chat con RTX es un modelo de inteligencia artificial (IA) que le permite ejecutar un modelo de lenguaje grande (LLM) localmente en su computadora. Entonces, en lugar de conectarse a Internet para usar un chatbot de IA como ChatGPT, puede usar Chat con RTX sin conexión cuando lo desee.
Chat with RTX utiliza TensorRT-LLM, aceleración RTX y Quantum Mistral 7-B LLM para brindar un rendimiento rápido y respuestas de alta calidad a la par con otros chatbots de IA en línea. También ofrece recuperación de generación aumentada (RAG), lo que permite que el chatbot lea sus archivos y habilite respuestas personalizadas basadas en los datos que usted proporciona. Esto le permite personalizar el chatbot para brindar una experiencia más personal.
Chatea con funciones RTX:
- local: Se ejecuta en su computadora localmente sin Internet, lo que le brinda control total sobre sus datos y privacidad.
- Personalizable: Puedes entrenarlo con tus propios datos, como vídeos y documentos de YouTube, para crear una experiencia de chat personalizada.
- multi lenguaje: Admite muchos idiomas.
- fácil de usar: Interfaz de usuario sencilla y fácil de navegar.
¿Qué puede hacer Chat con RTX?
- Responde tus preguntas: Chat with RTX puede responder sus preguntas sobre una variedad de temas, incluidas noticias, eventos actuales, ciencia e historia.
- Información resumida: Chat con RTX puede resumir información de videos, documentos y otras fuentes de datos de YouTube.
- Crea contenido creativo: Chat con RTX puede crear contenido creativo, como poemas, historias y textos.
- Traducción de idiomas: Chat con RTX puede traducir textos de un idioma a otro.
Si desea probar Nvidia Chat con RTX, aquí le mostramos cómo descargarlo, instalarlo y configurarlo en su computadora.
Cómo descargar e instalar Nvidia Chat con RTX
Nvidia ha hecho que sea mucho más fácil ejecutar el modelo LLM localmente en su computadora. Para ejecutar Chat con RTX, simplemente descargue e instale la aplicación, tal como lo haría con cualquier otra aplicación. Sin embargo, Chat with RTX tiene algunos requisitos de especificación mínimos que deben cumplirse para una instalación y uso adecuados.
-
- Tarjeta gráfica RTX Serie 30 o Serie 40.
- RAM 16 GB.
- 100 GB de espacio de almacenamiento disponible.
- 11 ventanas.
Si su computadora cumple con los requisitos mínimos del sistema, puede continuar e instalar la aplicación.
- Paso 1: Descargue el archivo zip Chat con RTX.
- Descargar: Chatea con RTX (Descarga gratuita de 35 GB)
- Paso 2: Extraiga el archivo zip haciendo clic derecho y seleccionando una herramienta de archivo de archivos como 7Zip o haciendo doble clic en el archivo y eligiendo Extraer todo.
- Paso 3: Abra la carpeta extraída y haga doble clic en setup.exe. Siga las instrucciones en pantalla y marque todas las casillas durante el proceso de instalación personalizada. Después de presionar Siguiente, el asistente de instalación descargará e instalará LLM y todas las dependencias.
La instalación de Chat con RTX tardará algún tiempo en finalizar ya que descarga e instala una gran cantidad de datos. Después del proceso de instalación, haga clic en Cerrar y listo. Ahora es el momento de probar la aplicación.
Cómo usar Chat con RTX de Nvidia
Aunque puedes usar Chat con RTX como un chatbot en línea normal, te sugiero que consultes su funcionalidad RAG, que te permite personalizar su salida según los archivos a los que le das acceso.
Paso 1: crea una carpeta RAG
Para comenzar a usar RAG en Chat con RTX, cree una nueva carpeta para almacenar los archivos que desea que la IA analice.
Después de la creación, coloque sus archivos de datos preferidos en la carpeta. Los datos que almacena pueden cubrir muchos temas y tipos de archivos, como documentos, archivos PDF, texto y vídeos. Sin embargo, es posible que desee limitar la cantidad de archivos que coloca en esta carpeta para que no afecte el rendimiento. Más datos para buscar significa que Chat with RTX tardará más en devolver respuestas a consultas específicas (pero esto también depende del hardware interno del dispositivo).
Ahora que la base de datos está lista, puede configurar Chat con RTX y comenzar a usarlo para responder sus preguntas y consultas.
Paso 2: preparar el ambiente
Abra Chat con RTX. La interfaz debería verse como la imagen a continuación.
En Conjunto de datos, asegúrese de que la opción Ruta de carpeta esté seleccionada. Ahora haga clic en el ícono de edición en la parte inferior y seleccione la carpeta que contiene todos los archivos que desea que lea Chat with RTX. También puede cambiar el modelo de IA si hay otras opciones disponibles (al momento de escribir este artículo, solo está disponible Mistral 7B).
Ahora está listo para usar Chat con RTX.
Paso 3: ¡Haz tus preguntas en Chat con RTX!
Hay varias formas de consultar información diferente usando Chat con RTX. La primera es utilizarlo como un chatbot de IA normal. Le pregunté a Chat with RTX sobre los beneficios de utilizar un modelo LLM local y quedé satisfecho con su respuesta. No fue muy profundo, pero sí lo suficientemente preciso.
Pero como el modelo Chat with RTX es compatible con RAG, también puedes usarlo como un asistente personal con tecnología de inteligencia artificial.
Arriba, utilicé Chat con RTX para consultar sobre mi agenda. Los datos provienen de un archivo PDF que contiene la agenda, calendario, eventos, trabajo, etc. En este caso, Chat with RTX extrajo los datos correctos del calendario de los datos; Tendrá que mantener actualizados sus archivos de datos y fechas de calendario para que funciones como esta funcionen correctamente y deberá integrarse con otras aplicaciones.
Hay muchas formas en las que puedes utilizar RAG en Chat con RTX a tu favor. Por ejemplo, puede usarlo para leer documentos legales y proporcionar un resumen, generar código relevante para la aplicación que está desarrollando, obtener aspectos destacados de un video que estaba demasiado ocupado para mirar y ¡mucho más! Verificar ¿Debería utilizar un modelo LLM local? Ventajas, desventajas y mejores prácticas..
Paso 4: Bonificación adicional
Además de la carpeta de datos local, puedes utilizar Chat con RTX para analizar vídeos de YouTube. Para hacer esto, dentro del conjunto de datos, cambie la ruta de la carpeta a la URL de YouTube.
Copie la URL de YouTube que desea analizar y péguela debajo del menú desplegable. ¡Entonces pregunta!
Chatear con RTX mientras se analiza un video de YouTube fue muy bueno y proporcionó información precisa, por lo que puede ser útil para investigaciones, análisis y más rápidos. Verificar Cómo aprovechar eficazmente Scikit-LLM para el análisis de texto utilizando modelos de lenguaje grandes.
¿Es bueno chatear con RTX de Nvidia?
ChatGPT proporciona la funcionalidad RAG. Algunos chatbots de IA locales tienen requisitos de sistema mucho más bajos. Entonces, ¿vale la pena chatear con RTX?
¡La respuesta es sí! Vale la pena utilizar el chat con RTX a pesar de la competencia.
Uno de los mayores puntos de venta del uso de Chat con RTX es su capacidad de usar RAG sin enviar sus archivos a un servidor de terceros. Personalizar los GPT a través de servicios en línea puede exponer sus datos. Pero debido a que Chat with RTX se ejecuta localmente y sin conexión, el uso de RAG en Chat with RTX garantiza que sus datos confidenciales estén seguros y solo sean accesibles en su computadora.
En cuanto a otros chatbots de IA locales que ejecutan Mistral 7B, el rendimiento del chat con RTX es mejor y más rápido. Aunque una gran parte del aumento de rendimiento proviene del uso de GPU de alta gama, el uso de Nvidia TensorRT-LLM y la aceleración RTX hizo que Mistral 7B se ejecutara más rápido en Chat con RTX en comparación con otros métodos de ejecución de LLM optimizado para chat.
Vale la pena señalar que la versión de Chat con RTX que estamos usando actualmente es una versión beta. Es probable que las versiones posteriores de Chat with RTX estén más optimizadas y proporcionen mejoras en el rendimiento.
¿Qué pasa si no tengo una tarjeta gráfica RTX Serie 30 o 40?
Chatear con RTX es una forma fácil, rápida y segura de ejecutar su modelo LLM localmente sin necesidad de una conexión a Internet. Si también está interesado en ejecutar LLM localmente pero no tiene una tarjeta gráfica RTX serie 30 o 40, puede probar otros métodos para ejecutar LLM localmente. Dos de los más populares son GPT4ALL y Text Gen WebUI. Pruebe GPT4ALL si desea una experiencia plug-and-play localmente con LLM. Pero si tiene una inclinación un poco más técnica, los LLM se ejecutan a través de UI web de generación de texto Le proporcionará un mejor control y flexibilidad. Ahora puedes ver Ejecute una copia de ChatGPT de forma local y gratuita en Windows con GPT4All.
