Nvidia a lancé Chat with RXT, un chatbot IA qui s'exécute sur votre ordinateur et offre des fonctionnalités similaires à celles que vous trouverez en utilisant ChatGPT, et plus encore ! Tout ce dont vous avez besoin est une carte graphique Nvidia RTX et vous êtes prêt à commencer à utiliser le nouveau chatbot de Nvidia.
Dans cet article, nous examinerons en profondeur les fonctionnalités du chatbot de Nvidia et comment l'utiliser sur votre ordinateur. Nous explorerons les utilisations potentielles et verrons comment vous pouvez tirer le meilleur parti de cette technologie innovante. Vérifier Comment utiliser Poe de Quora pour accéder à différents chatbots et modèles LLM.
Qu’est-ce que Chat avec RTX de Nvidia ?
Nvidia Chat avec RTX est un modèle d'intelligence artificielle (IA) qui vous permet d'exécuter un grand modèle de langage (LLM) localement sur votre ordinateur. Ainsi, au lieu de vous connecter à Internet pour utiliser un chatbot IA comme ChatGPT, vous pouvez utiliser Chat avec RTX hors ligne quand vous le souhaitez.
Chat avec RTX utilise TensorRT-LLM, l'accélération RTX et le quantum Mistral 7-B LLM pour fournir des performances rapides et des réponses de haute qualité comparables à celles d'autres chatbots IA en ligne. Il propose également la génération augmentée de récupération (RAG), permettant au chatbot de lire vos fichiers et d'activer des réponses personnalisées basées sur les données que vous fournissez. Cela vous permet de personnaliser le chatbot pour offrir une expérience plus personnelle.
Discutez avec les fonctionnalités RTX :
- locale: Il s'exécute sur votre ordinateur localement et hors ligne, vous donnant un contrôle total sur vos données et votre confidentialité.
- Personnalisable : Vous pouvez l'entraîner avec vos propres données, telles que des vidéos et des documents YouTube, pour créer une expérience de chat personnalisée.
- multilingue : Prend en charge de nombreuses langues.
- facile à utiliser: Interface utilisateur simple et facile à naviguer.
Que peut faire Chat avec RTX ?
- Répondez à vos questions : Discuter avec RTX peut répondre à vos questions sur une variété de sujets, notamment l'actualité, l'actualité, la science et l'histoire.
- Informations récapitulatives : Discuter avec RTX peut résumer les informations des vidéos YouTube, des documents et d'autres sources de données.
- Créez du contenu créatif : Discuter avec RTX peut créer du contenu créatif, tel que des poèmes, des histoires et des textes.
- La traduction de la langue: Discuter avec RTX peut traduire des textes d'une langue à une autre.
Si vous souhaitez essayer Nvidia Chat avec RTX, voici comment le télécharger, l'installer et le configurer sur votre ordinateur.
Comment télécharger et installer Nvidia Chat avec RTX
Nvidia a rendu beaucoup plus facile l'exécution du modèle LLM localement sur votre ordinateur. Pour exécuter Chat avec RTX, téléchargez et installez simplement l'application, comme vous le feriez avec n'importe quelle autre application. Cependant, Chat with RTX comporte certaines exigences minimales qui doivent être respectées pour une installation et une utilisation correctes.
-
- Carte graphique RTX série 30 ou série 40.
- RAM 16 Go.
- 100 Go d'espace de stockage disponible.
- 11 fenêtres.
Si votre ordinateur répond à la configuration minimale requise, vous pouvez continuer et installer l'application.
- Étape 1: Téléchargez le fichier zip Chat avec RTX.
- Télécharger: Discutez avec RTX (téléchargement gratuit de 35 Go)
- Étape 2: Extrayez le fichier zip en cliquant avec le bouton droit et en sélectionnant un outil d'archivage de fichiers comme 7Zip ou en double-cliquant sur le fichier et en choisissant Extraire tout.
- Étape 3: Ouvrez le dossier extrait et double-cliquez sur setup.exe. Suivez les instructions à l'écran et cochez toutes les cases pendant le processus d'installation personnalisée. Après avoir appuyé sur Suivant, l'assistant d'installation téléchargera et installera LLM et toutes les dépendances.
L’installation de Chat avec RTX prendra un certain temps car elle télécharge et installe une grande quantité de données. Après le processus d'installation, cliquez sur Fermer et vous avez terminé. Il est maintenant temps d'essayer l'application.
Comment utiliser Chat avec RTX de Nvidia
Bien que vous puissiez utiliser Chat avec RTX comme un chatbot en ligne classique, je vous suggère fortement de consulter sa fonctionnalité RAG, qui vous permet de personnaliser sa sortie en fonction des fichiers auxquels vous lui donnez accès.
Étape 1 : Créez un dossier RAG
Pour commencer à utiliser RAG sur Chat avec RTX, créez un nouveau dossier pour stocker les fichiers que vous souhaitez que l'IA analyse.
Après la création, placez vos fichiers de données préférés dans le dossier. Les données que vous stockez peuvent couvrir de nombreux sujets et types de fichiers, tels que des documents, des PDF, du texte et des vidéos. Cependant, vous souhaiterez peut-être limiter le nombre de fichiers que vous placez dans ce dossier afin que cela n'affecte pas les performances. Plus de données à rechercher signifie que Chat avec RTX mettra plus de temps à renvoyer des réponses à des requêtes spécifiques (mais cela dépend également du matériel interne de l'appareil).
Maintenant que la base de données est prête, vous pouvez configurer Chat avec RTX et commencer à l'utiliser pour répondre à vos questions et demandes de renseignements.
Étape 2 : Préparer l'environnement
Ouvrez le chat avec RTX. L'interface devrait ressembler à l'image ci-dessous.
Sous Ensemble de données, assurez-vous que l’option Chemin du dossier est sélectionnée. Cliquez maintenant sur l'icône d'édition en bas et sélectionnez le dossier contenant tous les fichiers que vous souhaitez que Chat with RTX lise. Vous pouvez également changer de modèle d'IA si d'autres options sont disponibles (au moment de la rédaction, seul Mistral 7B est disponible).
Vous êtes maintenant prêt à utiliser Chat avec RTX.
Étape 3 : Posez vos questions sur Chat avec RTX !
Il existe plusieurs façons d’obtenir des informations sur différentes informations à l’aide de Chat with RTX. La première consiste à l’utiliser comme un chatbot IA classique. J'ai interrogé Chat avec RTX sur les avantages de l'utilisation d'un modèle LLM local et j'ai été satisfait de sa réponse. Ce n'était pas très approfondi, mais suffisamment précis.
Mais comme le modèle Chat with RTX est compatible RAG, vous pouvez également l’utiliser comme assistant personnel alimenté par l’IA.
Ci-dessus, j'ai utilisé Chat avec RTX pour me renseigner sur mon emploi du temps. Les données provenaient d'un fichier PDF contenant le planning, le calendrier, les événements, les travaux, etc. Dans ce cas, Chat with RTX a extrait les données de calendrier correctes des données ; Vous devrez maintenir vos fichiers de données et vos dates de calendrier à jour pour que des fonctionnalités comme celle-ci fonctionnent correctement et devront être intégrées à d'autres applications.
Il existe de nombreuses façons d’utiliser RAG dans Chat avec RTX à votre avantage. Par exemple, vous pouvez l'utiliser pour lire des documents juridiques et fournir un résumé, générer du code pertinent pour l'application que vous développez, obtenir les points forts d'une vidéo que vous étiez trop occupé pour regarder, et bien plus encore ! Vérifier Devriez-vous utiliser un modèle LLM local ? Avantages, inconvénients et bonnes pratiques.
Étape 4 : Bonus supplémentaire
En plus du dossier de données local, vous pouvez utiliser Chat avec RTX pour analyser les vidéos YouTube. Pour ce faire, dans l'ensemble de données, remplacez le chemin du dossier par l'URL YouTube.
Copiez l'URL YouTube que vous souhaitez analyser et collez-la sous le menu déroulant. Puis demander!
Discuter avec RTX tout en analysant la vidéo YouTube était très efficace et fournissait des informations précises, elles peuvent donc être utiles pour une recherche, une analyse rapide et bien plus encore. Vérifier Comment exploiter efficacement Scikit-LLM pour l'analyse de texte à l'aide de grands modèles de langage.
Le chat avec RTX de Nvidia est-il une bonne chose ?
ChatGPT fournit la fonctionnalité RAG. Certains chatbots IA locaux ont une configuration système bien inférieure. Alors, le chat avec RTX en vaut-il la peine ?
La réponse est oui! Le chat avec RTX vaut la peine d'être utilisé malgré la concurrence.
L'un des principaux arguments de vente de Chat avec RTX est sa capacité à utiliser RAG sans envoyer vos fichiers à un serveur tiers. La personnalisation des GPT via des services en ligne peut exposer vos données. Mais comme Chat with RTX s'exécute localement et hors ligne, l'utilisation de RAG sur Chat with RTX garantit que vos données sensibles sont en sécurité et accessibles uniquement sur votre ordinateur.
Comme pour les autres chatbots IA locaux exécutant Mistral 7B, les performances de chat avec RTX sont meilleures et plus rapides. Bien qu'une grande partie de l'amélioration des performances provienne de l'utilisation de GPU haut de gamme, l'utilisation de l'accélération Nvidia TensorRT-LLM et RTX a permis à Mistral 7B de fonctionner plus rapidement sur Chat avec RTX par rapport à d'autres méthodes d'exécution de LLM optimisé pour le chat.
Il est à noter que la version de Chat with RTX que nous utilisons actuellement est une version bêta. Les versions ultérieures de Chat avec RTX seront probablement plus optimisées et offriront des améliorations de performances.
Que faire si je n'ai pas de carte graphique RTX série 30 ou 40 ?
Discuter avec RTX est un moyen simple, rapide et sécurisé d'exécuter votre modèle LLM localement sans avoir besoin d'une connexion Internet. Si vous souhaitez également exécuter LLM localement mais que vous ne disposez pas de carte graphique RTX séries 30 ou 40, vous pouvez essayer d'autres méthodes pour exécuter LLM localement. Deux des plus populaires sont GPT4ALL et Text Gen WebUI. Essayez GPT4ALL si vous souhaitez une expérience plug-and-play localement avec LLM. Mais si vous êtes un peu plus enclin à la technique, les LLM se déroulent Interface utilisateur Web de génération de texte Il vous offrira un meilleur contrôle et une meilleure flexibilité. Vous pouvez maintenant visualiser Exécutez une copie de ChatGPT localement et gratuitement sur Windows avec GPT4All.
