A Nvidia lançou o Chat with RXT, um chatbot de IA que roda no seu computador e oferece recursos semelhantes aos que você encontrará ao usar o ChatGPT e muito mais! Tudo que você precisa é de uma placa gráfica Nvidia RTX e você está pronto para começar a usar o novo chatbot da Nvidia.
Neste artigo, nos aprofundaremos nos recursos do chatbot da Nvidia e em como usá-lo em seu computador. Exploraremos usos potenciais e veremos como você pode aproveitar ao máximo essa tecnologia inovadora. Verificar Como usar Poe do Quora para acessar diferentes chatbots e modelos LLM.
O que é o bate-papo com RTX da Nvidia?
Nvidia Chat com RTX é um modelo de inteligência artificial (IA) que permite executar um modelo de linguagem grande (LLM) localmente em seu computador. Portanto, em vez de se conectar à Internet para usar um chatbot de IA como o ChatGPT, você pode usar o Chat com RTX offline sempre que quiser.
O Chat with RTX usa TensorRT-LLM, aceleração RTX e quantum Mistral 7-B LLM para fornecer desempenho rápido e respostas de alta qualidade no mesmo nível de outros chatbots de IA online. Também oferece Retrieval Augmented Generation (RAG), permitindo que o chatbot leia seus arquivos e possibilite respostas personalizadas com base nos dados que você fornece. Isso permite que você personalize o chatbot para fornecer uma experiência mais pessoal.
Bate-papo com recursos RTX:
- local: Ele é executado localmente e offline no seu computador, proporcionando controle total sobre seus dados e privacidade.
- Customizável: Você pode treiná-lo com seus próprios dados, como vídeos e documentos do YouTube, para criar uma experiência de bate-papo personalizada.
- multi Idiomas: Suporta muitos idiomas.
- fácil de usar: Interface de usuário simples e fácil de navegar.
O que o bate-papo com RTX pode fazer?
- Responda às suas perguntas: O Chat com RTX pode responder às suas perguntas sobre diversos tópicos, incluindo notícias, eventos atuais, ciência e história.
- Resumindo informações: O Chat com RTX pode resumir informações de vídeos, documentos e outras fontes de dados do YouTube.
- Crie conteúdo criativo: O Chat com RTX pode criar conteúdos criativos, como poemas, histórias e textos.
- Tradução de idiomas: O Chat com RTX pode traduzir textos de um idioma para outro.
Se você quiser experimentar o Nvidia Chat com RTX, veja como fazer o download, instalar e configurá-lo em seu computador.
Como baixar e instalar o Nvidia Chat com RTX
A Nvidia tornou muito mais fácil executar o modelo LLM localmente em seu computador. Para executar o Chat with RTX, basta baixar e instalar o aplicativo, como faria com qualquer outro aplicativo. No entanto, o Chat with RTX possui alguns requisitos mínimos de especificação que devem ser atendidos para instalação e uso adequados.
-
- Placa gráfica RTX série 30 ou série 40.
- RAM 16 GB.
- 100 GB de espaço de armazenamento disponível.
- 11 janelas.
Se o seu computador atender aos requisitos mínimos de sistema, você poderá instalar o aplicativo.
- Passo 1: Baixe o bate-papo com o arquivo zip RTX.
- Baixar: Conversar com RTX (download gratuito de 35 GB)
- Passo 2: Extraia o arquivo zip clicando com o botão direito e selecionando uma ferramenta de arquivamento de arquivo como 7Zip ou clicando duas vezes no arquivo e escolhendo Extrair tudo.
- Passo 3: Abra a pasta extraída e clique duas vezes em setup.exe. Siga as instruções na tela e marque todas as caixas durante o processo de instalação personalizada. Após pressionar Avançar, o assistente de instalação baixará e instalará o LLM e todas as dependências.
A instalação do Chat with RTX levará algum tempo para ser concluída, pois baixa e instala uma grande quantidade de dados. Após o processo de instalação, clique em Fechar e pronto. Agora é hora de experimentar o aplicativo.
Como usar o bate-papo com RTX da Nvidia
Embora você possa usar o Chat com RTX como um chatbot online normal, sugiro fortemente que você verifique sua funcionalidade RAG, que permite personalizar sua saída com base nos arquivos aos quais você dá acesso.
Etapa 1: crie uma pasta RAG
Para começar a usar o RAG no Chat com RTX, crie uma nova pasta para armazenar os arquivos que deseja que a IA analise.
Após a criação, coloque seus arquivos de dados preferidos na pasta. Os dados armazenados podem abranger muitos tópicos e tipos de arquivos, como documentos, PDFs, texto e vídeos. No entanto, você pode querer limitar o número de arquivos colocados nesta pasta para que isso não afete o desempenho. Mais dados para pesquisar significa que o Chat com RTX levará mais tempo para retornar respostas para consultas específicas (mas isso também depende do hardware interno do dispositivo).
Agora que o banco de dados está pronto, você pode configurar o Chat com RTX e começar a usá-lo para tirar suas dúvidas e dúvidas.
Passo 2: Prepare o ambiente
Abra o bate-papo com RTX. A interface deve ser semelhante à imagem abaixo.
Em Conjunto de dados, certifique-se de que a opção Caminho da pasta esteja selecionada. Agora clique no ícone de edição na parte inferior e selecione a pasta que contém todos os arquivos que você deseja que o Chat with RTX leia. Você também pode alterar o modelo de IA se outras opções estiverem disponíveis (no momento em que este artigo foi escrito, apenas o Mistral 7B estava disponível).
Agora você está pronto para usar o Chat com RTX.
Passo 3: Tire suas dúvidas no Chat com RTX!
Existem várias maneiras de consultar diferentes informações usando o Chat com RTX. A primeira é usá-lo como um chatbot de IA normal. Perguntei ao Chat with RTX sobre os benefícios de usar um modelo LLM local e fiquei satisfeito com sua resposta. Não foi muito aprofundado, mas preciso o suficiente.
Mas como o modelo Chat with RTX é compatível com RAG, você também pode usá-lo como um assistente pessoal com tecnologia de IA.
Acima, usei o Chat com RTX para consultar minha agenda. Os dados vieram de um arquivo PDF contendo programação, calendário, eventos, trabalho, etc. Nesse caso, o Chat with RTX extraiu os dados corretos do calendário dos dados; Você terá que manter seus arquivos de dados e datas do calendário atualizados para que recursos como esse funcionem corretamente e precisarão ser integrados a outros aplicativos.
Há muitas maneiras de usar o RAG no Chat com RTX a seu favor. Por exemplo, você pode usá-lo para ler documentos jurídicos e fornecer um resumo, gerar código relevante para o aplicativo que está desenvolvendo, obter destaques sobre um vídeo que você estava ocupado demais para assistir e muito mais! Verificar Você deve usar um modelo LLM local? Vantagens, desvantagens e melhores práticas.
Etapa 4: bônus extra
Além da pasta de dados local, você pode usar o Chat with RTX para analisar vídeos do YouTube. Para fazer isso, dentro do conjunto de dados, altere o caminho da pasta para o URL do YouTube.
Copie o URL do YouTube que deseja analisar e cole-o abaixo do menu suspenso. Então pergunte!
Conversar com RTX durante a análise de vídeos do YouTube foi muito bom e forneceu informações precisas, por isso pode ser útil para pesquisas rápidas, análises e muito mais. Verificar Como aproveitar efetivamente o Scikit-LLM para análise de texto usando grandes modelos de linguagem.
O bate-papo com RTX da Nvidia é bom?
ChatGPT fornece funcionalidade RAG. Alguns chatbots locais de IA têm requisitos de sistema muito mais baixos. Então, vale a pena conversar com RTX?
A resposta é sim! Vale a pena usar o bate-papo com RTX, apesar da concorrência.
Um dos maiores pontos de venda do Chat com RTX é a capacidade de usar RAG sem enviar seus arquivos para um servidor de terceiros. A personalização de GPTs por meio de serviços online pode expor seus dados. Mas como o Chat with RTX é executado localmente e offline, o uso do RAG no Chat with RTX garante que seus dados confidenciais estejam seguros e acessíveis apenas no seu computador.
Quanto a outros chatbots de IA desenvolvidos internamente executando Mistral 7B, o desempenho do chat com RTX é melhor e mais rápido. Embora grande parte do aumento de desempenho venha do uso de GPUs de última geração, o uso da Nvidia TensorRT-LLM e aceleração RTX fez o Mistral 7B rodar mais rápido no Chat com RTX em comparação com outros métodos de execução do LLM otimizado para chat.
Vale ressaltar que a versão do Chat with RTX que estamos usando atualmente é uma versão beta. Versões posteriores do Chat com RTX provavelmente se tornarão mais otimizadas e fornecerão aumento de desempenho.
E se eu não tiver uma placa gráfica da série RTX 30 ou 40?
Bate-papo com RTX é uma maneira fácil, rápida e segura de executar seu modelo LLM localmente, sem a necessidade de conexão com a Internet. Se você também estiver interessado em executar o LLM localmente, mas não tiver uma placa gráfica da série RTX 30 ou 40, poderá tentar outros métodos para executar o LLM localmente. Dois dos mais populares são GPT4ALL e Text Gen WebUI. Experimente GPT4ALL se desejar uma experiência plug-and-play localmente com LLM. Mas se você tiver um pouco mais de inclinação técnica, os LLMs abrangem Geração de texto WebUI Isso lhe proporcionará melhor controle e flexibilidade. Agora você pode visualizar Execute uma cópia do ChatGPT localmente e gratuitamente no Windows com GPT4All.
