Os LLMs vêm em todas as formas e tamanhos e irão ajudá-lo da maneira que acharem melhor. Mas qual é o melhor modelo para suas diferentes necessidades? Colocamos os sistemas de IA dominantes da Alphabet, OpenAI e Meta à prova. Verificar Comparação entre ChatGPT e Google Bard: qual é melhor?
O que você precisa saber sobre chatbots de IA
O uso da inteligência artificial em geral tem sido um objetivo dos cientistas da computação há décadas, e tem sido um dos pilares dos escritores e cineastas de ficção científica por mais tempo ainda.
A inteligência geral artificial mostra inteligência comparável às habilidades cognitivas humanas, e o teste de Turing – um método para determinar se um computador ou aplicativo é capaz de exibir inteligência humana – permaneceu praticamente incontestado nas sete décadas desde que foi criado.
A recente convergência da computação em escala ultralarga, as enormes quantias de dinheiro que foram investidas e a quantidade impressionante de informações disponíveis gratuitamente na Internet aberta permitiram que grandes empresas de tecnologia treinassem modelos que podem prever a próxima seção de palavras - ou token — em uma sequência de tokens.
No momento em que este livro foi escrito, ambos Google Bardo وChatGPT do OpenAI estão disponíveis para você usar e testar por meio das interfaces da Web fornecidas por eles.
A amostra da linguagem Meta, LLaMa, não está disponível na Web, mas você pode facilmente baixar e executar o LLaMa em seu próprio hardware e usá-lo por meio de uma linha de comando ou executar o Dalai em sua máquina - um dos muitos aplicativos com uma interface intuitiva.
Para fins de teste, executaremos o modelo Alpaca 7B da Universidade de Stanford — uma adaptação do LLaMa — e o compararemos com Bard e ChatGPT.
As comparações e testes a seguir não pretendem ser exaustivas, mas fornecer uma indicação dos principais pontos e capacidades.
Qual é o formulário LLM mais fácil de usar?
Bard e ChatGPT requerem uma conta para usar chatbots. Criar contas do Google e OpenAI é fácil e gratuito, e você pode começar a fazer perguntas imediatamente.
No entanto, para executar o LLaMa localmente, você precisará de algum conhecimento especializado ou a capacidade de seguir um tutorial. Você também precisará de um pouco de espaço de armazenamento.
Qual é o modelo LLM mais privado?
Bard e ChatGPT têm políticas de privacidade abrangentes, e o Google enfatiza repetidamente em sua documentação que "as informações que podem ser usadas para identificá-lo ou ajudar a identificar outras pessoas não devem ser incluídas nas conversas do Bard".
Por padrão, o Google coleta suas conversas e localização geográfica geral com base em seu endereço IP, comentários e informações de uso. Essas informações são armazenadas em sua Conta do Google por até 18 meses. Embora você possa pausar o salvamento de sua atividade de Bardo, esteja ciente de que “para ajudar na qualidade e melhoria de nossos produtos, revisores humanos leem, comentam e processam suas conversas com o Bardo”.
O uso do bardo também está sujeito à política de privacidade padrão do Google.
A política de privacidade do OpenAI é amplamente semelhante e coleta endereço IP e dados de uso. Em contraste com o tempo de retenção limitado que o Google usa, a OpenAI observa que "reterá suas informações pessoais apenas pelo tempo necessário para fornecer nosso serviço a você ou para outros fins comerciais legítimos, como resolução de disputas, por motivos de segurança e proteção, ou para cumprir com nossas obrigações legais."
Por outro lado, o modelo local em seu dispositivo não requer uma conta nem compartilha dados do usuário com ninguém.
Qual modelo LLM tem o melhor conhecimento geral?
Para testar qual LLM tem o melhor conhecimento geral, fizemos três perguntas.
A primeira pergunta: Qual bandeira nacional tem cinco lados? Foi respondido corretamente apenas pelo Bardo, que identificou a bandeira nacional do Nepal como de cinco pontas.
O ChatGPT afirmou com confiança que “não existe bandeira nacional com cinco lados. As bandeiras nacionais são geralmente retangulares ou quadradas e se distinguem por suas cores, padrões e símbolos distintos.
Nosso modelo local abordou, observando: "A bandeira nacional indiana tem cinco lados e foi projetada em 1916 para representar o movimento de independência da Índia". Embora essa bandeira existisse e tivesse cinco lados, era a bandeira do movimento Indian Home Rule - não uma bandeira nacional.
Nenhum dos modelos poderia responder que o termo correto para um objeto em forma de ervilha seria um “feijão”, com o ChatGPT chegando ao ponto de sugerir que uma ervilha tem uma “geometria 3D perfeitamente redonda e simétrica”.
Os três chatbots identificaram corretamente Franco Malerba como um astronauta italiano e membro do Parlamento Europeu, com Bard dando uma resposta redigida de forma semelhante a uma seção da entrada de Malerba na Wikipedia. Verificar Comparação entre ChatGPT e Microsoft Bing AI e Google Bard: qual é o melhor chatbot de IA?
Qual modelo LLM é adequado para instrução técnica?
Quando você encontra problemas técnicos, pode ficar tentado a recorrer a um bot de bate-papo para obter ajuda. Enquanto a tecnologia avança, algumas coisas permanecem as mesmas. O plugue elétrico BS 1363 tem sido usado na Grã-Bretanha, Irlanda e muitos outros países desde 1947. Perguntamos aos modelos de linguagem como conectá-los corretamente.
Os cabos conectados ao plugue contêm o fio de fase (marrom), fio terra (amarelo/verde) e fio neutro (azul). Eles devem ser conectados aos terminais corretos dentro do invólucro do plugue.
O aplicativo de Dalai identificou corretamente o plugue como "estilo inglês" e, em seguida, desviou-se do curso e, em vez disso, deu instruções para o antigo soquete redondo BS 546 com as cores de fio antigas.
O ChatGPT foi um pouco mais útil. Ele rotulou corretamente as cores dos fios e forneceu uma lista de materiais e um conjunto de oito instruções. O ChatGPT também sugeriu colocar o fio marrom no terminal identificado como “L”, o fio azul no terminal “N” e o fio amarelo no “E”. Isso seria verdade se os terminais fossem classificados como BS1363, mas não são.
Bard determinou as cores corretas para os fios e nos instruiu a conectá-los aos terminais Fase, Neutro e Terra. Nenhuma instrução foi dada sobre como identificá-la.
Em nossa opinião. Nenhum dos chatbots forneceu instruções suficientes para ajudar alguém a conectar corretamente um plugue elétrico BS 1363. A resposta curta e correta seria “azul à esquerda, marrom à direita”.
Qual modelo LLM é adequado para escrever código?
Python é uma linguagem de programação útil que roda na maioria das plataformas modernas. Orientamos nossos modelos para usar Python e “construir uma calculadora básica que pode fazer operações matemáticas como adição, subtração, multiplicação e divisão”. O usuário deve receber a entrada e exibir o resultado.” Este é um dos melhores projetos de programação para iniciantes.
Embora o Bard e o ChatGPT tenham retornado imediatamente um código totalmente utilizável e comentado, que pudemos testar e verificar, nenhum código foi gerado a partir de nossa amostra local.
Qual modelo LLM conta as melhores piadas?
O humor é um dos fundamentos do ser humano e é definitivamente uma das melhores maneiras de diferenciar o homem da máquina. Para cada um dos nossos chatbots, demos um prompt simples: “Crie uma piada original e engraçada”.
Felizmente para os comediantes de todos os lugares e para a humanidade em geral, nenhum dos modelos foi capaz de gerar uma piada original.
O bardo trouxe o clássico "Por que o Espantalho ganhou um prêmio?" Ela se destacou em sua área.”
Tanto o modelo local quanto o ChatGPT apresentaram um pensamento chato: “Por que os cientistas não confiam nos átomos?” Porque compõe tudo!”
Uma piada derivada, mas original, poderia ser: “Como os grandes paradigmas de linguagem se parecem com os átomos? Ambos fazem coisas!"
Verificar O ChatGPT pode fazer piadas, mas a IA pode realmente nos fazer rir?
Não existe bot de bate-papo perfeito
Descobrimos que, embora todos os três principais modelos de linguagem tenham suas vantagens e desvantagens, nenhum deles pode substituir a experiência humana real por conhecimento especializado.
Embora o Bard e o ChatGPT forneçam respostas melhores para a questão da programação e sejam muito fáceis de usar, executar um modelo de linguagem grande nativamente significa que você não precisa se preocupar com privacidade ou censura.
Se você deseja criar uma arte incrível de IA sem se preocupar com alguém olhando por cima do seu ombro, também é fácil executar um modelo artístico de IA em sua máquina local. Você pode ver agora Como criar arte melhor com IA: dicas e truques.
