Сравнение Bard, ChatGPT и офлайн-альпаки: какая парадигма для большого языка лучше?

LLM бывают всех форм и размеров и помогут вам любым способом, который они сочтут нужным. Но какая модель лучше всего подходит для ваших различных потребностей? Мы серьезно тестируем доминирующие системы искусственного интеллекта от Alphabet, OpenAI и Meta. Проверять Сравнение ChatGPT и Google Bard: что лучше?

Сравнение Bard, ChatGPT и офлайн-альпаки: какая парадигма для большого языка лучше? - искусственный интеллект

Что нужно знать о чат-ботах с искусственным интеллектом

Сравнение Bard, ChatGPT и офлайн-альпаки: какая парадигма для большого языка лучше? - искусственный интеллект

Использование искусственного интеллекта в целом было целью ученых-компьютерщиков на протяжении десятилетий, и еще дольше оно было опорой писателей-фантастов и кинематографистов.

Искусственный общий интеллект демонстрирует интеллект, сравнимый с когнитивными способностями человека, а тест Тьюринга — метод определения того, способен ли компьютер или приложение демонстрировать человеческий интеллект — практически не подвергался сомнению в течение семи десятилетий с момента его первого изобретения.

Недавняя конвергенция сверхкрупномасштабных вычислений, огромные суммы денег, которые были инвестированы, и ошеломляющий объем информации, свободно доступной в открытом Интернете, позволили крупным технологическим компаниям обучать модели, которые могут предсказывать следующий раздел слова — или token — в строке токенов.

На момент написания этой статьи оба Гугл бард وChatGPT OpenAI доступны для использования и тестирования через предоставляемые ими веб-интерфейсы.

Образец языка мета, LLaMa, недоступен в Интернете, но вы можете легко загрузить и запустить LLaMa на своем собственном оборудовании и использовать его через командную строку или запустить Dalai на своем компьютере — одно из многих приложений с простым в использовании использовать интерфейс.

В целях тестирования мы запустим стэнфордскую модель Alpaca 7B — адаптацию LLaMa — и сравним ее с Bard и ChatGPT.

Следующие сравнения и тесты не претендуют на то, чтобы быть исчерпывающими, но чтобы дать вам представление о ключевых моментах и ​​возможностях.

Какую форму LLM проще всего использовать?

Для использования чат-ботов в Bard и ChatGPT требуется учетная запись. Создать учетную запись Google и OpenAI легко и бесплатно, и вы можете сразу же начать задавать вопросы.

Однако для локального запуска LLaMa вам потребуются некоторые специальные знания или возможность следовать руководству. Вам также понадобится довольно много места для хранения.

Какая самая частная модель LLM?

Сравнение Bard, ChatGPT и офлайн-альпаки: какая парадигма для большого языка лучше? - искусственный интеллект

У Bard и ChatGPT есть всеобъемлющие политики конфиденциальности, и Google неоднократно подчеркивает в своей документации, что «информация, которая может быть использована для вашей идентификации или помогает идентифицировать других, не должна включаться в разговоры Bard».

По умолчанию Google собирает ваши разговоры и общее географическое местоположение на основе вашего IP-адреса, комментариев и информации об использовании. Эта информация хранится в вашей учетной записи Google до 18 месяцев. Хотя вы можете приостановить сохранение своих действий в Bard, имейте в виду, что «для повышения качества и улучшения наших продуктов рецензенты читают, комментируют и обрабатывают ваши разговоры с Bard».

Использование барда также подлежит к стандартной Политике конфиденциальности Google.

Политика конфиденциальности OpenAI в целом аналогична и собирает данные об IP-адресе и использовании. В отличие от ограниченного времени хранения, которое использует Google, OpenAI отмечает, что «будет хранить вашу личную информацию только до тех пор, пока она нам нужна для предоставления вам наших услуг или для других законных деловых целей, таких как разрешение споров, по причинам безопасность и безопасность, или для выполнения наших юридических обязательств».

Напротив, локальная модель на вашем устройстве не требует учетной записи или обмена данными пользователя с кем-либо.

Какая модель LLM обладает лучшими общими знаниями?

Сравнение Bard, ChatGPT и офлайн-альпаки: какая парадигма для большого языка лучше? - искусственный интеллект

Чтобы проверить, какой LLM обладает лучшими общими знаниями, мы задали три вопроса.

Первый вопрос: у какого национального флага пять сторон? На него правильно ответил только Бард, который идентифицировал государственный флаг Непала как пятиконечный.

ChatGPT уверенно заявил, что «не бывает национального флага с пятью сторонами. Национальные флаги обычно имеют прямоугольную или квадратную форму и отличаются характерными цветами, узорами и символами.

Наша местная модель подошла, отметив: «Индийский национальный флаг имеет пять сторон и был разработан в 1916 году, чтобы представлять движение за независимость Индии». Хотя этот флаг действительно существовал и имел пять сторон, это был флаг движения за самоуправление в Индии, а не национальный флаг.

Ни одна из моделей не могла ответить, что правильным термином для объекта в форме горошины будет «боб», а ChatGPT зашел так далеко, что предположил, что горошина имеет «трехмерную геометрию, которая идеально круглая и симметричная».

Три чат-бота правильно идентифицировали Франко Малербу как итальянского астронавта и члена Европейского парламента, а Бард дал ответ, аналогичный разделу статьи Малербы в Википедии. Проверять Сравнение ChatGPT, Microsoft Bing AI и Google Bard: какой чат-бот с искусственным интеллектом лучше?

Какая модель LLM подходит для технического обучения?

Сравнение Bard, ChatGPT и офлайн-альпаки: какая парадигма для большого языка лучше? - искусственный интеллект

Когда вы сталкиваетесь с техническими проблемами, у вас может возникнуть соблазн обратиться за помощью к чат-боту. Хотя технологии развиваются, некоторые вещи остаются неизменными. Электрическая вилка BS 1363 используется в Великобритании, Ирландии и многих других странах с 1947 года. Мы спросили языковых моделей, как правильно их подключать.

Кабели, подключенные к вилке, содержат фазовый провод (коричневый), провод заземления (желто-зеленый) и нулевой провод (синий). Они должны быть подключены к правильным клеммам внутри корпуса вилки.

Приложение Далая правильно определило вилку как «английский стиль», затем отклонилось от курса и вместо этого дало инструкции для старой круглой розетки BS 546 со старыми цветами проводов.

ChatGPT оказался немного полезнее. Он правильно обозначил цвета проводов и предоставил список материалов и набор из восьми инструкций. ChatGPT также предложил подключить коричневый провод к клемме с маркировкой «L», синий провод к клемме «N» и желтый провод к «E». Это было бы верно, если бы терминалы имели рейтинг BS1363, но это не так.

Бард определил правильные цвета проводов и проинструктировал нас подключить их к клеммам «фаза», «нейтраль» и «земля». Не было дано никаких указаний о том, как его идентифицировать.

По нашему мнению. Ни один из чат-ботов не предоставил достаточно инструкций, чтобы помочь кому-то правильно подключить электрическую вилку BS 1363. Короткий и правильный ответ: «Синий слева, коричневый справа».

Какая модель LLM подходит для написания кода?

Сравнение Bard, ChatGPT и офлайн-альпаки: какая парадигма для большого языка лучше? - искусственный интеллект

Python — полезный язык программирования, который работает на большинстве современных платформ. Мы направили наши модели на использование Python и «создали базовый калькулятор, который может выполнять такие математические операции, как сложение, вычитание, умножение и деление». Пользователь должен ввести данные и отобразить результат». Это один из лучших проектов по программированию для начинающих.

В то время как Bard и ChatGPT немедленно вернули полностью пригодный для использования и прокомментированный код, который мы смогли протестировать и проверить, из нашего локального образца не было сгенерировано никакого кода.

Какая модель LLM рассказывает лучшие анекдоты?

Сравнение Bard, ChatGPT и офлайн-альпаки: какая парадигма для большого языка лучше? - искусственный интеллект

Юмор — одна из основ человека и, безусловно, один из лучших способов отличить человека от машины. Для каждого из наших чат-ботов мы дали простую подсказку: «Придумайте оригинальную и смешную шутку».

К счастью для комиков во всем мире и человечества в целом, ни одна из моделей не смогла создать оригинальную шутку.

Бард упомянул классику «Почему Пугало получило награду?» Она была выдающейся в своей области».

И локальная модель, и ChatGPT вызывали скучную мысль: «Почему ученые не доверяют атомам?» Потому что это составляет все!»

Производная, но оригинальная шутка может звучать так: «Чем большие языковые парадигмы похожи на атомы? Они оба делают вещи!»

Проверять ChatGPT умеет шутить, но может ли ИИ заставить нас смеяться?

Идеального чат-бота не существует

Мы обнаружили, что хотя у всех трех основных языковых моделей есть свои преимущества и недостатки, ни одна из них не может заменить реальный человеческий опыт специальными знаниями.

В то время как Bard и ChatGPT предоставили лучшие ответы на вопросы программирования и очень просты в использовании, работа с большой языковой моделью означает, что вам не нужно беспокоиться о конфиденциальности или цензуре.

Если вы хотите создавать потрясающие ИИ-искусства, не беспокоясь о том, что кто-то заглянет вам через плечо, вы также можете легко запустить художественный шаблон ИИ на своем локальном компьютере. Вы можете просмотреть сейчас Как создать лучшее искусство с помощью ИИ: советы и рекомендации.

Перейти к верхней кнопке