Что такое трансферное обучение в ИИ и как оно работает?

Если вы заинтересованы в обучении своей модели ИИ обработке естественного языка (NLP) или компьютерному зрению, вам следует узнать о трансферном обучении и о том, как использовать предварительно обученные модели.

Без трансферного обучения обучение эффективной и надежной модели часто является ресурсоемким мероприятием, требующим много денег, времени и опыта, поскольку, по оценкам, разработчик ChatGPT потратил миллионы на обучение GPT-3, GPT-3.5, и GPT-4. Благодаря возможности передачи обучения вы можете обучить свою модель с помощью новой модели GPT с небольшими ресурсами за короткий период. Проверять Способы использования ChatGPT в качестве анализатора данных.

Что такое трансферное обучение в ИИ?

Трансферное обучение — это идея взять предварительно обученную модель, такую ​​как BERT или одну из различных моделей GPT, и обучить ее на пользовательском наборе данных для работы с задачами, для решения которых она не обязательно была обучена.

Например, вы можете взять модель, предварительно обученную классифицировать разные типы кошек, и обучить ее классификации собак. Благодаря трансферному обучению обучение модели классификации собак должно занимать гораздо меньше времени и ресурсов, чтобы стать столь же надежной, как исходная модель классификации кошек.

Это работает, потому что кошки и собаки имеют много общих черт, которые предварительно обученная модель уже может идентифицировать. Поскольку модель классификации кошек может идентифицировать различные черты кошек, такие как наличие четырех ног, меховых шуб и выступающих носов, модель классификации собак может пропустить все это обучение, чтобы определить те черты, которые она унаследовала от исходной модели. После наследования всех этих нейронные сети , вы затем отбрасываете последние слои обученной модели, используемой для определения наиболее специфических черт кошки, и заменяете их набором данных, специфичным для собаки.

Какие модели ИИ вы можете использовать для передачи обучения?

Чтобы использовать трансферное обучение, вам понадобится предварительно обученная модель. Предварительно обученная модель известна как модель ИИ, которая обучается с целью получения общих знаний о конкретной теме или идее. Эти предварительно обученные модели специально разработаны для тонкой настройки и создания большего количества моделей для различных целей. Некоторые из наиболее популярных предварительно обученных моделей предназначены для НЛП, например BERT и GPT, и компьютерного зрения, например VGG19 и Inceptionv3.

Хотя эти легко настраиваемые модели широко распространены, они не единственные, которые можно использовать для переноса обучения. Вы также можете использовать модели, обученные для более конкретных задач, чем распознавание объектов или язык в целом. Пока модель имеет развитые нейронные сети, применимые к модели, которую вы пытаетесь обучить, вы можете использовать любую модель для переноса обучения.

Вы можете получить общедоступные предварительно обученные модели из таких мест, как TensorFlow Hub, Hugging Face и OpenAI Model Marketplace. Проверять Как создать модель машинного обучения с помощью Microsoft Lobe.

Преимущества использования трансферного обучения в искусственном интеллекте

Трансферное обучение предлагает несколько преимуществ по сравнению с обучением модели ИИ с нуля.

1. Сократить время обучения: при обучении модели с нуля большая часть процесса обучения тратится на общие базовые знания. Благодаря трансферному обучению ваша модель автоматически наследует все эти базовые знания, что значительно сокращает время обучения.
2. Меньше требований к ресурсам: Поскольку все базовые знания уже есть, все, что вам нужно сделать, это продолжать обучать модель деталям вашего приложения. Часто для этого требуется лишь относительно небольшой набор данных, который можно обработать с меньшей вычислительной мощностью.
3. Улучшенная производительность: Если вы не потратите миллионы долларов на создание своей модели с нуля, вы не можете ожидать от гигантской технологической компании такой же хорошей или надежной модели, как крупноязыковая модель (LLM). Благодаря трансферному обучению вы можете воспользоваться мощными возможностями этих предварительно обученных LLM, таких как GPT, для повышения производительности вашей модели.

Можно обучить модель ИИ с нуля, но для этого потребуется больше ресурсов.

Как работает перенос обучения?

По сути, есть три этапа, когда речь идет о трансферном обучении.

1. Выберите предварительно обученную модель: Предварительно обученная модель проходит начальное обучение с использованием большого набора данных из важного источника, такого как ImageNet, или большого набора сценариев. Этот начальный этап обучения позволяет модели получить знания об общих функциях и закономерностях, обнаруженных в наборе данных. Количество времени и ресурсов, которые вы сэкономите при переносе обучения, зависит от сходства между предварительно обученной моделью и моделью, которую вы пытаетесь построить.
2. извлечение признаков: после выбора предварительно обученной модели для настройки остаются начальные слои предварительно обученной модели (ближайшие к входным данным); Это означает, что его веса остаются постоянными во время тонкой настройки. Замораживание этих слоев сохраняет общие знания, полученные во время предварительного обучения, и предотвращает чрезмерное влияние на них набора данных задач целевой модели. Для моделей, которые полностью обучены для конкретных приложений, последние уровни моделей либо удаляются, либо не изучаются до тех пор, пока целевая модель не будет обучена для других конкретных приложений.
3. Тонкая настройка: после того, как предварительно обученная модель заморожена и верхние слои удалены, новый набор данных передается в алгоритм обучения, который затем используется для обучения новой модели и свойств ее приложения.

Это больше, чем три этапа, но на этой диаграмме в общих чертах показано, как работает процесс передачи ИИ, с некоторой тонкой настройкой.

Ограничения трансферного обучения в искусственном интеллекте

Хотя трансферное обучение является ценной концепцией обучения эффективных и надежных моделей, существует несколько ограничений, о которых необходимо помнить при использовании трансферного обучения для обучения модели.

1. Несоответствие задачПри выборе базовой модели переноса обучения она должна быть максимально релевантной задачам, которые будет решать новая модель. Использование модели, классифицирующей кошек, для создания модели классификации собак, скорее всего, даст лучшие результаты, чем использование модели, классифицирующей кошек, для создания модели растений. Чем больше базовая модель подходит для модели, которую вы пытаетесь построить, тем больше времени и ресурсов вы сэкономите в процессе переноса обучения.
2. смещение набора данных: хотя предварительно обученные модели часто обучаются на больших наборах данных, все же существует вероятность того, что они могли развить определенную предвзятость во время их обучения. Использование сильно смещенной базовой модели может также привести к тому, что модель унаследует свои смещения, что снизит точность и надежность вашей модели. К сожалению, трудно точно определить происхождение этих предубеждений из-за природы глубокого обучения как черного ящика.
3. дополнительное оборудование: одно из основных преимуществ трансферного обучения заключается в том, что вы можете использовать относительно небольшой набор данных для дальнейшего обучения модели. Однако обучение модели на очень небольшом наборе данных может привести к переобучению, что значительно снижает надежность модели при подаче новых данных.

Таким образом, хотя трансферное обучение является полезным методом обучения для ИИ, у него есть ограничения, и это не панацея. Проверять Причины, по которым проблемы безопасности для генеративного ИИ ухудшаются.

Стоит ли использовать трансферное обучение?

С момента появления предварительно обученных моделей трансформационное обучение уже давно используется для создания более специализированных моделей. Нет реальной причины не использовать трансферное обучение, если уже есть предварительно обученная модель, имеющая отношение к проблемам, которые будет решать ваша модель.

Хотя можно обучить простую модель машинного обучения с нуля, для модели глубокого обучения потребуется много данных, времени и навыков, что не имеет смысла, если вы можете перепрофилировать существующую модель, аналогичную той, вы планируете тренироваться. Поэтому, если вы хотите тратить меньше времени и денег на обучение модели, попробуйте обучить свою модель с помощью трансферного обучения. Вы можете просмотреть сейчас Онлайн-каталоги инструментов искусственного интеллекта для обнаружения или поиска лучшего приложения искусственного интеллекта.