Si vous souhaitez former votre modèle d'IA au traitement du langage naturel (TAL) ou à la vision par ordinateur, vous devriez en savoir plus sur l'apprentissage par transfert et sur l'utilisation de modèles pré-formés.
Sans apprentissage par transfert, la formation d'un modèle efficace et fiable est souvent une entreprise gourmande en ressources, nécessitant beaucoup d'argent, de temps et d'expertise, car on estime qu'un développeur ChatGPT a dépensé des millions pour former GPT-3, GPT-3.5, et GPT-4. Avec la puissance du transfert d'apprentissage, vous pouvez former votre modèle avec la puissance du nouveau modèle GPT avec peu de ressources sur une courte période. Vérifier Façons d'utiliser ChatGPT comme analyseur de données.
Qu'est-ce que l'apprentissage par transfert en IA ?
L'apprentissage par transfert est l'idée de prendre un modèle pré-formé tel que BERT ou l'un des différents modèles GPT et de le former sur un ensemble de données personnalisé pour travailler sur des tâches qu'il n'a pas nécessairement été formé pour gérer.
Par exemple, vous pouvez prendre un modèle pré-entraîné pour classer différents types de chats et l'entraîner à classer les chiens. Grâce à l'apprentissage par transfert, la formation du modèle de classification des chiens devrait prendre beaucoup moins de temps et de ressources pour devenir aussi fiable que le modèle de classification des chats d'origine.
Cela fonctionne parce que les chats et les chiens partagent de nombreux traits que le modèle pré-entraîné peut déjà identifier. Étant donné que le modèle de classification des chats peut identifier différents traits des chats, comme avoir quatre pattes, des manteaux de fourrure et un nez proéminent, le modèle de classification des chiens peut ignorer toute cette formation pour identifier les traits hérités du modèle d'origine. Après avoir hérité de tout cela les réseaux de neurones , vous supprimez ensuite les dernières couches du modèle formé utilisé pour identifier les traits les plus spécifiques du chat et les remplacez par un ensemble de données spécifique au chien.
Quels modèles d'IA pouvez-vous utiliser pour transférer l'apprentissage ?
Pour utiliser l'apprentissage par transfert, vous aurez besoin d'un modèle pré-formé. Un modèle pré-formé est connu comme un modèle d'IA qui est formé dans le but d'acquérir des connaissances générales sur un sujet ou une idée particulière. Ces types de modèles pré-formés sont spécialement conçus pour que les gens puissent affiner et créer plus de modèles pour différentes utilisations. Certains des modèles pré-formés les plus populaires sont pour le NLP, comme BERT et GPT, et la vision par ordinateur, comme VGG19 et Inceptionv3.
Bien que courants, ces modèles facilement ajustables ne sont pas les seuls que vous pouvez utiliser pour transférer l'apprentissage. Vous pouvez également utiliser des modèles entraînés pour des tâches plus spécifiques que la reconnaissance d'objets ou le langage en général. Tant que le modèle a développé des réseaux de neurones applicables au modèle que vous essayez de former, vous pouvez utiliser n'importe quel modèle pour transférer l'apprentissage.
Vous pouvez obtenir des modèles pré-formés accessibles au public à partir d'endroits tels que TensorFlow Hub, Hugging Face et OpenAI Model Marketplace. Vérifier Comment créer un modèle d'apprentissage automatique à l'aide de Microsoft Lobe.
Avantages de l'utilisation de l'apprentissage par transfert dans l'intelligence artificielle
L'apprentissage par transfert offre plusieurs avantages par rapport à la formation d'un modèle d'IA à partir de zéro.
- Réduire le temps de formation: Lors de la formation d'un modèle à partir de zéro, une grande partie du processus de formation est consacrée aux connaissances générales de base. Grâce à l'apprentissage par transfert, votre modèle hérite automatiquement de toutes ces connaissances de base, réduisant ainsi considérablement le temps d'apprentissage.
- Moins de besoins en ressources: Étant donné que toutes les connaissances de base sont déjà en place, tout ce que vous avez à faire est de continuer à former le modèle sur les détails de votre application. Souvent, cela ne nécessite qu'un ensemble de données relativement petit qui peut être traité avec moins de puissance de calcul.
- Performance améliorée : À moins que vous ne dépensiez des millions de dollars pour construire votre modèle à partir de zéro, vous ne pouvez pas vous attendre à un modèle aussi bon ou aussi fiable qu'un modèle de grande langue (LLM) d'une entreprise technologique géante. Avec l'apprentissage par transfert, vous pouvez tirer parti des puissantes capacités de ces LLM pré-formés, tels que GPT, pour améliorer les performances de votre modèle.
Il est possible de former un modèle d'IA à partir de zéro, mais vous avez besoin de plus de ressources pour le faire.
Comment fonctionne le transfert d'apprentissage?
Fondamentalement, il y a trois étapes lorsqu'il s'agit d'apprentissage par transfert.
- Choisissez un modèle pré-entraîné: Le modèle pré-formé subit une formation initiale à l'aide d'un grand ensemble de données provenant d'une source importante, telle qu'ImageNet, ou d'un grand ensemble de scripts. Cette phase de formation initiale permet au modèle d'acquérir des connaissances sur les caractéristiques générales et les modèles trouvés dans l'ensemble de données. La quantité de temps et de ressources que vous économisez grâce au transfert d'apprentissage dépend des similitudes entre le modèle pré-formé et le modèle que vous essayez de créer.
- extraction de caractéristiques : une fois qu'un modèle pré-formé a été choisi pour être réglé, les couches initiales du modèle pré-formé (les plus proches de l'entrée) sont laissées ; Cela signifie que ses poids restent constants pendant le réglage fin. Le gel de ces couches conserve les connaissances générales acquises lors de la pré-formation et évite qu'elles ne soient trop affectées par l'ensemble de données des tâches du modèle cible. Pour les modèles entièrement entraînés pour des applications spécifiques, les couches finales des modèles sont supprimées ou ne sont pas apprises jusqu'à ce que le modèle cible soit entraîné dans d'autres applications spécifiques.
- Réglage fin : Une fois le modèle pré-entraîné gelé et les couches supérieures supprimées, un nouvel ensemble de données est envoyé à l'algorithme d'apprentissage, qui est ensuite utilisé pour entraîner le nouveau modèle et ses propriétés d'application.
Il y a plus que les trois étapes, mais ce diagramme montre en détail comment fonctionne le processus de transfert d'IA, avec quelques ajustements.
Limites de l'apprentissage par transfert en intelligence artificielle
Bien que l'apprentissage par transfert soit un concept précieux dans la formation de modèles efficaces et fiables, il existe quelques limitations dont vous devez être conscient lorsque vous utilisez l'apprentissage par transfert pour former un modèle.
- Inadéquation des tâchesLors du choix d'un modèle de base pour le transfert d'apprentissage, il doit être aussi pertinent que possible par rapport aux problèmes que le nouveau modèle résoudra. L'utilisation d'un modèle qui classe les chats pour créer un modèle de classification des chiens est susceptible de donner de meilleurs résultats que l'utilisation d'un modèle qui classe les chats pour créer un modèle pour les plantes. Plus le modèle de base est approprié pour le modèle que vous essayez de construire, plus vous économiserez de temps et de ressources pendant le processus de transfert d'apprentissage.
- biais d'ensemble de données: Bien que les modèles pré-entraînés soient souvent entraînés sur de grands ensembles de données, il est toujours possible qu'ils aient développé un certain biais lors de leur entraînement. L'utilisation d'un modèle de base fortement biaisé peut également faire en sorte que le modèle hérite de ses biais, ce qui réduit la précision et la fiabilité de votre modèle. Malheureusement, il est difficile d'identifier l'origine de ces biais en raison de la nature de la boîte noire de l'apprentissage en profondeur.
- équipement supplémentaire: L'un des principaux avantages de l'apprentissage par transfert est que vous pouvez utiliser un ensemble de données relativement petit pour entraîner davantage le modèle. Cependant, la formation du modèle sur un très petit ensemble de données peut entraîner un surajustement, ce qui réduit considérablement la fiabilité du modèle lorsqu'il est alimenté avec de nouvelles données.
Ainsi, bien que l'apprentissage par transfert soit une technique d'apprentissage utile pour l'IA, il y a des limites et ce n'est pas une solution miracle. Vérifier Les raisons pour lesquelles les problèmes de sécurité de l'IA générative s'aggravent.
Devriez-vous utiliser l'apprentissage par transfert ?
Depuis la disponibilité de modèles pré-formés, l'apprentissage transformationnel a longtemps été utilisé pour créer des modèles plus spécialisés. Il n'y a aucune raison réelle de ne pas utiliser l'apprentissage par transfert s'il existe déjà un modèle pré-formé pertinent pour les problèmes que votre modèle résoudra.
Bien qu'il soit possible de former un modèle d'apprentissage automatique simple à partir de zéro, le faire sur un modèle d'apprentissage en profondeur nécessitera beaucoup de données, de temps et de compétences, ce qui n'aura aucun sens si vous pouvez réutiliser un modèle existant similaire à celui-ci. vous envisagez de vous entraîner. Par conséquent, si vous souhaitez consacrer moins de temps et d'argent à la formation d'un modèle, essayez de former votre modèle via l'apprentissage par transfert. Vous pouvez voir maintenant Annuaires en ligne d'outils d'IA pour découvrir ou rechercher la meilleure application d'IA.
