L'intelligence artificielle est un sujet de discussion brûlant depuis sa création. Alors que les craintes d'une intelligence artificielle de type Skynet prenant le contrôle de l'univers et anéantissant l'humanité sont pour le moins irrationnelles, certaines expériences ont produit des résultats inquiétants.
L'une de ces expériences est le problème maximal du trombone, une expérience de pensée qui montre qu'une IA hautement intelligente, même si elle est entièrement conçue sans malveillance, peut éventuellement détruire l'humanité. Vérifier OpenAI a-t-il vraiment perdu le contrôle du chatbot ChatGPT ?
Explication du problème de l'augmentation des trombones
Cette expérience de pensée selon laquelle même une intelligence artificielle totalement inoffensive peut éventuellement affecter négativement la vie de l'humanité a d'abord été appelée "l'augmentation des trombones". C'est juste que Paper Clips a été choisi pour montrer ce que l'IA peut faire parce qu'il a peu de danger évident et ne causera pas de détresse émotionnelle par rapport à d'autres domaines applicables tels que guérir le cancer ou gagner des guerres.
La première expérience est apparue dans l'article de 2003 du philosophe suédois Nick Bostrom, Problèmes éthiques dans l'intelligence artificielle avancée , qui comprenait une "loupe à trombone" pour montrer les enjeux existentiels qu'une IA suffisamment avancée pourrait manier.
Le problème présentait une intelligence artificielle chargée dans le seul but de fabriquer autant de trombones que possible, qui pourrait décider de transformer toute la matière de l'univers en trombones, y compris les humains. Une IA suffisamment intelligente se rendra compte tôt ou tard que les humains défient son objectif dans trois domaines différents.
- Les humains peuvent désactiver l'IA.
- Les gens peuvent changer leurs objectifs.
- Les humains sont faits d'atomes qui peuvent être transformés en trombones.
Dans les trois exemples, il y aura moins de trombones dans l'univers. Par conséquent, une IA suffisamment intelligente dont le seul but est de fabriquer le plus de trombones possible profitera de tous les matériaux et énergies disponibles et s'empêchera de se bloquer ou de changer. Comme vous pouvez l'imaginer, c'est beaucoup plus dangereux que les criminels utilisant ChatGPT pour pirater votre compte bancaire ou votre ordinateur.
L'intelligence artificielle n'est pas hostile à l'homme. Il est juste indifférent et ne valorise pas la vie humaine. Ainsi, une IA qui ne se soucie que d'augmenter le nombre de trombones éliminera l'humanité et la transformera essentiellement en trombones pour atteindre son objectif.
Un exemple de convergence instrumentale est «l'augmentation des trombones», un terme qui indique qu'une IA peut poursuivre un objectif inoffensif de manière nuisible (du point de vue humain). Exploiter une véritable IA pour effectuer des tâches simples et apparemment innocentes pourrait constituer une menace existentielle pour les humains si nous ne savons pas en toute sécurité comment faire en sorte qu'une machine valorise la vie humaine. Vérifier Erreurs à éviter lors de l'utilisation d'outils d'IA générative.
Comment le problème du trombone s'applique-t-il à l'intelligence artificielle ?
La recherche et l'expérience avec le problème de "l'augmentation des trombones" indiquent toutes un optimiseur par défaut très puissant ou un agent très intelligent comme acteur ici. Cependant, le problème s'applique à l'IA dans la mesure où elle correspond exactement au rôle.
L'idée de «l'augmentation des trombones» a été créée pour montrer certains des dangers de l'IA avancée, après tout. En général, il présente deux problèmes.
- Thèse d'orthogonalitéLa thèse de l'orthogonalité est l'idée que l'intelligence et la motivation ne dépendent pas l'une de l'autre. Cela signifie qu'il est possible qu'une IA dotée d'un haut niveau d'intelligence générale ne parvienne pas aux mêmes conclusions morales que les humains.
- Convergence automatiséeLa convergence instrumentale est définie comme la tendance de la plupart des organismes suffisamment intelligents (à la fois humains et non humains) à poursuivre des sous-objectifs similaires même si leur objectif ultime est très différent. Dans le cas du problème de surabondance de trombones, cela signifierait que l'IA finirait par s'emparer de toutes les ressources naturelles et anéantir l'humanité juste pour atteindre son objectif de créer de plus en plus de trombones.
Le plus gros problème mis en évidence par l'exemple de "l'augmentation des trombones" est la convergence effective. Il peut également être mis en évidence à l'aide de l'hypothèse de Riemann, auquel cas une IA conçue pour résoudre l'hypothèse pourrait très bien décider de prendre toute la masse de la terre et de la transformer en ordinateur (le processeur informatique le plus efficace) pour construire des superordinateurs à résoudre le problème et atteindre son but.
Bostrom lui-même a soutenu qu'il ne pense pas que le problème des trombones sera jamais un vrai problème, mais que son intention était d'illustrer les dangers de créer des machines super intelligentes sans savoir comment les contrôler ou les programmer afin qu'elles ne posent pas un problème existentiel. menace pour les humains. . Les systèmes d'IA modernes tels que ChatGPT ont également des problèmes, mais ils sont loin des systèmes d'IA super-intelligents dont il est question dans l'exemple du trombone, il n'y a donc aucune raison de paniquer pour le moment. Vérifier ChatGPT a-t-il des problèmes de confidentialité ?
Les systèmes d'IA avancés nécessitent un contrôle supérieur
Le problème de l'augmentation des trombones conduit toujours à la même conclusion et met en évidence les problèmes de fonctionnement d'un système hautement intelligent et puissant qui manque de valeurs humaines.
Bien que l'utilisation de trombones puisse être le moyen le plus courant d'illustrer un problème, cela s'applique à n'importe quel nombre de tâches que vous pourriez confier à une IA, qu'il s'agisse d'éradiquer le cancer, de gagner des guerres, de planter plus d'arbres ou de toute autre tâche. . . Vous pouvez voir maintenant L'utilisation de l'intelligence artificielle dans la cybersécurité rend-elle le monde plus sûr ?
