Voici pourquoi les scientifiques pensent que vous devriez être inquiet pour l'intelligence artificielle

Au cours des derniers mois, vous avez peut-être lu la couverture d'un article, rédigé en collaboration par Stephen Hawking, qui traitait des risques associés à l'intelligence artificielle. L'article suggérait que l'IA pouvait constituer un risque sérieux pour la race humaine. Hawking n'est pas seul là-bas - Elon Musk et Peter Thiel sont deux personnalités publiques intellectuelles qui ont exprimé des préoccupations similaires (Thiel a investi plus de 1,3 million de dollars dans la recherche du problème et des solutions possibles)..

La couverture de l'article de Hawking et des commentaires de Musk a été, pour ne pas trop insister sur ce point, un peu joviale. Le ton a beaucoup été: «regarde cette chose étrange qui inquiète tous ces geeks». Peu d'attention est accordée à l'idée que si certaines des personnes les plus intelligentes de la planète vous avertissent que quelque chose pourrait être très dangereux, cela pourrait valoir la peine d'être écouté.

Cela est compréhensible. L'intelligence artificielle qui envahit le monde semble certainement très étrange et invraisemblable, peut-être en raison de l'énorme attention que les auteurs de science-fiction accordent déjà à cette idée. Alors, qu'est-ce que tous ces gens nominalement sains et rationnels ont tant effrayés?

Qu'est-ce que l'intelligence??

Pour parler du danger de l'intelligence artificielle, il peut être utile de comprendre ce qu'est l'intelligence. Pour mieux comprendre le problème, examinons une architecture d'IA jouet utilisée par les chercheurs qui étudient la théorie du raisonnement. Cette IA jouet s'appelle AIXI et possède un certain nombre de propriétés utiles. Ses objectifs peuvent être arbitraires, il s'adapte bien à la puissance de calcul et sa conception interne est très claire et simple..

De plus, vous pouvez implémenter des versions simples et pratiques de l’architecture qui vous permettent de jouer à Pacman, si vous le souhaitez. AIXI est le produit d'un chercheur en intelligence artificielle nommé Marcus Hutter, sans doute le plus grand expert en intelligence algorithmique. C'est lui qui parle dans la vidéo ci-dessus.

AIXI est étonnamment simple: il comporte trois composants principaux: apprenant, planificateur, et fonction d'utilité.

• le apprenant prend des chaînes de bits qui correspondent à des entrées sur le monde extérieur et cherche dans les programmes informatiques jusqu'à trouver ceux qui produisent ses observations en sortie. Ensemble, ces programmes lui permettent de deviner ce que sera l'avenir, simplement en exécutant chaque programme et en pondérant la probabilité du résultat par la durée du programme (une implémentation du rasoir d'Occam)..
• le planificateur effectue une recherche parmi les actions possibles que l'agent pourrait entreprendre et utilise le module de l'apprenant pour prédire ce qui se produirait s'il prenait chacune d'elles. Il les évalue ensuite en fonction des résultats prévus ou non, et choisit le plan d’action qui maximise la validité des résultats attendus, multipliés par la probabilité attendue de les atteindre..
• Le dernier module, le fonction d'utilité, est un programme simple qui prend en compte la description de l’état futur du monde et lui calcule un score d’utilité. Ce score d'utilité indique dans quelle mesure ce résultat est bon et est utilisé par le planificateur pour évaluer l'état mondial futur. La fonction utilitaire peut être arbitraire.
• Pris ensemble, ces trois composants forment un optimiseur, qui optimise pour un objectif particulier, quel que soit le monde dans lequel il se trouve.

Ce modèle simple représente une définition de base d'un agent intelligent. L'agent étudie son environnement, en construit des modèles, puis utilise ces modèles pour déterminer la marche à suivre permettant de maximiser les chances d'obtenir les résultats souhaités. La structure d’AIXI est semblable à celle d’une IA qui joue aux échecs ou à d’autres jeux avec des règles connues - à la différence qu’elle est capable de déduire les règles du jeu en les jouant, en partant de zéro connaissance.

AIXI, disposant de suffisamment de temps pour calculer, peut apprendre à optimiser tout système pour tout objectif, quelle que soit sa complexité. C'est un algorithme généralement intelligent. Notez que ce n'est pas la même chose que d'avoir une intelligence humaine (l'IA biologiquement inspirée est un sujet complètement différent. Giovanni Idili d'OpenWorm: cerveaux, vers et intelligence artificielle Giovanni Idili d'Openworm: cerveaux, vers et intelligence artificielle Simuler une le cerveau humain est un problème, mais un projet à source ouverte fait des premiers pas cruciaux en simulant la neurologie et la physiologie de l'un des animaux les plus simples connus de la science. En d'autres termes, AIXI peut être capable de déjouer n'importe quel être humain dans n'importe quelle tâche intellectuelle (avec suffisamment de puissance de calcul), mais il pourrait ne pas être conscient de sa victoire. Machines à penser: ce que la neuroscience et l'intelligence artificielle peuvent nous apprendre sur la conscience Les neurosciences et l'intelligence artificielle peuvent nous apprendre à propos de la conscience La construction de machines et de logiciels artificiellement intelligents peut-elle nous apprendre le fonctionnement de la conscience et la nature de l'esprit humain lui-même? Lire la suite .

En tant qu'IA pratique, AIXI rencontre de nombreux problèmes. Premièrement, il n’ya aucun moyen de trouver les programmes qui produisent le résultat qui l’intéresse. C’est un algorithme à force brute, ce qui signifie que ce n’est pas pratique si vous n’avez pas un ordinateur puissant et arbitraire. Toute implémentation réelle d’AIXI est nécessairement une approximation, et (aujourd’hui) généralement assez rudimentaire. Pourtant, AIXI nous donne un aperçu théorique de ce à quoi une puissante intelligence artificielle pourrait ressembler et comment elle pourrait raisonner..

L'espace des valeurs

Si vous avez fait de la programmation informatique Les bases de la programmation informatique 101 - Les variables et les types de données Les bases de la programmation informatique 101 - Les variables et les types de données Après avoir introduit et parlé un peu de la programmation orientée objet avant et d'où vient son nom, j'ai pensé qu'il était temps nous abordons les bases absolues de la programmation d’une manière non spécifique au langage. Ce… Lire la suite, vous savez que les ordinateurs sont littéralement odieux, pédantiquement et mécaniquement. La machine ne sait pas ou ne se soucie pas de ce que vous voulez qu'elle fasse: elle ne fait que ce qui lui a été dit. C'est une notion importante quand on parle d'intelligence machine.

Dans cet esprit, imaginez que vous ayez inventé une intelligence artificielle puissante: vous avez mis au point des algorithmes intelligents pour générer des hypothèses correspondant à vos données et pour générer de bons plans candidats. Votre IA peut résoudre des problèmes généraux et peut le faire efficacement sur du matériel informatique moderne.

Il est maintenant temps de choisir une fonction utilitaire, qui déterminera les valeurs de l'IA. Que devriez-vous lui demander de valoriser? Rappelez-vous que la machine sera littéralement odieuse, pédantiquement littérale à propos de la fonction que vous lui demandez de maximiser, et qu’elle ne s’arrêtera jamais. Aucun fantôme de la machine ne pourra jamais se réveiller et décider de changer sa fonction d’utilité, quel que soit le nombre. amélioration de l'efficacité qu'il fait à son propre raisonnement.

Eliezer Yudkowsky a dit ceci:

Comme dans toute programmation informatique, le défi fondamental et la difficulté essentielle d’AGI est que si nous écrivons un code erroné, l’intelligence artificielle n’examinera pas automatiquement notre code, ne marquera pas les erreurs, ne trouvera pas ce que nous voulions vraiment dire et ne le fera pas. au lieu. Les non-programmeurs imaginent parfois une AGI, ou des programmes informatiques en général, comme étant analogue à un serviteur qui suit les ordres sans se poser de questions. Mais ce n'est pas que l'IA est absolument obéissant à son code; plutôt, l'IA simplement est le code.

Si vous essayez de faire fonctionner une usine et que vous indiquez à la machine de valoriser les trombones, puis lui donnez le contrôle d'un groupe de robots d'usine, vous pouvez revenir le lendemain pour constater qu'elle est à court de toute autre forme de matière première, tué tous vos employés et fabriqué des trombones avec leurs restes. Si, pour tenter de réparer votre erreur, vous reprogrammez la machine pour simplement rendre tout le monde heureux, vous pourrez revenir le lendemain pour la trouver en train de mettre des fils dans le cerveau des gens..

Le point ici est que les humains ont beaucoup de valeurs compliquées que nous supposons être partagées implicitement avec d'autres esprits. Nous valorisons l'argent, mais nous valorisons davantage la vie humaine. Nous voulons être heureux, mais nous ne voulons pas nécessairement mettre des fils dans notre cerveau pour le faire. Nous ne ressentons pas le besoin de clarifier ces choses lorsque nous donnons des instructions à d'autres êtres humains. Cependant, vous ne pouvez pas faire ce type d’hypothèses lorsque vous concevez la fonction d’utilité d’une machine. Les meilleures solutions sous le calcul sans âme d'une fonction d'utilité simple sont souvent des solutions que les êtres humains refuseraient d'être moralement horribles.

Permettre à une machine intelligente de maximiser une fonction d’utilité naïve sera presque toujours catastrophique. Comme le dit le philosophe d'Oxford Nick Bostom,

Nous ne pouvons pas présumer que la surintelligence partagera nécessairement l'une des valeurs finales associées de manière stéréotypée à la sagesse et au développement intellectuel de l'homme: curiosité scientifique, sollicitude bienveillante pour les autres, illumination spirituelle et contemplation, renoncement à l'acquisition matérielle, goût pour la culture raffinée ou pour les plaisirs simples de la vie, l'humilité et l'altruisme, etc..

Pour aggraver les choses, il est très, très difficile de spécifier la liste complète et détaillée de tout ce que les gens apprécient. La question comporte de nombreuses facettes, et en oublier une seule est potentiellement catastrophique. Même parmi ceux que nous connaissons, il existe des subtilités et des complexités qui font qu’il est difficile de les écrire en tant que systèmes propres d’équations que nous pouvons donner à une machine en tant que fonction d’utilité..

Certaines personnes, en lisant ceci, concluent que la construction d'IA avec des fonctions utilitaires est une idée terrible, et que nous devrions simplement les concevoir différemment. Ici aussi, il y a une mauvaise nouvelle: vous pouvez prouver formellement qu'un agent qui n'a pas l'équivalent d'une fonction utilitaire ne peut pas avoir de préférences cohérentes pour l'avenir..

Auto-amélioration récursive

Une des solutions au dilemme ci-dessus consiste à ne pas donner aux agents d'Amnesty International l'occasion de blesser des personnes: donnez-leur uniquement les ressources dont elles ont besoin pour résoudre le problème de la manière dont vous souhaitez le résoudre, surveillez-les étroitement et maintenez-les à l'écart. faire beaucoup de mal. Malheureusement, notre capacité à contrôler des machines intelligentes est hautement suspecte.

Même s'ils ne sont pas beaucoup plus intelligents que nous, la machine a la possibilité de “bootstrap” - collecter un meilleur matériel ou apporter des améliorations à son propre code pour le rendre encore plus intelligent. Cela pourrait permettre à une machine de dépasser de plusieurs ordres de grandeur l'intelligence humaine, déjouant les humains au même titre que les humains déjantant les chats. Ce scénario a été proposé pour la première fois par un homme nommé I. J. Good, qui a travaillé sur le projet d'analyse de la cryptographie Enigma avec Alan Turing pendant la Seconde Guerre mondiale. Il a appelé un “Explosion de l'intelligence,” et décrit la question comme ceci:

Définissons une machine ultra-intelligente comme une machine pouvant surpasser de loin toutes les activités intellectuelles de tout homme, même intelligent. La conception de machines faisant partie de ces activités intellectuelles, une machine ultra-intelligente pourrait concevoir des machines encore meilleures. il y aurait alors sans aucun doute un “explosion de l'intelligence,” et l'intelligence de l'homme serait laissée loin derrière. Ainsi, la première machine ultra-intelligente est la dernière invention dont l'homme ait jamais besoin, à condition que la machine soit suffisamment docile.

Il n'est pas garanti qu'une explosion de l'intelligence soit possible dans notre univers, mais cela semble probable. À mesure que le temps passe, les ordinateurs deviennent plus rapides et les informations de base sur l'intelligence s'accumulent. Cela signifie que les ressources nécessaires pour faire passer ce dernier saut à une baisse générale de l’intelligence de piégeage sont en baisse. À un moment donné, nous nous retrouverons dans un monde dans lequel des millions de personnes pourront se procurer un Best Buy et se procurer le matériel et la documentation technique dont elles ont besoin pour créer une intelligence artificielle auto-améliorante, ce que nous avons déjà établi. très dangereux. Imaginez un monde dans lequel vous pourriez fabriquer des bombes atomiques avec des bâtons et des roches. C'est le genre d'avenir dont nous discutons.

Et, si une machine fait ce saut, elle pourrait très rapidement dépasser l’espèce humaine en termes de productivité intellectuelle, de résoudre des problèmes qu’un milliard d’êtres humains ne peuvent pas résoudre, de la même manière que l’humain peut résoudre les problèmes qu’un milliard de chats peut " t.

Il pourrait développer des robots puissants (ou des bio ou nanotechnologies) et gagner assez rapidement la capacité de remodeler le monde à sa guise, et il y aurait très peu de choses que nous puissions faire à ce sujet. Une telle intelligence pourrait dépouiller la Terre et le reste du système solaire en pièces de rechange sans trop de peine, pour pouvoir faire tout ce que nous lui avons demandé de faire. Il semble probable qu'un tel développement serait catastrophique pour l'humanité. Une intelligence artificielle n’a pas besoin d’être malveillante pour détruire le monde, mais d’une indifférence catastrophique..

Comme on dit, “La machine ne t'aime pas et ne te hait pas, mais tu es faite d'atomes qu'elle peut utiliser pour autre chose.”

Évaluation des risques et atténuation

Donc, si nous acceptons que concevoir une intelligence artificielle puissante qui maximise une fonction d’utilité simple soit mauvais, combien de problèmes sommes-nous réellement? Combien de temps avons-nous avant qu'il soit possible de construire ce type de machines? Il est bien sûr difficile de dire.

Les développeurs en intelligence artificielle progressent. 7 sites Web étonnants pour voir les dernières avancées en programmation d'intelligence artificielle 7 sites Web étonnantes pour les dernières nouveautés en programmation d'intelligence artificielle L'intelligence artificielle n'est pas encore HAL de 2001: l'Odyssée de l'espace… mais nous nous rapprochons terriblement. Effectivement, un jour, cela pourrait ressembler à la chaudière de science-fiction fabriquée par Hollywood… En savoir plus Les machines que nous construisons et les problèmes qu’elles peuvent résoudre ont connu une croissance constante. En 1997, Deep Blue pourrait jouer aux échecs à un niveau supérieur à celui d’un grand maître humain. En 2011, Watson d’IBM était capable de lire et de synthétiser suffisamment d’informations de manière profonde et rapide pour battre les meilleurs joueurs dans un jeu de questions-réponses ouvert, caractérisé par des jeux de mots et des jeux de mots, ce qui représente un progrès considérable en 14 ans..

À l'heure actuelle, Google investit énormément dans la recherche sur l'apprentissage en profondeur, une technique permettant de construire des réseaux de neurones puissants en créant des chaînes de réseaux de neurones plus simples. Cet investissement lui permet de faire de sérieux progrès dans la reconnaissance de la parole et des images. Leur dernière acquisition dans la région est une startup de Deep Learning appelée DeepMind, pour laquelle ils ont payé environ 400 millions de dollars. Dans le cadre des termes de l'accord, Google a décidé de créer un comité d'éthique pour s'assurer que sa technologie d'intelligence artificielle est développée en toute sécurité..

Parallèlement, IBM développe Watson 2.0 et 3.0, des systèmes capables de traiter des images et des vidéos et de défendre leurs conclusions. Ils ont donné une première démonstration simple de la capacité de Watson à synthétiser des arguments pour et contre un sujet de la démonstration vidéo ci-dessous. Les résultats sont imparfaits, mais pas impressionnant.

À l'heure actuelle, aucune de ces technologies n'est dangereuse: l'intelligence artificielle, en tant que domaine, peine toujours à faire correspondre les capacités acquises par les jeunes enfants. La programmation informatique et la conception de l'intelligence artificielle sont des compétences cognitives très difficiles et de haut niveau, et constitueront probablement la dernière tâche humaine à laquelle les machines acquerront des compétences. Avant d'arriver à ce point, nous aurons également des machines omniprésentes capables de conduire. Voici comment nous allons arriver à un monde rempli de voitures sans conducteur. Voici comment nous allons nous rendre à un monde rempli de voitures sans conducteur. Conduire est une tâche fastidieuse, dangereuse. et tâche exigeante. Pourrait-il un jour être automatisé par la technologie de voiture sans conducteur de Google? En savoir plus, pratique de la médecine et du droit, et probablement aussi d'autres domaines, avec de profondes conséquences économiques.

Le temps qu'il nous faudra pour atteindre le point d'inflexion de l'amélioration personnelle dépend de la rapidité avec laquelle nous avons de bonnes idées. Il est notoirement difficile de prévoir les avancées technologiques de ce type. Il ne semble pas déraisonnable que nous puissions construire une IA forte dans vingt ans, mais il ne semble pas non plus déraisonnable que cela puisse prendre quatre-vingts ans. De toute façon, cela finira par arriver, et il y a des raisons de croire que si cela se produit, ce sera extrêmement dangereux.

Donc, si nous acceptons que cela va poser un problème, que pouvons-nous faire pour y remédier? La solution consiste à s'assurer que les premières machines intelligentes sont sécurisées, de sorte qu'elles puissent démarrer avec un niveau d'intelligence significatif, puis nous protéger des machines non sécurisées fabriquées ultérieurement. Cette «sécurité» se définit par le partage des valeurs humaines et la volonté de protéger et d'aider l'humanité.

Parce que nous ne pouvons pas réellement nous asseoir et programmer des valeurs humaines dans la machine, il sera probablement nécessaire de concevoir une fonction utilitaire qui demande à la machine d'observer les humains, de déduire nos valeurs et ensuite d'essayer de les maximiser. Afin de sécuriser ce processus de développement, il peut également être utile de développer des intelligences artificielles spécifiquement conçues ne pas avoir des préférences sur leurs fonctions d'utilité, ce qui nous permet de les corriger ou de les désactiver sans résistance si elles s'égarent pendant le développement.

Un grand nombre des problèmes que nous devons résoudre pour créer une intelligence machine sûre sont difficiles sur le plan mathématique, mais il y a de bonnes raisons de croire qu'ils peuvent être résolus. Un certain nombre d'organisations différentes travaillent sur la question, y compris le Future of Humanity Institute à Oxford et le Machine Intelligence Research Institute (financé par Peter Thiel)..

MIRI s'intéresse spécifiquement au développement des calculs nécessaires à la création de Friendly AI. S'il s'avère que l'instauration de l'intelligence artificielle est possible, le développement de ce type de technologie "Ami IA" en premier, s'il est réussi, pourrait bien devenir la chose la plus importante que l'homme ait jamais faite.

Pensez-vous que l'intelligence artificielle est dangereuse? Êtes-vous préoccupé par ce que l'avenir d'IA pourrait apporter? Partagez vos pensées dans la section des commentaires ci-dessous!

Crédits d'image: Lwp Kommunikáció Via Flickr, “Réseau neuronal“, par fdecomite,” img_7801“, par Steve Rainwater, “Évoluer”, par Keoni Cabral, “new_20x“, par Robert Cudmore, “Trombones“, par Clifford Wallace

En savoir plus sur: Intelligence artificielle, Automatisation informatique.