Microsoft vs Google - Qui dirige la course à l'intelligence artificielle?

AI est de retour.

Pour la première fois depuis les années 1980, les chercheurs en intelligence artificielle réalisent des progrès tangibles sur des problèmes difficiles et les gens commencent à parler à nouveau sérieusement de l'IA forte. Dans le même temps, notre monde de plus en plus axé sur les données a lancé une course aux armements entre entreprises cherchant à monétiser la nouvelle intelligence, en particulier dans le domaine de la mobilité..

Les deux titans en tête du peloton sont Google et Microsoft. La première bataille? Un nouveau domaine en intelligence artificielle appelé “L'apprentissage en profondeur.”

Alors qui gagne?

Le cerveau de Google

Les efforts de recherche de Google ont été axés sur un projet appelé "Google Brain". Google Brain est le produit du célèbre laboratoire de recherche Google / Google X, qui est responsable des projets Moon-Shot ayant de faibles chances de succès, mais avec un potentiel très élevé. Parmi les autres produits de Google X, notons Project Loon, l’initiative ballon Internet et le projet de voiture autonome de Google. Voici comment nous allons nous rendre dans un monde rempli de voitures sans conducteur Voici comment nous allons nous rendre dans un monde rempli de voitures sans conducteur une tâche fastidieuse, dangereuse et exigeante. Pourrait-il un jour être automatisé par la technologie de voiture sans conducteur de Google? Lire la suite .

Google Brain est une énorme initiative d’apprentissage automatique principalement destinée au traitement d’images, mais aux ambitions beaucoup plus vastes. Le projet a été lancé par le professeur Andrew Ng de Stanford, un expert en apprentissage automatique qui a depuis quitté le projet pour travailler chez Baidu, le plus grand moteur de recherche de Chine..

Google participe depuis longtemps à la recherche sur l'IA. Matthew Zeiler, le PDG d'une startup de la visualisation visuelle, et un stagiaire qui a travaillé sur le Google Brain, s'exprime ainsi:

“Google n'est pas vraiment une société de recherche. C'est une entreprise d'apprentissage automatique […] Tout dans l'entreprise est vraiment guidé par l'apprentissage automatique.”

L'objectif du projet est de trouver des moyens d'améliorer les algorithmes d'apprentissage en profondeur pour construire des réseaux de neurones capables de trouver des modèles plus profonds et plus significatifs dans les données en utilisant moins de puissance de traitement. À cette fin, Google a acheté de manière agressive des talents en apprentissage approfondi, en procédant à des acquisitions, parmi lesquelles l’achat de 500 millions de dollars de la start-up AI Deepmind..

DeepMind était suffisamment inquiet au sujet des applications de leur technologie pour obliger Google à créer un comité d'éthique conçu pour empêcher leurs logiciels de détruire le monde. Voici pourquoi les scientifiques pensent que vous devriez être inquiet pour l'intelligence artificielle Voici pourquoi les scientifiques pensent que vous devriez être inquiet pour l'intelligence artificielle Pensez-vous que l'intelligence artificielle est dangereuse? L'IA peut-elle poser un risque grave pour la race humaine? Voici quelques raisons pour lesquelles vous voudrez peut-être vous inquiéter. Lire la suite . DeepMind n'avait pas encore publié son premier produit, mais la société employait une fraction importante de tous les experts en apprentissage en profondeur du monde. À ce jour, leur seule démonstration publique de leur technologie est une intelligence artificielle de jouet qui est vraiment très bonne chez Atari..

Parce que l'apprentissage en profondeur est un domaine relativement nouveau, il n'a pas eu le temps de former une grande génération d'experts. En conséquence, le nombre de personnes ayant une expertise dans le domaine est très restreint, ce qui signifie qu'il est possible d'obtenir un avantage significatif sur le terrain en embauchant toutes les personnes impliquées..

Jusqu'à présent, Google Brain a été appliqué à la fonction de reconnaissance vocale d'Android et au catalogage automatique des images StreetView, en identifiant des caractéristiques importantes telles que les adresses. Un des premiers tests était la fameuse expérience sur les chats, dans laquelle un réseau d’apprentissage en profondeur de Google avait automatiquement appris à identifier les chats dans les vidéos Youtube avec un taux de précision supérieur à celui de l’état de la technique. Dans son article sur le sujet, Google l'a exprimé comme suit:

“Contrairement à ce qui semble être une intuition répandue, nos résultats expérimentaux révèlent qu'il est possible de former un détecteur de visage sans avoir à étiqueter les images comme contenant un visage ou non. […] Le réseau est sensible aux concepts de haut niveau tels que visages de chat et corps humains. À partir de ces fonctionnalités apprises, nous l'avons formé pour obtenir une précision de 15,8% lors de la reconnaissance de 20 000 catégories d'objets, soit un progrès relatif de 70% par rapport aux [réseaux] à la pointe de la technologie précédents..”

En fin de compte, Google aimerait que ses algorithmes d'apprentissage en profondeur fassent… enfin, à peu près tout, en fait. De puissantes plates-formes d'intelligence artificielle telles que la solution IBM Watson s'appuient sur ce type d'algorithmes d'apprentissage automatique de bas niveau. Les améliorations apportées à cet égard rendent le domaine de l'IA encore plus puissant..

Une future version de Google Now, optimisée par Google Brain, pourrait identifier à la fois les paroles et les images, et fournir des informations intelligentes sur ces données pour aider les utilisateurs à prendre des décisions plus éclairées. Le cerveau de Google pourrait tout améliorer, des résultats de recherche à Google Translate.

Microsoft Adam

L'approche de Microsoft dans la guerre de l'apprentissage en profondeur a été un peu différente. Plutôt que d’essayer d’acheter des experts en apprentissage approfondi pour affiner leurs algorithmes, Microsoft s’est concentré sur l’amélioration de la mise en œuvre et sur la recherche de meilleurs moyens de paralléliser les algorithmes utilisés. train algorithmes d'apprentissage en profondeur.

Ce projet s'appelle “Microsoft Adam.” Leurs techniques réduisent les calculs redondants, doublent la qualité des résultats tout en utilisant moins de processeurs pour les obtenir. Cela a conduit à des réalisations techniques impressionnantes, y compris un réseau capable de reconnaître des races individuelles de chiens à partir de photographies avec une grande précision.

Microsoft décrit le projet comme suit:

L'objectif de Project Adam est de permettre aux logiciels de reconnaître visuellement tout objet. C'est un défi de taille, étant donné l'immense réseau de neurones dans le cerveau humain qui rend ce type d'association possible grâce à des milliards de connexions. […] En utilisant 30 fois moins de machines que d'autres systèmes, les [données d'image sur Internet] ont été utilisées pour former un réseau de neurones. plus de deux milliards de connexions. Cette infrastructure évolutive est deux fois plus précise dans la reconnaissance des objets et 50 fois plus rapide que les autres systèmes..

L'application évidente de cette technologie réside dans Cortana, le nouvel assistant virtuel de Microsoft. Comment Cortana est devenue "l'autre femme" dans ma vie. Comment Cortana est devenue "une autre femme" dans ma vie. Elle est apparue un jour et a changé ma vie. Elle sait exactement de quoi j'ai besoin et a un mauvais sens de l'humour. Il n’est pas étonnant que je sois tombé sous le charme de Cortana. Lire la suite, inspiré par le personnage de l'IA dans Halo. Cortana, qui vise à rivaliser avec Siri, peut faire un certain nombre de choses intelligentes en utilisant des techniques de reconnaissance vocale sophistiquées..

L’objectif de conception est de créer un assistant avec une interaction plus naturelle et d’effectuer un plus grand nombre de tâches utiles pour l’utilisateur, ce que l’apprentissage en profondeur aiderait énormément..

Les améliorations apportées par Microsoft à l'apprentissage en profondeur sont impressionnantes et ont conduit à des applications jusque-là impossibles.

Comment fonctionne l'apprentissage en profondeur

Afin de mieux comprendre le problème, prenons une minute pour comprendre cette nouvelle technologie. L'apprentissage en profondeur est une technique de construction de logiciels intelligents, souvent appliquée aux réseaux de neurones. Il construit de grands réseaux utiles en superposant des réseaux de neurones plus simples, chacun trouvant des modèles dans la sortie de son prédécesseur. Pour comprendre pourquoi cela est utile, il est important de regarder ce qui a précédé l'apprentissage en profondeur.

Réseaux de neurones à propagation arrière

La structure sous-jacente d'un réseau de neurones est en réalité assez simple. Chaque «neurone» est un noeud minuscule qui prend une entrée et utilise des règles internes pour décider quand “Feu” (produire la sortie). Les entrées alimentant chaque neurone ont “poids” - multiplicateurs qui contrôlent si le signal est positif ou négatif et quelle est la force.

En connectant ces neurones ensemble, vous pouvez créer un réseau qui émule n'importe quel algorithme. Vous introduisez votre entrée dans les neurones d'entrée sous forme de valeurs binaires et mesurez la valeur d'activation des neurones de sortie pour obtenir la sortie. En tant que tel, l’astuce pour les réseaux de neurones de tout type est de prendre un réseau et de trouver l’ensemble de pondérations qui se rapproche le plus de la fonction qui vous intéresse..

La rétropropagation, l'algorithme utilisé pour former le réseau à partir de données, est très simple: vous démarrez votre réseau avec des poids aléatoires, puis vous essayez de classer les données avec des réponses connues. Lorsque le réseau est erroné, vous vérifiez pourquoi il ne l’est pas (produit un résultat plus petit ou plus grand que la cible) et utilisez ces informations pour déplacer les poids dans une direction plus utile..

En effectuant cette opération encore et encore, pour de nombreux points de données, le réseau apprend à classer correctement tous vos points de données et, espérons-le, à généraliser de nouveaux points de données. Le principal atout de l’algorithme de rétropropagation réside dans le fait que vous pouvez déplacer les données d’erreur sur le réseau, en modifiant chaque couche en fonction des modifications apportées à la dernière couche, ce qui vous permet de créer des réseaux de plusieurs couches, ce qui permet de comprendre des modèles plus complexes..

Backprop a été inventé en 1974 par Geoffrey Hinton et a eu l’effet remarquable de rendre les réseaux de neurones utiles pour de larges applications pour la première fois de l’histoire. Les réseaux de neurones triviaux existent depuis les années 50 et ont été initialement mis en œuvre avec des neurones mécaniques à moteur.

Une autre façon de penser à l’algorithme backprop est d’explorer un paysage de solutions possibles. Chaque poids de neurone est une autre direction dans laquelle il peut explorer, et pour la plupart des réseaux de neurones, il en existe des milliers. Le réseau peut utiliser ses informations d'erreur pour voir dans quelle direction il doit se déplacer et dans quelle mesure, afin de réduire les erreurs..

Il commence par un point aléatoire et, en consultant continuellement son compas d'erreurs, se déplace en descente dans le sens où il y a le moins d'erreurs, pour finalement se déposer au fond de la vallée la plus proche: la meilleure solution possible.

Alors pourquoi n'utilisons-nous pas la rétropropagation pour tout? Eh bien, backprop a plusieurs problèmes.

Le problème le plus grave est appelé «problème de gradient disparaissant». Fondamentalement, lorsque vous récupérez des données d'erreur sur le réseau, elles perdent de leur sens chaque fois que vous revenez sur une couche. Essayer de construire des réseaux de neurones très profonds avec une rétropropagation ne fonctionne pas, car les informations d'erreur ne pourront pas pénétrer suffisamment profondément dans le réseau pour entraîner efficacement les niveaux inférieurs..

Un deuxième problème moins grave est que les réseaux de neurones ne convergent que vers des optima locaux: ils se font souvent prendre dans une petite vallée et manquent des solutions plus profondes et meilleures qui ne se rapprochent pas de leur point de départ aléatoire. Alors, comment pouvons-nous résoudre ces problèmes?

Réseaux de croyances profondes

Les réseaux de croyances profondes sont une solution à ces deux problèmes et reposent sur l’idée de construire des réseaux qui ont déjà un aperçu de la structure du problème, puis d’affiner ces réseaux avec une rétropropagation. Il s’agit d’une forme d’apprentissage en profondeur, commune à Google et à Microsoft..

La technique est simple et repose sur une sorte de réseau appelé “Machine Boltzman restreinte” ou “RBM”, qui repose sur ce qu'on appelle l'apprentissage non supervisé.

En résumé, les machines Boltzman restreintes sont des réseaux qui essaient simplement de compresser les données qui leur sont fournies, plutôt que d'essayer de les classifier explicitement en fonction des informations de formation. Les RBM collectent des points de données et sont formés en fonction de leur capacité à reproduire ces points de données à partir de la mémoire..

En rendant le RBM inférieur à la somme de toutes les données que vous lui demandez d'encoder, vous forcez le RBM à apprendre les régularités structurelles des données afin de le stocker dans un espace moins important. Cet apprentissage de la structure en profondeur permet au réseau de se généraliser: si vous formez un RBM pour reproduire mille images de chats, vous pouvez alors alimenter une nouvelle image - et en regardant à quel point le réseau devient énergique, vous pouvez alors comprendre. si la nouvelle image contenait ou non un chat.

Les règles d'apprentissage des MRA ressemblent beaucoup à la fonction de vrais neurones dans le cerveau, contrairement à d'autres algorithmes (comme la rétropropagation). En conséquence, ils peuvent avoir des choses à apprendre aux chercheurs sur le fonctionnement de l'esprit humain Machines à penser: ce que les neurosciences et l'intelligence artificielle peuvent nous apprendre sur la conscience Machines à penser: ce que les neurosciences et l'intelligence artificielle peuvent nous apprendre sur la conscience Peut construire des machines et des logiciels intelligemment artificiels nous apprendre sur le fonctionnement de la conscience et sur la nature de l'esprit humain lui-même? Lire la suite .

Une autre caractéristique intéressante des RBM est qu'ils “constructif”, ce qui signifie qu'ils peuvent également fonctionner en sens inverse, en partant d'une fonctionnalité de haut niveau pour créer des entrées imaginaires contenant cette fonctionnalité. Ce processus s'appelle “rêver.”

Alors, pourquoi est-ce utile pour l'apprentissage en profondeur? Eh bien, Boltzman Machines a de sérieux problèmes de dimensionnement: plus vous essayez de les résoudre en profondeur, plus la formation du réseau est longue..

L'idée clé des réseaux de croyances profondes est qu'il est possible d'empiler des RBM à deux couches, chacune étant formée pour trouver une structure dans la sortie de son prédécesseur. Ceci est rapide et conduit à un réseau capable de comprendre des caractéristiques complexes et abstraites des données..

Dans une tâche de reconnaissance d'image, la première couche peut apprendre à voir les lignes et les angles, et la seconde peut apprendre à voir les combinaisons de ces lignes qui constituent des caractéristiques telles que les yeux et le nez. La troisième couche peut combiner ces caractéristiques et apprendre à reconnaître un visage. En activant la rétrodiffusion de ce réseau, vous ne pouvez cibler que les fonctionnalités liées aux catégories qui vous intéressent..

À bien des égards, il s’agit d’une solution simple à la rétropropagation: elle permet “Tricher” en commençant par un tas d’informations sur le problème qu’elle essaie de résoudre. Cela aide le réseau à atteindre de meilleurs minima et garantit que les niveaux les plus bas du réseau sont formés et utiles. C'est tout.

D'autre part, les méthodes d'apprentissage en profondeur ont considérablement amélioré la vitesse et la précision de l'apprentissage automatique et sont presque à elles seules responsables de l'amélioration rapide des logiciels de synthèse de la parole entre textes au cours des dernières années..

Course pour Canny Computers

Vous pouvez voir pourquoi tout cela est utile. Plus vous construisez des réseaux, plus les concepts que le réseau peut apprendre sont grands et abstraits..

Vous voulez savoir si un email est un spam ou non? Pour les spammeurs intelligents, c'est difficile. Vous devez réellement lire le courrier électronique et comprendre une partie de l'intention qui le sous-tend - essayez de voir s'il existe une relation entre l'expéditeur et le destinataire et déduisez les intentions du destinataire. Vous devez faire tout cela en vous basant sur des chaînes de lettres incolores, dont la plupart décrivent des concepts et des événements dont l'ordinateur ne connaît rien..

C'est beaucoup demander à n'importe qui.

Si on vous demandait d'apprendre à identifier le spam dans une langue que vous ne maîtrisiez pas encore, à condition que quelques exemples positifs et négatifs, vous le feriez très mal - et vous avez un cerveau humain. Pour un ordinateur, le problème était presque impossible, jusqu'à tout récemment. Ce sont les types de connaissances que l'apprentissage en profondeur peut avoir, et ça va être incroyablement puissant.

En ce moment, Microsoft gagne cette course par un cheveu. À long terme? C'est à deviner.

Crédits d'image: “IA informatique“, par Simon Liu, “Ouaouaron“, par Brunop, “Boussole haut“, par airguy1988, “Plus libre que gratuit,” par opensource.com

En savoir plus sur: Intelligence artificielle.