Machine learning : le passé et le présent

Par : John Manslow

Main image

Ces dernières années, le machine learning, apprentissage machine, apprentissage statistique ou apprentissage automatique, a connu une attention inégalée. Des géants tels qu'Amazon, Facebook, IBM et Microsoft investissent des milliards de dollars dans ce domaine, que ce soit en acquisitions ou en recherche et développement. C'est ainsi que le nombre de dépôts de brevets dans le domaine du machine learning s'est décuplé sur les dix dernières années. De nombreux nouveaux produits et fonctionnalités sont apparus – le machine learning permet à Amazon d'effectuer une optimisation automatique de ses prix ; Microsoft offre la traduction en direct dans Skype ; et Google y fait appel pour effectuer un classement plus nuancé des pages Web en fonction de leur contenu pour répondre aux demandes des utilisateurs. Comment le machine learning est-il apparu, et pourquoi attire-t-il aujourd'hui tant d'intérêt ?

La notion d'apprentissage automatique a été développée dans les années 1950 par des chercheurs en intelligence artificielle, qui pensaient que le meilleur moyen pour que les ordinateurs se comportent intelligemment était de leur permettre d'apprendre. Jusque là, les recherches s'étaient concentrées sur l'utilisation d'experts humains pour rédiger des règles que les ordinateurs pouvaient suivre. Il est cependant rapidement apparu que, même pour des « problèmes » simples comme une partie de dames, la rédaction de règles efficaces était extrêmement difficile. Pendant la fin des années 50 et tout au long des années 60, des algorithmes d'apprentissage automatique simples ont été mis au point et appliqués à des problèmes qu'il était jusque là impossible de résoudre. Malgré ces débuts prometteurs, les années 70 et 80 ont été largement marquées par la déception. Le progrès était lent, la recherche mal financée et les entreprises montraient peu d'intérêt dans l'application de l'apprentissage automatique à des problèmes réels.

Toutefois, à la fin des années 80, des progrès importants sont survenus: une méthode permettant d'entraîner des réseaux de neurones à complexité arbitraire a été découverte. De plus, le problème d'un comportement optimal dans un environnement à gratification différée a été résolu grâce à l'apprentissage par renforcement.

Au début des années 90, la recherche sur l'apprentissage automatique s'est poursuivie avec plus de rigueur au niveau mathématique. Cela a permis le développement de nouveaux algorithmes et de nouvelles méthodes Kernel telles que les réseaux de neurones bayésiens, les machines à vecteurs de support (SVM) et les processus gaussiens, qui ont nettement amélioré les performances dans le monde réel. L'apprentissage automatique était enfin prêt pour l'exploitation commerciale, et ses premiers utilisateurs ont pu l'appliquer à des problèmes tels que la détection des fraudes, l'évaluation des risques-clients (credit scoring) et la prévision de la probabilité de perte de clientèle (churning). Avec le succès du machine learning (l'expression anglaise prenant le dessus dans le monde de l'entreprise) dans le monde réel, son potentiel est clairement apparu et le financement de la recherche s'est accru. Le domaine a commencé à attirer des chercheurs en informatique, mais aussi de secteurs tels que les mathématiques et la physique.

Au cours des années 90, l'espace de stockage dans un ordinateur de bureau a été multiplé par mille, et la course au gigahertz entre AMD et Intel sur la fin de la décennie a offert une augmentation similaire de la puissance de traitement. A l'arrivée de l'an 2000, la plupart des ordinateurs de bureau avaient assez de mémoire pour stocker la quantité de données requise pour apprendre des solutions efficaces à des problèmes complexe, et assez de puissance de traitement pour que cet apprentissage puisse se faire dans un délai raisonnable. La technologie avait même atteint le niveau nécessaire pour que l'apprentissage automatique soit utilisé dans les jeux vidéo : pour mettre l'adversaire au niveau du joueur dans Colin McRae Rally 2.0, de Codemasters, ou pour permettre au joueur de former son propre avatar en temps réel, dans Black and White, de Lionhead.

Au milieu des années 2000, le GPGPU (calcul générique sur un processeur graphique) est devenu possible. Des processeurs multicœur bon marché ont été mis au point et le cloud est apparu, faisant croître fortement la puissance de traitement. Parallèlement, le développement d'Internet a facilité la révolution du Big Data : d'énormes ensembles de données sont devenus accessibles, permettant d'appliquer des algorithmes de machine learning de plus en plus complexes à des problèmes réels. L'apprentissage profond, où les réseaux de neurones comportent de nombreuses couches de neurones interconnectées (DNN, Deep Neural Networks), est devenu possible, et a rapidement dépassé toutes les approches antérieures dans des champs tels que la reconnaissance vocale et d'image – finissant même par dépasser les performances humaines.

La dernière décennie a vue l'exploitation commerciale à grande échelle du machine learning. C'est maintenant la technologie de référence dans un grand nombre de secteurs car il permet d'extraire de manière fiable des relations extrêmement complexes à partir de données, offrant une compréhension remarquable et des prédictions exactes. Les avancées théoriques des années 90 ont rendu possibles des algorithmes d'apprentissage automatique tels que les réseaux de neurones bayésiens et les machines à vecteurs de support (SVM) qui fonctionnent bien dans les environnements où les données sont rares. Les développements apparus sur la fin des années 2000 ont rendu possibles les réseaux de neurones profonds (DNN), qui offrent des performances inégalées avec le Big Data.

Aujourd'hui, vous trouverez des algorithmes d'apprentissage automatique sur presque toutes les plates-formes : des processeurs intégrés dans un système de chauffage central aux énormes réseaux informatiques du cloud. Ils sont utilisés commercialement pour déchiffrer les codes postaux, traiter les chèques, calculer les risques de crédit et détecter les fraudes, pour la reconnaissance vocale, la traduction de textes et la recommandation de films, pour associer des joueurs dans les jeux en ligne, optimiser les prix, trier les résultats des recherches en ligne, filtrer le spam, animer des personnages virtuels, optimiser les centres de données, jouer contre les humains aux jeux vidéo, déterminer le contenu d'images, conduire des véhicules autonomes ou encore identifier du contenu piraté.

Et pourtant, ce n'est que le début de ce que les entreprises vont pouvoir faire avec le machine learning. Il ne fait aucun doute que cette technologie va transformer les processus d'entreprise et créer des classes de produits entièrement nouvelles. L'apprentissage automatique, ou machine learning, n'est plus la chasse gardée des chercheurs et universitaires. Il est devenu un outil reconnu dans le monde de l'entreprise.

Nous allons publier dans ce blog des billets présentant les principes généraux du machine learning et étudier la mécanique interne de certains des algorithmes les plus puissants et les plus utilisés : machines à vecteurs de support, réseaux bayésiens, arbres décisionnels, réseaux de neurones bayésiens et apprentissage profond. Ces billets décriront également comment les appliquer en pratique pour résoudre des problèmes réels.

La version en préparation de notre plate-forme d'analyse des données WPS, prévue pour le deuxième semestre 2017, va inclure de nombreuses nouvelles techniques de machine learning. Vous aurez accès sans effort à une meilleure compréhension de vos données tout en bénéficiant de la stabilité et de la cohérence de WPS.

A propos de John Manslow

John a rejoint l'équipe Mathématiques et statistiques de World Programming en 2014 en tant que Développeur R&D sénior. Il met actuellement au point des fonctionnalités avancées d'apprentissage profond pour la version de la plate-forme WPS prévue pour 2017. John a un doctorat en apprentissage automatique de l'Université de Southampton, et plus de 20 ans d'expérience dans l'application commerciale des méthodes statistiques et de machine learning. Il a plus de dix brevets à son nom, a contribué à sept livres sur l'intelligence artificielle dans les jeux, a participé aux comités de révision de l'AAAI et donnée des cours à l'Université de Southampton.

Veuillez activer JavaScript pour profiter au mieux de notre site Web. Vous ne parviendrez pas à effectuer certaines opérations telles que vous connecter, vous inscrire ou remplir vos formulaires de contact.