fabernovel loader

Mar 6, 2017 | 8 min de lecture

Tech

Les prochains défis de la recherche en IA

Tom Morisse

Research Manager


FABERNOVEL
Le machine learning suscite en ce moment un enthousiasme débridé, généré par une série de résultats spectaculaires obtenus par des chercheurs en IA. Bien qu’ils aient l’air prometteurs, les derniers modèles de machine learning n’ont pas encore tout résolu : aucun programme ne peut, seul, s’atteler à une multitude de tâches ; entraîner des algorithmes demande beaucoup de données ; les réseaux neuronaux fonctionnent bien mais sont de véritables boîtes noires…

De nombreux travaux s’attellent donc à améliorer les architectures des modèles actuels, mais aussi à suggérer de nouveaux paradigmes pour la recherche en intelligence artificielle en général.

 

Affiner les architectures existantes

 

1/ L’apprentissage continu

Tom Mitchell, professeur en machine learning, a expliqué en 2006 que « jusqu’ici, la grande majorité du travail en machine learning demande d’exécuter des programmes sur des jeux de données particuliers, de mettre ensuite l’apprenant de côté et d’utiliser le résultat. À l’inverse, l’apprentissage chez les humains et les autres animaux est un processus continu où l’agent acquiert de nombreuses capacités, souvent dans un ordre précis. » Le problème est toujours d’actualité et les chercheurs s’échinent à donner aux algorithmes la capacité à s’ajuster sur le long terme.

 

Exemple : NELL (pour Never-Ending Language Learner) est un programme exécuté 24h/24 7j/7 depuis 2010, dans le but d’apprendre à « lire le web ». Il a commencé par une base de données initiale constituée de pages web et d’une hiérarchie de catégories (par exemple les sports). En lisant 100 000 requêtes Google par jour, il est capable d’apprendre seul de nouvelles catégories et de suggérer ce qu’il « croit » :

 

2/ L’apprentissage par transfert

Même si, globalement, les approches développées par les modèles de machine learning peuvent souvent être appliquées dans de très nombreux domaines, les algorithmes ont souvent du mal à généraliser en s’adaptant à de nouveaux problèmes (même très proches) : l’architecture des modèles peut être réutilisée, mais l’apprentissage doit repartir de zéro. Par exemple, un programme de dames ou d’échecs ne pourrait pas jouer à un jeu aussi simple que le morpion.

Associé à l’exploration de l’apprentissage continu, le travail sur l’apprentissage par transfert nous mènera vers un avenir où les machines pourront apprendre à apprendre.

 

Exemple : En octobre dernier, des chercheurs de DeepMind ont présenté un modèle de machine learning capable « d’apprendre des tâches comme trouver l’itinéraire le plus court entre deux points et déduire les liens manquants dans des graphes générés au hasard, et de généraliser ces tâches en les appliquant à des graphes spécifiques, comme les réseaux de transport en commun et les arbres généalogiques. » La clé était d’ajouter une mémoire externe au réseau neuronal afin de mieux stocker les données sur de longues périodes (une fonctionnalité avec laquelle les réseaux neuronaux ont en général un peu de mal).

 

3/ La génération autonome de jeux de données

Les modèles de machine learning dépendent beaucoup de la disponibilité des jeux de données. On étudie actuellement deux approches pour surmonter cet obstacle potentiel : la première a pour but de créer des algorithmes « économes » mais efficaces, qui utilisent moins de données pendant leur entraînement (ce qu’on appelle le « sparse data » dans le jargon de l’IA), et la seconde vise à créer des modèles pouvant générer (au moins en partie) leurs propres jeux de données d’apprentissage.

 

Exemples :

  • Le programme AlphaGo a non seulement mis à profit l’historique d’un serveur de go en ligne pendant son entraînement, mais il a aussi joué de nombreuses parties contre lui-même, générant au passage une base de données de 30 millions de positions de jeu.
  • En décembre, des chercheurs d’Apple ont publié le premier article de machine learning de l’entreprise. Il traite des limites des jeux de données dans le domaine de la vision par ordinateur : les images de synthèse (générées en 3D) sont de plus en plus utilisées pour former des jeux d’entraînement, mais les algorithmes qui en résultent sont en général moins précis face à de vraies images tirées d’un jeu de test. La solution des chercheurs d’Apple a été de développer un modèle pouvant associer des images de synthèse à des traits provenant de vraies photos. Cette approche a généré nombreuses images bien plus réalistes. L’illustration ci-dessous est tirée de l’article :

 

4/ Ouvrir la boîte noire des algorithmes de machine learning

Les modèles de machine learning ont beau être très efficaces, ils pâtissent d’un inconvénient majeur comparé à leurs ancêtres basés sur des règles : il est pour l’instant impossible de comprendre avec précision comment un algorithme arrive à une conclusion.

L’ouverture de telles boîtes noires sera indispensable pour fournir un retour aux utilisateurs d’application d’IA à l’avenir (sans doute voudriez-vous comprendre pourquoi un prêt vous serait refusé par un algorithme de deep learning). Et surtout, cela pourrait aider à expliquer (et donc à éviter) des conséquences intolérables, telles que la catégorisation par Google Photos de deux personnes noires en tant que « gorilles » en juillet 2015.

 

Exemples : en août dernier, la DARPA (l’agence de financement en R&D du Département américain de la Défense) a lancé un programme nommé « Explainable AI » (XAI), dont le but est de financer des projets de modèles de machine learning pouvant fournir des explications à leurs choix (sans que cela ne compromette la précision de leurs résultats). La philosophie est bien résumée par cette illustration de la DARPA :

 

Transformer les paradigmes de l’IA

 

5/ Combiner deep learning et neurosciences

Les premiers travaux sur les réseaux neuronaux artificiels ont débuté dans les années 1940 et 1950 avec les progrès en neurosciences. Le premier neurone artificiel (sachant que le terme « artificiel » signifie ici un programme, pas un objet physique) en 1943 fut, par exemple, le fruit d’une collaboration entre un neurophysiologiste et un logicien.

Toutefois, comme l’explique un récent manuel de deep learning, les deux disciplines se sont peu à peu séparées : « La principale raison pour le rôle moindre des neurosciences dans la recherche actuelle en deep learning est que nous n’avons simplement pas assez d’informations sur le cerveau pour l’utiliser comme guide. »

Cependant, un nombre croissant de scientifiques des deux domaines appellent à un renforcement des liens entre le deep learning, les neurosciences et parfois aussi les sciences cognitives. Les progrès récents en deep learning, même s’ils n’ont pas toujours été inspirés par les neurosciences, peuvent déboucher sur de nouvelles pistes pour la recherche en neurosciences. Et inversement, une meilleure compréhension du système d’apprentissage le plus évolué et complexe qui soit – le cerveau – pourrait suggérer de nouvelles architectures ou des architectures affinées aux chercheurs en IA.

 

Exemples :

  • En juillet 2015, 3 chercheurs aux parcours différents ont suggéré une approche convergente appelée « rationalité calculatoire » afin de mieux comprendre l’intelligence « des cerveaux, des esprits et des machines. »
  • Demis Hassabis, CEO de DeepMind, est diplômé d’un doctorat en neurosciences cognitives.

 

6/ Combler le fossé entre les deux approches principales de l’IA

Si vous avez lu notre article sur le vocabulaire de l’IA, vous savez qu’il y a eu deux approches suivies au fil des années, dans ce domaine : la programmation symbolique (top-down, très populaire aux premiers jours de l’IA) et le machine learning (bottom-up, bien plus populaire aujourd’hui).

Même s’il a été difficile de programmer des algorithmes complexes avec des règles programmées à la main (par exemple, dans le traitement du langage naturel, quand rédiger les nombreuses règles et aussi nombreuses exceptions d’une grammaire donnée est chronophage et que les associer pour dégager le sens d’une phrase est trop complexe), l’ajout d’un peu de logique symbolique à des modèles de machine learning pourrait aider à en résoudre certaines limites (par exemple, de volumineux jeux de données n’existent pas toujours dans tous les domaines).

 

Exemple : Geometric Intelligence, racheté par Uber en décembre pour former la base de son laboratoire d’IA, poursuit cette approche afin de développer des modèles nécessitant moins de données que d’ordinaire.

 

7/ L’électronique neuromorphique, prochaine architecture matérielle?

L’électronique neuromorphique consiste à imiter le fonctionnement du cerveau à l’aide de circuits électroniques. L’idée existe depuis la fin des années 1980, mais une récente série de grandes initiatives dans la recherche sur le cerveau (par exemple, le Human Brain Project, lancé par l’UE en 2013 avec un budget d’1 milliard d’euros sur 10 ans) ont inclus une exploration du concept via des systèmes informatiques dédiés.

Si demain les réseaux neuronaux artificiels n’existent pas seulement sous forme de code, mais aussi sous forme de circuits électroniques spécialisés, les progrès en intelligence artificielle accélèreront sans doute. Toutefois, il nous reste encore à mesurer l’intérêt des puces neuromorphiques face aux puces plus généralistes que sont les CPU et les GPU, en termes de performance et de coût. Enfin, la route vers une véritable reproduction du cerveau est encore longue puisque la biochimie joue un grand rôle dans la transmission de l’information. Prochaine étape : une convergence entre l’électronique et la biologie ?

 

Exemple : IBM a annoncé sa puce neuromorphique TrueNorth en 2014. Elle comprenait 1 million de neurones – contre 100 milliards dans un cerveau humain – et 256 millions de synapses programmables. L’accomplissement le plus impressionnant était son efficacité énergétique, comparable à un vrai cerveau, et 1 000 fois supérieure à celle d’un CPU habituel.

Ci-dessus, l’architecture de TrueNorth lie étroitement le calcul (les neurones) et la mémoire (les synapses), alors que la structure canonique des ordinateurs a jusqu’ici toujours séparé ces deux composants.

 


Au-delà des progrès scientifiques en tant que tels (et nous espérons qu’à présent vous êtes devenus aussi passionnés que nous par ce domaine qu’est l’intelligence artificielle), l’observation des recherches en cours est la clé pour prévoir l’avenir de l’IA en tant que facteur économique.

Ce sont des signaux faibles parce que leur succès ou leur échec aura une influence directe sur l’étendue et la profondeur des applications business qui peuvent être imaginées (par exemple, ouvrir de nouvelles tâches, de nouveaux emplois, voire de nouvelles industries à l’automatisation, ou au contraire enterrer les espoirs d’une intelligence artificielle générale).

Vous souhaitez recevoir chaque semaine un nouvel épisode de notre première saison sur l'intelligence artificielle ?

Inscrivez-vous
Cet article appartient à une enquête
logo business unit

FABERNOVEL

Distribute the future. Connect leaders. Change the game. We ignite ventures and transform organizations for the new economy.

à lire