Comment une machine apprend-elle ?

LES CLÉS POUR COMPRENDRE L’IA

Données, exemples, erreurs, ajustements : comprendre ce qui se cache derrière le mot « apprentissage ».

Nous entendons régulièrement dire qu’une intelligence artificielle « apprend ».

Elle apprend à reconnaître une image.

Elle apprend à traduire.

Elle apprend à recommander un contenu.

Elle apprend à générer du texte.

Le vocabulaire est familier.

Peut-être même un peu trop.

Car lorsque nous utilisons le même mot pour parler d’un enfant qui apprend à lire et d’un système informatique qui apprend à reconnaître un chat, nous pouvons facilement imaginer des mécanismes beaucoup plus proches qu’ils ne le sont réellement.

Alors, que signifie exactement “apprendre” pour une machine ?

Et surtout :

apprend-elle comme nous ?

La réponse courte est non.

Mais comprendre pourquoi permet de mieux comprendre une grande partie de l’intelligence artificielle actuelle.

1. Une machine n’apprend pas comme un être humain

Lorsqu’un être humain apprend, de nombreux mécanismes interviennent simultanément.

Nous observons.

Nous expérimentons.

Nous associons une nouvelle information à des connaissances antérieures.

Nous interprétons une situation.

Nous pouvons poser des questions.

Nous mobilisons notre mémoire.

Nos émotions et notre expérience influencent également ce que nous retenons.

Et surtout, nous pouvons chercher à comprendre pourquoi quelque chose se produit.

Une machine fonctionne différemment.

Dans le cadre du machine learning, « apprendre » signifie essentiellement :

ajuster un modèle à partir de données afin d’améliorer sa capacité à produire le résultat attendu.

Pas de compréhension au sens humain.

Pas d’intention personnelle.

Pas d’expérience vécue.

Mais des données, des calculs, des paramètres… et des ajustements.

2. Prenons un exemple très simple

Imaginons que nous souhaitions créer un système capable de distinguer des photographies de chats et de chiens.

Avec une approche informatique traditionnelle, nous pourrions essayer d’écrire nous-mêmes toutes les règles.

Un chat possède telles caractéristiques.

Un chien telles autres.

Mais très rapidement, le problème devient complexe.

Les animaux peuvent être photographiés de face, de profil ou de loin.

Leur couleur varie.

Leur taille aussi.

Certaines races se ressemblent.

Une partie de l'animal peut être cachée.

L'éclairage change.

Le décor également.

Écrire manuellement une règle pour chaque possibilité devient extrêmement difficile.

Le machine learning propose une autre approche.

Nous allons montrer au système de nombreux exemples.

🐱 image → chat🐶 image → chien🐱 image → chat🐶 image → chien

Et lui permettre d'ajuster progressivement son modèle pour devenir meilleur dans cette tâche.

3. Les données constituent le matériau de l’apprentissage

Pour apprendre, le système a donc besoin de données.

Images.

Textes.

Sons.

Mesures.

Historique de transactions.

Comportements.

Données issues de capteurs.

Selon le problème, leur nature peut être très différente.

Ces données permettent au modèle d'identifier des régularités statistiques utiles pour accomplir une tâche.

C'est une première idée essentielle :

Une IA n'apprend pas directement le monde. Elle apprend à partir des données auxquelles elle a accès.

Et cette distinction a des conséquences importantes.

Si les données sont insuffisantes, peu représentatives, incorrectes ou biaisées, l'apprentissage peut lui aussi être affecté.

La qualité d'un système d'IA dépend donc non seulement de son architecture ou de ses algorithmes, mais également de ce qu'on lui donne pour apprendre.

4. Apprendre, c’est aussi faire des erreurs

Reprenons notre système chargé de reconnaître des images.

Nous lui présentons une photographie.

Il prédit :

« Chien : 72 % »

Mais l'image représente un chat.

Le système s'est trompé.

Pour un modèle en cours d'entraînement, cette erreur constitue une information exploitable.

Le résultat obtenu peut être comparé au résultat attendu.

Le système peut alors calculer l'écart entre les deux.

Puis certains paramètres internes du modèle sont ajustés afin de réduire cette erreur.

Nous recommençons.

Encore.

Et encore.

Progressivement, le modèle devient plus performant sur la tâche pour laquelle il est entraîné.

Nous pouvons résumer très simplement cette boucle :

DONNÉES → PRÉDICTION → ERREUR → AJUSTEMENT → NOUVELLE PRÉDICTION

C'est une représentation simplifiée, mais elle permet de comprendre une grande partie de la logique de l'apprentissage supervisé.

5. Mais qu'est-ce que la machine ajuste ?

C'est ici que nous rencontrons une notion importante : les paramètres du modèle.

Imaginons un immense tableau de réglages internes.

Chaque réglage influence, parfois très légèrement, le résultat produit par le système.

Au début de l'entraînement, ces réglages ne permettent pas encore d'obtenir de bonnes réponses.

À chaque série d'exemples, le système évalue ses résultats.

Il calcule l'erreur.

Puis une procédure d'optimisation modifie progressivement les paramètres afin de réduire cette erreur.

Dans les réseaux de neurones modernes, le nombre de paramètres peut devenir considérable.

L'apprentissage consiste donc en grande partie à trouver une configuration de paramètres qui permette au modèle de produire de bonnes prédictions sur de nouvelles données.

6. Un réseau de neurones « apprend-il » comme un cerveau ?

Le terme peut prêter à confusion.

Les réseaux de neurones artificiels ont été historiquement inspirés, de manière très simplifiée, par certaines idées liées au fonctionnement des neurones biologiques.

Mais un réseau de neurones artificiels n'est pas une reproduction numérique du cerveau humain.

Il s'agit d'un modèle mathématique composé de nombreuses unités organisées en couches et reliées entre elles.

Chaque connexion contribue au calcul.

Pendant l'entraînement, leurs paramètres sont ajustés.

Dans un modèle de deep learning, cette organisation en nombreuses couches permet progressivement de construire des représentations utiles à des tâches complexes.

Mais parler de « neurones » ne signifie pas que le système possède un cerveau.

Et parler « d'apprentissage » ne signifie pas qu'il apprend comme nous.

7. Toutes les machines n'apprennent pas de la même manière

Il existe plusieurs grandes façons d'entraîner un modèle.

L'apprentissage supervisé

Nous fournissons des exemples associés à des réponses attendues.

Par exemple :

📩 message → spam📩 message → non spam

Le système apprend progressivement à prédire la bonne catégorie pour de nouveaux messages.

L'apprentissage non supervisé

Cette fois, nous ne fournissons pas nécessairement une réponse attendue pour chaque donnée.

Le système cherche des structures ou des regroupements dans les données.

Il peut par exemple identifier des groupes présentant certaines similarités.

L'apprentissage par renforcement

Un agent agit dans un environnement.

Certaines actions conduisent à des résultats plus favorables que d'autres.

À travers les interactions, il apprend progressivement une stratégie visant à maximiser un signal de récompense.

Il existe aujourd'hui de nombreuses variantes et combinaisons de ces approches.

Mais toutes reposent sur une idée commune :

utiliser l'expérience disponible sous forme de données ou d'interactions pour ajuster un système.

8. Et une IA générative, comment apprend-elle ?

Prenons maintenant le cas qui nous est devenu beaucoup plus familier : les modèles capables de générer du texte.

De manière simplifiée, lors d'une phase importante de leur entraînement, les grands modèles de langage apprennent à prédire des éléments de texte à partir d'un contexte.

Imaginez :

« Demain matin, je prendrai le… »

Plusieurs suites sont possibles.

Train.

Bus.

Petit-déjeuner.

Temps.

Le modèle apprend des régularités à partir d'immenses quantités de textes et ajuste ses paramètres afin de devenir meilleur dans ses prédictions.

Répétée à très grande échelle, cette logique permet au modèle d'acquérir des représentations statistiques extrêmement riches du langage.

Il peut ensuite produire des phrases, répondre à des questions, reformuler, traduire, résumer ou générer du code.

Mais une distinction reste fondamentale :

Le fait de produire une réponse cohérente ne prouve pas que le système comprend cette réponse comme un humain la comprend.

C'est précisément ce que nous avions abordé dans l'épisode 02 de cette série.

9. Entraînement et utilisation : deux moments différents

Une confusion fréquente consiste à penser qu'une IA réapprend nécessairement de chaque conversation que nous avons avec elle.

Il faut distinguer plusieurs choses.

L'entraînement

C'est la phase pendant laquelle les paramètres du modèle sont ajustés à partir de données.

Elle peut nécessiter des ressources informatiques très importantes.

L'inférence

C'est le moment où le modèle déjà entraîné est utilisé pour produire un résultat.

Vous fournissez une entrée.

Le modèle utilise ce qu'il a appris pour calculer une réponse.

ENTRAÎNER → ajuster le modèle

UTILISER → faire produire une réponse au modèle

Selon les systèmes, d'autres mécanismes peuvent ensuite permettre des adaptations, des personnalisations ou des entraînements complémentaires.

Mais utiliser une IA et entraîner son modèle sont deux opérations distinctes.

10. Apprendre n'est pas mémoriser chaque exemple

Autre distinction importante.

Le but d'un modèle de machine learning n'est généralement pas de simplement restituer tous les exemples qu'il a vus.

Il doit pouvoir généraliser.

C'est-à-dire utiliser ce qu'il a appris pour traiter des situations nouvelles.

Si notre modèle reconnaît parfaitement les 10 000 images utilisées pendant son entraînement mais échoue sur chaque nouvelle photographie, son apprentissage est peu utile.

Nous cherchons donc à obtenir un modèle capable de fonctionner sur des données qu'il n'a pas rencontrées exactement sous cette forme auparavant.

C'est pourquoi les performances sont notamment évaluées sur des données distinctes de celles utilisées pour l'entraînement.

11. Quand la machine apprend « trop bien »

Cela peut sembler paradoxal.

Un modèle peut devenir tellement adapté aux exemples d'entraînement qu'il perd en capacité à généraliser.

C'est ce que l'on appelle le surapprentissage, ou overfitting.

Imaginons un étudiant qui mémoriserait parfaitement les réponses d'un examen blanc sans comprendre suffisamment les principes permettant de résoudre de nouveaux exercices.

Il pourrait obtenir un excellent résultat sur les questions déjà rencontrées…

et échouer lorsque le problème change légèrement.

Un modèle peut rencontrer un problème comparable.

D'où l'importance de tester sa capacité à fonctionner au-delà des données utilisées pour l'entraîner.

12. Ce que les données transmettent aussi

Les données ne sont jamais une représentation parfaite du monde.

Elles résultent de choix.

Qu'avons-nous collecté ?

Dans quel contexte ?

Auprès de quelles populations ?

Que manque-t-il ?

Comment les données ont-elles été catégorisées ?

Certaines situations sont-elles surreprésentées ?

D'autres presque absentes ?

Un modèle peut apprendre des régularités utiles.

Mais il peut également reproduire certains déséquilibres présents dans ses données.

C'est pourquoi comprendre l'IA nécessite de dépasser la seule question :

« Le modèle est-il performant ? »

Pour demander également :

« Sur quelles données a-t-il appris, pour quel objectif et dans quelles conditions pouvons-nous utiliser ses résultats ? »

13. Une machine peut apprendre… sans savoir qu'elle apprend

Nous retrouvons ici une différence fondamentale avec l'être humain.

Une personne peut prendre conscience de son apprentissage.

Dire :

« Je n'ai pas compris. »

« Je dois revoir cette notion. »

« Cette expérience a changé ma manière de penser. »

« Je me suis trompé parce que… »

Une machine n'a pas besoin de cette conscience réflexive pour ajuster ses paramètres.

Elle peut devenir extrêmement performante dans certaines tâches sans pour autant faire l'expérience de cet apprentissage.

Le mot « apprendre » est donc utile.

Mais il ne faut pas lui attribuer automatiquement tout ce qu'il signifie lorsqu'il concerne un être humain.

14. Pourquoi est-ce important de comprendre cela ?

Parce que notre représentation de l'IA influence notre manière de l'utiliser.

Si nous imaginons une machine qui « comprend », « sait » ou « réfléchit » exactement comme nous, nous risquons de lui attribuer des capacités qu'elle n'a pas nécessairement.

À l'inverse, comprendre quelques principes simples permet d'adopter une posture plus juste.

Une IA peut identifier des régularités extrêmement complexes.

Elle peut généraliser.

Prédire.

Classifier.

Générer.

Aider à explorer de grandes quantités d'informations.

Mais ses résultats dépendent notamment :

des données ;

du modèle ;

de l'objectif d'entraînement ;

des paramètres ;

du contexte d'utilisation ;

et de la manière dont nous interprétons ses résultats.

LA CLÉ À RETENIR

Lorsqu'une machine « apprend », elle ne comprend pas progressivement le monde comme un être humain. Elle ajuste un modèle à partir de données et d'erreurs afin de devenir plus performante dans une tâche.

Nous pouvons retenir cette boucle très simple :

DONNÉES

↓

MODÈLE

↓

PRÉDICTION

↓

COMPARAISON / SIGNAL D'ERREUR

↓

AJUSTEMENT

↓

NOUVEL ESSAI

↓

GÉNÉRALISATION

Derrière le mot presque magique d'« apprentissage » se trouve donc quelque chose de beaucoup plus concret :

des données, des mathématiques, des calculs, des objectifs et énormément d'ajustements.

Et comprendre cela nous permet déjà de regarder l'intelligence artificielle autrement.