Инструкция по применению | Speechi Analyse-predictive-de-donnees Manuel du propriétaire

Analyse prédictive de données avec
Introduction
2
L’étude de cas
5
Création de l’expérience
6
Analyse qualitative
9
Réduction du nombre de critères
11
Carte des individus
16
Clustering
18
Première analyse des clusters
19
Elimination des critères non pertinents
22
Deuxième analyse des clusters
24
Analyse quantitative
29
Arbre de décision
29
Prédiction
31
Introduction
L’analyse prédictive a toujours été une des principales motivations de notre solution “Je
Lève La Main”. Dans un billet de notre blog datant de 2013, intitulé “En route vers l’analyse
prédictive”, nous en présentions déjà les principes :
Les étudiants et les professeurs se connectent à « Je lève la main » à travers un identifiant
unique, tout au long de leur scolarité. Les données sont recueillies de façon fréquente et
longue et l’usage qu’on peut en faire va bien au-delà des boîtiers de vote traditionnels.
On peut utiliser ces données pour mieux personnaliser l’enseignement des élèves, mieux les aider,
leur donner des schémas de travail plus adaptés, les orienter avec une plus grande fiabilité – en allant
même jusqu’à prédire – peut-être – quel professeur, quelle technique pédagogique a le plus de
chance de faire progresser tel ou tel élève.
Cela permet de développer de nouveaux systèmes d’évaluation prédictive (en anglais, “learning
analytics“).
L’utilisation systématique de ce genre de technologies, associé à des techniques de data-mining
(analyse statistique des données), doit permettre d’évaluer précisément les élèves et de mieux les
aider et les orienter.
En appliquant ces techniques statistiques, on peut faire progresser l’enseignement en adaptant
toujours de façon plus personnalisées les matières proposées aux élèves, leur suivi, les méthodes
développées par les professeurs, etc.
2/34
Il s’agit de franchir une étape supplémentaire et de permettre d’obtenir, par exemple, les résultats
suivants :
●
●
●
Intervenir quand les élèves sont en difficulté (par comparaison avec les résultats
moyens des autres élèves) et pouvoir leur donner un suivi spécifique
Mieux personnaliser les cursus des élèves, en fonction des résultats obtenus
Prédire la performance future des élèves et les orienter vers leurs matières « fortes »
dans leur cursus, tout en comblant leurs manques sur les matières « faibles ».
En résumé, l’analyse prédictive consiste à analyser l’impact de différents critères
(sociologiques, technologiques, pédagogiques, …) sur les résultats des apprenants, en vue
d’améliorer leur processus d’apprentissage ou de mieux les guider.
Elle s’appuie sur deux types de données :
1. la valeur des critères sur une population d’apprenants
2. les résultats de cette population sur un même ensemble de quiz
Aujourd’hui, l’application “Je Lève La Main” permet de recueillir l’ensemble de ces données :
1. la valeur des critères peut être renseignée soit par les enseignants (module “Je gère
mes critères”), soit directement par les apprenants (dans leur profil).
2. les résultats à un même ensemble de quiz peuvent être obtenus en faisant en sorte
que chaque enseignant récupère ces quiz sur le portail, et invitent les apprenants à y
répondre dans une session (en direct ou en différé).
L’analyse des données peut être ensuite effectuée grâce à notre outil d’analyses
statistiques, disponible à cette adresse :
https://statistics.jelevelamain.fr/
Un manuel d’utilisation décrit dores et déjà les manipulations de base dans cet outil (elles ne
seront pas redécrites dans ce document). Il est disponible à cette adresse :
https://speechi-support.s3.amazonaws.com/JLLM-Virt/Outil-analyses-statistiques/Manuel-stats-JLLM-fr.pdf
Le présent document vient compléter ce manuel en présentant les modules avancés
permettant de faire des analyses prédictives : l’Analyse en Composante Principale (ACP), le
clustering et le module prédictif.
Les parties encadrées en orange sont destinées aux lecteurs non spécialistes souhaitant
approfondir les concepts statistiques, elles peuvent être ignorées dans le cadre d’une lecture
rapide.
A l’exception des graphiques situés dans ces parties encadrées, toutes les illustrations du manuel
ont été automatiquement générées par l’outil statistique “Je Lève La Main”.
3/34
Tutoriel
Les parties encadrées en vert sont destinées aux lecteurs souhaitant suivre ce manuel tout en
apprenant la manipulation de notre logiciel statistique “Je Lève La Main”.
L’étude “Méthode de lecture” disponible à titre de tutoriel dans le logiciel permet de générer
l’ensemble des illustrations de ce manuel, à partir de données réelles qui ont été anonymisées.
4/34
L’étude de cas
Pour illustrer notre propos, nous allons nous baser sur une étude de cas concernant le
niveau de lecture des élèves de CP, dans laquelle le logiciel d’évaluation “Je Lève La Main”
nous a permis d’obtenir les informations suivantes :
- les résultats d’un panel de 500 élèves de CP à un quiz de compréhension de lecture
- les valeurs de 13 critères pour chaque élève du panel :
Critères liés à l’établissement (4 critères) :
Nom
Description
Domaine
Détails
tclass
Taille de la classe
0-5
0 : < 15 élèves
1 : 15 - 19
2 : 20 - 24
3 : 25 - 29
4 : 30 - 34
5 : plus de 34
pub
Établissement public /
privé
0-1
0 : Privé
1 : Public
xpprof
Nombre d’années
d’expérience de
l’enseignant en CP
0-25
mlect
Méthode de lecture
utilisée par
l’enseignant
0-3
0 : Globale
1 : Dominante globale
2 : Dominante syllabique
3 : Syllabique
Détails
Critères liés aux élèves (9 critères) :
Nom
Description
Domaine
nlivr
Nombre de livres
achetés ou empruntés
par mois
0-10
nhist
Nombre d’histoires lues
par les parents par
mois
0-30
sexe
Sexe de l’élève
0-1
necr
Nombre d’heures
passés devant un
écran par jour (tablette,
télévision,
ordinateur…)
0-5
0 : Fille
1 : Garçon
5/34
petu
Niveau d’études du
père
0-5
0 : Aucun / Brevet
1 : BEP / CAP
2 : Bac
3 : Bac + 2
4 : Bac + 2 à Bac +5
5 : Bac + 8
metu
Niveau d’études de la
mère
0-5
0 : Aucun / Brevet
1 : BEP / CAP
2 : Bac
3 : Bac + 2
4 : Bac + 2 à Bac +5
5 : Bac + 8
mtrav
La mère de l’élève
exerce une activité
0-1
0 : Non
1 : Oui
ptrav
Le père de l’élève
exerce une activité
0-1
0 : Non
1 : Oui
hdom
Heure de retour du
premier parent au
domicile
0-3
0 :<= 17h
1 : 17h01 - 18h00
2 : 18h01-19h00
3 : > 19h00
Création de l’expérience
Avant de commencer, nous devons définir une expérience concernant tous les élèves ayant
répondu au quiz de compréhension de lecture.
Pour cela, nous créons une nouvelle expérience de type “prise de niveau” que nous
nommerons “méthode de lecture”.
La première fois que vous accéderez à la partie “Expérience”, l’expérience “Méthode de lecture”
sera automatiquement disponible. Vous pourrez donc ignorer cette étape.
6/34
Nous ouvrons cette expérience et ajoutons le quiz “Compréhension lecture” aux quiz de
l’étude.
Pour ajouter le quiz “Compréhension lecture”, qui contient 20 questions, aux quiz de l’étude, il vous
suffit de le chercher par son nom dans la barre de recherche puis de cliquer sur la petit flèche à
droite du quiz.
Le groupe “Population interrogée”, qui comporte les personnes ayant répondu aux quiz de
l’étude, est automatiquement actualisé. Il comporte 500 personnes.
Le groupe “Population interrogée” contient l’ensemble des élèves ayant répondu aux quiz
sélectionnés.
L’étude pouvant être complétée par d’autres professeurs interrogeant de nouveaux élèves, le
groupe “Population interrogée” peut être différent au moment où vous lisez ces lignes. Pour être
certain d’utiliser les même données que celles qui ont été utilisées lors de la rédaction de ce
manuel, vous pouvez utiliser le groupe “Étude méthode de lecture” en lieu et place du groupe
“Population interrogée” dans la suite de ce manuel.
7/34
8/34
Analyse qualitative
Dans l’onglet “ACP”, partie “Configuration de l’analyse”, nous sélectionnons l’étude
“méthode de lecture” que nous venons de créer. Le groupe “Population interrogée” est
sélectionné par défaut, nous cliquons sur “OK”.
La liste des critères renseignés pour la population interrogée apparaît alors. Nous
retrouvons les 13 critères de l’étude, qui sont cochés par défaut (nous ne voyons ici que les
premiers critères car il est possible de les faire défiler verticalement).
Quand nous cliquons sur “Lancer l’analyse”, une ​Analyse en Composantes Principales
(ACP)​ est effectuée.
La propriété de l’ACP que nous allons exploiter ici est sa capacité à produire des graphiques
fournissant un point de vue privilégié sur les données, comme le ​cercle des corrélations
(qui va nous permettre de mieux identifier les ensembles de critères redondants) ou ​la carte
des individus (qui va nous permettre de mieux séparer les individus sur la base des
critères).
9/34
L’Analyse en Composantes Principales (ACP)
L’ACP est une technique utilisée dans des problèmes mettant en jeu de nombreuses variables. Elle
combine des variables liées (ou corrélées) pour créer de nouvelles variables décorrélées les unes
des autres, appelées composantes principales.
La construction des composantes principales peut être expliquée de manière géométrique.
Imaginons que nous connaissons les valeurs de critères c1 et c2 sur une population. Nous
pouvons représenter chaque individu dans un repère d’axe c1 et c2. Chaque individu est un point
dont les coordonnées sont les valeurs pour les critères c1 et c2.
L’ACP effectue un changement de repère, de telle manière que le nuage de points formé par les
individus s’étale le plus possible selon un premier axe p1 (le long de la droite décrite ci-avant), puis
selon un deuxième p2, et ainsi de suite. Ces nouveaux axes sont les composantes principales.
Le nouveau repère peut être vu comme une rotation du repère initial. Dans ce nouveau repère, les
données varient le plus selon p1, puis p2, et ainsi de suite.
Dans notre étude, nous allons utiliser la capacité de l’ACP à nous fournir un point de vue privilégié
sur les données. Comme les individus varient le plus sur les premières composantes principales,
on peut projeter le nuage de points sur ces axes en le déformant le moins possible (c’est à dire en
préservant au maximum les distances : deux individus éloignés le resteront globalement, et
inversement).
Si nous reprenons le nuage de points de notre exemple, on peut constater que l’on peut le projeter
sur l’axe p1 en gardant la majorité de l’information sur les distances entre individus.
10/34
Ce processus de projection permet de mieux mettre en évidence des groupes d’individus ayant des
valeurs similaires de critères, appelés “​clusters​”. Dans la figure ci-dessus on peut par exemple
identifier un petit groupe d’individus sur la gauche, détaché du reste de la population.
Il permet également d’observer la population de manière commode quand nous sommes en
présence de 3 critères ou plus : comme la visualisation de la population dans un espace de
dimension 3 ou plus n’est pas aisée, il est utile de la représenter dans un espace de dimension 2
(un plan) en étant le plus fidèle possible à la répartition initiale des individus.
C’est ce qui est fait en projetant les données dans un plan défini par les deux premières
composantes principales. Cette projection est appelée “​carte des individus​” (voir encadré dédié
pour plus d’informations).
Réduction du nombre de critères
La partie “Corrélations entre critères” va nous aider à éliminer d’éventuels critères
redondants.
Le premier graphique de cette partie est appelé “Matrice des corrélations”. Pour chaque
couple de critères, un point de couleur indique si ces critères sont (linéairement) liés ou non.
Un point bleu indique que les deux critères sont corrélés (point bleu) ou anti-corrélés (point
rouge).
11/34
Deux critères corrélés (corrélation proche de 1) évoluent dans le même sens. Par exemple,
le point bleu au croisement de nlivr et nhist signifie que si nlivr augmente, hist augmente. En
d’autres termes, plus il y a de livres à la maison, et plus le nombre d’histoires lues par les
parents augmente. Certaines corrélations sont plus subtiles, celle entre petu et metu, qui
indique les parents ont très souvent le même niveau d’études.
Deux critères anti-corrélés (corrélation proche de -1) évoluent en sens opposé. Par exemple,
le point rouge au croisement de nhist et hdom signifie que si nhist augmente, hdom diminue
(ou inversement : si hdom augmente, nhist diminue). En d’autres termes, plus les parents
rentrent tard à la maison, et moins ils lisent d’histoires à leur enfant.
Corrélation linéaire
Le coefficient de corrélation que nous utilisons dans cette étude est le coefficient de Pearson. Il
mesure la force d’un lien linéaire entre deux critères.
Il existe un lien linéaire entre deux critères c1 et c2 si les valeurs de c2 peuvent être déduites de
celles de c1 (et inversement) en utilisant une équation de droite.
Cela peut être vu qualitativement en représentant les individus d’une population dans un repère
d’axe c1 et c2 (chaque individu est un point dont les coordonnées sont les valeurs pour les critères
c1 et c2).
Si c1 et c2 sont linéairement corrélés, alors le nuage de points formé par la population décrit
globalement une droite, illustrée en bleu dans l’exemple ci-dessous :
12/34
Le coefficient de corrélation donne une mesure quantitative du lien linéaire entre les variables. Il est
calculé en mesurant la distance entre la valeur réelle de c2 et la valeur théorique donnée par la
droite bleue (chaque distance est représentée par un petit segment noir dans la figure ci-après).
Si ce coefficient est proche de 1 (en valeur absolue), alors ce lien est fort. L’exemple ci-dessus, les
critères c1 et c2 ont un coefficient de corrélation de 0.91 environ.
Le signe du coefficient indique si les critères évoluent dans le même sens ou non. S’il est positif, c1
et c2 évoluent dans le même sens : si c1 augmente, c2 augmente (c’est le cas dans notre
exemple). S’il est négatif, ils évoluent en sens contraire : si c1 augmente, c2 diminue (et
inversement).
13/34
Si le coefficient est proche de 0, il n’y a pas de lien ​linéaire entre les variables. Il est important de
noter que cela n’exclut pas qu’il y ait pas d’autres types de liens, plus complexes.
Par exemple, dans la figure ci-dessous, il y a un lien fort entre c1 et c2, puisqu’on a exactement c2
= c1 x c1 (les points décrivent une parabole). Mais la droite moyenne (horizontale) est une
approximation médiocre, aboutissant à un coefficient de corrélation égal à 0.
14/34
On constate que de nombreux critères sont liés deux à deux, mais il n’est pas aisé
d’identifier des ensembles de critères redondants. Pour ce faire, une vue plus appropriée est
le cercle des corrélations.
Dans cette représentation, les critères pouvant être regroupés sont alignés (ils ont la même
direction, mais pas nécessairement le même sens). Deux critères allant dans le même sens
sont corrélés (par exemple petu et ptrav) et deux critères allant dans un sens opposé sont
anti-corrélés (par exemple petu et necr). On peut facilement le vérifier dans la matrice des
corrélations.
Le cercle des corrélations met clairement en avant deux axes d’étude :
1. Un axe “statut socio-professionel des parents” (spro), orienté à 45°, dans lequel on
trouve petu, ptrav, metu, et necr;
2. un axe “lecture accompagnée à domicile” (lecta) orienté à -45°, dans lequel on trouve
mtrav, hdom, nlivr et nhist.
Pour simplifier l’étude, nous n’allons conserver qu’une variable par axe (les autres pouvant
être déduites avec une erreur très limitée compte-tenu des fortes corrélations) :
- la variable petu pour l’axe “spro”
- la variable nhist pour l’axe “lecta”
15/34
En renouvelant l’opération plusieurs fois (en décochant les critères déjà traités), nous
finissons avec l’ensemble de critères suivant : petu, nhist, sexe, tclass et mlect. Nous
pouvons vérifier que les critères conservés ne sont que très faiblement corrélés :
Carte des individus
Comme décrit dans l’encadré “Analyse en Composantes Principales”, chaque individu peut
être représenté par un point positionné en utilisant la valeur de ses critères. Une difficulté se
pose quand il y a plus de 2 critères : les points sont alors dans un espace de dimension 3 ou
plus, il faut alors les projeter dans un plan pour pouvoir les observer.
Dans la carte des individus, les individus sont projetés dans un plan qui est défini par les
deux premières composantes principales (voir l’encadré “ACP” pour en avoir une définition).
Ceci permet d’étaler au plus le nuage de points formé par les individus, et d’ainsi faciliter la
visualisation des clusters présentés dans la prochaine partie.
Carte des individus
Considérons que l’on représente chaque individu d’une population par un point ayant pour
coordonnées la valeur de ses critères. La représentation de cette population est un nuage de
points dans un espace à n dimensions, où n est le nombre de critères.
Quand n > 2, il faut projeter le nuage de point dans un espace de dimension 2 (un plan) pour
pouvoir le visualiser. Cette projection implique une altération des distances qui séparaient
initialement les points. Pour illustrer cela, imaginons deux points A et B en dimension 3. La
16/34
projection de ces points sur le plan rouge altère beaucoup plus les distances que celle sur le plan
vert. Le plan vert semble donc un meilleur choix que le rouge pour différencier au mieux les points.
Comme nous l’avons vu dans l’encadré concernant l’ACP, les composantes principales sont
calculées de telle sorte que le nuage de point s’étale le plus selon la première composante
principale p1, puis la deuxième p2, et ainsi de suite jusqu’à pn. Le plan défini par les deux
premières composantes principales p1 et p2 est donc celui qui aboutira à une déformation
minimale du nuage de points.
La projection de la population dans ce plan particulier est appelée “carte des individus”. Elle permet
de distinguer au mieux les éventuels groupements de points (appelés des clusters).
Dans l’exemple ci-dessous, nous considérons une population évaluée sur 3 critères c1, c2, c3. Les
composantes principales p1 et p2 sont illustrées par des flèches de couleur, et le plan
correspondant en pointillés. Après projection dans ce plan, les deux groupements de points
présents en 3D restent clairement distinguables.
17/34
Clustering
Le clustering permet de constituer des groupes les plus homogènes possibles en termes de
valeurs de critères. Ces groupes sont appelés des clusters. Les individus appartenant à un
même cluster auront des valeurs de critères similaires.
La figure ci-après montre le clustering de la population réalisé par l’outil en se basant sur les
valeurs des 5 critères sélectionnés. Par défaut, l’outil calcule automatiquement le nombre de
clusters (ici 2).
Les clusters sont totalement distincts (leur intersection est vide). Mais en 2 dimensions, les
clusters semblent se recouvrir car ils sont projetés dans un espace de dimension 2 depuis
un espace plus grand (5 dimensions ici). Le fait de représenter les clusters dans la carte des
individus limite ces recouvrements mais ne permet pas de les éliminer.
18/34
Nous allons ajouter ce clustering en tant que groupe dans notre expérience “méthode de
lecture”. Ceci va nous permettre de manipuler ce groupe dans l’onglet “Expériences”.
Notion de groupe
Un groupe est un ensemble d’utilisateurs “Je Lève La Main” satisfaisant un ensemble de
contraintes sur des critères. Dans l’onglet “Expériences”, on peut par exemple créer des groupes
sur des contraintes géographiques à différentes échelles : ensemble des élèves d’un
établissement, d’une ville, d’un département, etc. On peut aussi utiliser des critères (personnels ou
partagés par d’autres utilisateurs) pour créer des groupes, par exemple regrouper les élèves par
sexe, par catégorie socio-professionnelle des parents, etc. Voir le manuel pour plus de détails.
La partie “clustering” du module ACP permet de créer automatiquement des groupes en regroupant
les individus par similarité sur les critères. Un groupe est créé par cluster.
Pour ce faire, nous cliquons sur
cliquons sur OK.
, nous conservons le nom par défaut “clustering1” et
Première analyse des clusters
Le clustering que nous venons de générer va nous permettre de tenter d’établir un lien entre
la valeur des critères qui caractérisent ces clusters et le niveau de lecture des individus
appartenant à ces clusters.
Méthode d’analyse expérimentale
L’objectif d’une analyse ACP avec “Je Lève La Main” est en effet d’obtenir des clusters permettant
de mettre en évidence des différences de niveau.
Dans ce cas, cela signifie que les critères sélectionnés pour obtenir ces clusters sont pertinents et
qu’ils sont liés au niveau atteint par les élèves. Dans le cas contraire, l’ACP ne met en évidence
aucun lien entre critères et niveau atteint - ce qui signifie que l’expérience est négative.
Pour cela, nous allons dans l’onglet “Expériences” et sélectionnons l’étude “méthode de
lecture”.
Dans la partie “Groupes”, nous constatons qu’une nouvelle partie est apparue : “ACP”. Cette
partie contient tous les clusterings calculés dans la partie ACP - pour le moment uniquement
le clustering nommé “clustering1”.
19/34
Nous constatons que le groupe “clustering1” est bien une partition de la population
interrogée. Il contient tous les individus de la population interrogée (500 personnes), et se
divise en 2 sous-groupes “Cluster : 1” (255 personnes) et “Cluster 2” (245 personnes). On a
bien 255 + 245 = 500.
Nous pouvons évaluer les résultats du groupe “clustering1” sur le quiz “Compréhension
lecture” en ajoutant ce groupe aux groupes de l’étude :
Ensuite, nous cliquons sur l’icône
résultat suivant :
de la partie “Carte de niveau” et nous obtenons le
20/34
Nous constatons qu’il n’y a pas de différence significative de niveau entre les 2 clusters. Si
l’on regarde les choses un peu plus en détail (en cliquant sur le carré bleu puis vert), on peut
constater que la répartition des niveaux dans ces clusters est très similaire à celle de la
population interrogée :
21/34
Elimination des critères non pertinents
Valeur normalisée
Les critères peuvent avoir des ordres de grandeur très hétérogènes selon leur nature. Par
exemple, on peut voir que le critère “tclass” varie entre 0 et 5 alors que le critère “sexe” varie entre
0 et 1. On a donc un facteur 5 entre ces critères.
Dans ces conditions, une différence de valeur sur un critère n’a pas du tout la même importance
selon le domaine sur lequel varie ce critère. Par exemple, une différence de 1 sur “tclass” est
beaucoup moins importante qu’une différence de 1 sur “sexe”. En effet, quand on parle de “tclass”,
“une différence de 1” sous-entend une “différence de 1 sur 5 niveaux possibles”.
Il est donc plus pertinent de parler d’une différence ​relative de 1/5 soit 20% qu’une différence
absolue de 1. En raisonnant ainsi, deux individus ayant une différence de 1 sur le critère “sexe”
sont différents à 100%.
On passe de valeurs absolues à des valeurs relatives par un processus de normalisation qui
consiste à faire le calcul suivant :
valeur normalisée = (valeur initiale - valeur minimale) / (valeur maximale - valeur minimale)
Ce calcul aboutit à un critère variant sur l’intervalle [0,1] (0 = 0%, 1 = 100% de la valeur initiale du
critère) quel que soit le domaine de variation initial de ce critère.
Par exemple, si on considère un critère “année de naissance” variant sur l’intervalle [1950, 2000],
on obtient les valeurs normalisées suivantes sur quelques exemples de valeurs initiales :
Valeur initiale
Valeur normalisée
1950
0
1952
0,04
1965
0,3
1974
0,48
1988
0,76
2000
1
Les valeurs obtenues sont appelées “valeurs normalisées”.
A ce stade, notre expérience a échoué puisque les clusters obtenus ne nous disent rien sur
le niveau de lecture des élèves.
22/34
Analysons ce qui différencie le plus les clusters 1 et 2. Pour ceci, nous retournons dans
l’onglet “ACP”, partie “Valeur des critères sur les clusters”, et nous demandons d’évaluer la
différence de valeur de critères entre les clusters 1 et 2 :
Procédure de comparaison des clusters / Différence de valeur normalisée
Pour comparer la valeur des clusters sur les critères, l’outil procède comme suit :
1. Il calcule la valeur moyenne de chaque cluster sur chaque critère ;
2. il normalise chaque valeur pour la ramener dans l’intervalle [0,1] (voir encadré “valeur
normalisée” pour plus de détails) ;
3. il calcule la différence (en valeur absolue) de ces valeurs.
En procédant de la sorte, la différence de valeur entre deux clusters sur un critère sera
nécessairement entre 0 (différence de 0%) et 1 (différence de 100%), et cela, quel que soit la
nature du critère.
Ceci permet de donner la même importance à chaque critère, ce qui permet de mieux identifier les
critères qui varient le plus (relativement à leur ordre de grandeur). Par exemple, dans la figure
suivante, le fait d’utiliser des valeurs normalisées permet de voir que c’est le critère 2 (et non le
critère 1) qui varie le plus sur les clusters.
23/34
Utiliser des valeurs normalisées permet également d’obtenir un graphique plus lisible, car il suffit
d’un seul critère variant sur un grand intervalle pour “écraser” les différences sur tous les autres
(comme on peut le voir dans la partie gauche de la figure).
Nous constatons que les clusters sont totalement différents sur le critère “sexe” (la valeur 1
correspond à une différence de “100%”) : un cluster ne contient que des filles, et l’autre que
des garçons.
Nous avons aussi constaté que les deux clusters avaient des niveaux de lecture équivalents,
nous pouvons donc en déduire que le critère “sexe” n’a pas d’impact sur le niveau de
lecture.
Deuxième analyse des clusters
Le critère “sexe” n’ayant pas d’impact sur le niveau de lecture, nous pouvons l’exclure de
notre étude pour tenter d’identifier les critères ayant un impact sur le niveau parmi les
restants.
Cette exclusion se fait en décochant le critère “sexe” dans la liste des critères dans la
configuration de l’analyse :
24/34
Nous recalculons les clusters en fixant le nombre de clusters à 4 pour bien séparer les
sous-groupes tout en gardant des sous-groupes de taille raisonnable (un nombre élevé de
clusters peut amener à des sous-groupes contenant très peu d’individus) .
Nous ajoutons ce nouveau clustering à l’étude sous le nom “clustering2”.
Si nous regardons la composition de ce clustering, nous constatons que les sous-groupes
sont de taille homogène et qu’ils possèdent au moins 100 personnes.
25/34
Si nous demandons les résultats de ce clustering sur le quiz de compréhension, nous
constatons une différence significative de niveau entre les clusters 1 et 2.
Cette fois, la répartition des niveaux entre les deux clusters est nettement différente :
Nous observons également que ce qui différencie le plus ces deux clusters est le critère
“petu”, puis “mlect”. Les autres critères sont quasiment identiques sur ces clusters, leur
différence de valeur étant inférieure à 5%.
26/34
Nous pouvons en déduire que les critères “mect” et “petu” ont un impact sur le niveau, mais
nous ne pouvons pas en dire plus. En particulier, ce n’est pas parce que ce les clusters se
différencient le plus sur le critère “mlect” que ce critère a le plus d’impact sur le niveau.
Nous pouvons toutefois avoir une idée de l’évolution du niveau en fonction des critères en
utilisant la fonction de partitionnement de la partie “Expériences”.
Par exemple, pour observer l’impact de “mlect” sur le niveau de lecture, nous pouvons créer
une partition “mlect” sur la base du critère “mlect” (voir le manuel de l’outil d’analyses
statistiques pour le détail des opérations).
La partition “mlect” contient autant de sous-groupes que de méthodes de lecture. Et comme
précédemment, l’ensemble des membres de ces sous-groupes donne la population
interrogée.
27/34
Si nous évaluons les résultats de la partition “mlect” sur le quiz de référence, nous obtenons
les niveaux suivants :
Nous voyons clairement que le niveau évolue dans le même sens que mlect, ce qui permet
d’identifier une tendance mais pas d’expliquer (et encore moins de prévoir) quantitativement
des résultats. C’est le but du module prédictif que nous allons utiliser dans la partie suivante.
28/34
Analyse quantitative
La partie ACP permet d’étudier une population sous l’angle des critères indépendamment de
ses résultats sur des quiz.
Comme nous l’avons vu plus haut, il est possible de tenter d’établir des liens entre critères et
résultats par le biais des clusters. Cependant, cette procédure nécessite de nombreux
aller-retours entre les onglets “Expérience” et “ACP”, et permet d’établir des relations
qualitatives uniquement.
L’onglet “Expérience” contient un module dont le but est d’établir des relations quantitatives
entre critères et niveau. Il s’agit de la partie “Module prédictif”. Ce module est qualifié de
prédictif car il permet non seulement d’expliquer le niveau en fonction des critères, mais
aussi de prédire le niveau d’un élève à partir des valeurs connues sur les différents critères
de l’étude.
Arbre de décision
Quand nous appuyons sur
, le module commence par séparer la population interrogée
en deux sous-populations : une population d’apprentissage (80% de la population
interrogée) et une population de test (20%).
La population d’apprentissage est utilisée par le module pour construire un arbre de
décision. Cet arbre résume les répartitions observées des niveaux sur la population
d’apprentissage en fonction de seuils sur les critères. La figure ci-après montre l’arbre
obtenu sur les données de notre étude :
29/34
Dans cet arbre, les noeuds contiennent dans la partie haute un niveau moyen (% de bonnes
réponses) et le pourcentage de la population ayant ce niveau. Les noeuds sont colorés en
utilisant un dégradé de couleur allant du vert (niveau : 100% de bonnes réponses) au rouge
(0%).
La racine de l’arbre correspond au niveau moyen de la population d’apprentissage : 49% de
bonnes réponses.
Nous avons un premier choix selon la valeur du critère “petu”. Si sa valeur est inférieure à
1.5 (ce qui correspond aux niveaux d’études “Sans diplôme / Brevet” et “BEP / CAP”), le
niveau moyen observé est environ 43% de bonnes réponses (ce qui concerne 58% de la
population d’apprentissage). Si la valeur est supérieure à 1.5 (ce qui correspond à un niveau
d’études “Bac ou supérieur”), le niveau moyen observé est environ 57% de bonnes
réponses (42% de la population d’apprentissage).
Ensuite, d’autres choix permettent d’affiner la valeur du niveau. Il est à noter qu’un même
critère peut faire l’objet de plusieurs choix successifs. Par exemple, si nous allons à droite
au choix “mlect < 1.5”, cela signifie que “mlect < 1.5” est faux, c’est à dire mlect >= 1.5. Ceci
correspond aux valeurs 2 (dominante syllabique) et 3 (syllabique).
Il y a ensuite un autre choix, “mlect < 2.5” permettant de distinguer ces deux cas. Si nous
allons à gauche, cela signifie que “mlect < 2.5” est vrai, donc nécessairement mlect = 2 =
“dominante syllabique”. Sinon, mlect = 3 = “syllabique”.
30/34
Nous constatons que les deux premiers critères de choix sont “petu” et “mlect”, ce qui est
conforme avec nos précédentes conclusions. Cependant, ce n’est pas parce que “petu” est
situé à la racine de l’arbre qu’il s’agit du critère ayant le plus d’impact sur le niveau.
En effet, l’importance d’un critère est déterminée par sa contribution à la construction de
chaque feuille de l’arbre (noeuds tout en bas). Par exemple, le critère “mlect” intervient deux
fois dans la construction de la feuille en bas à droite (73 / 6%) et “petu” une seule fois.
L’évaluation de l’importance des critères pouvant être complexe et souvent contre-intuitive,
le module présente une partie “importance relative des critères”. On parle d’importance
relative car ces résultats sont associés à ​cet​ arbre de décision.
Le logiciel fournit un graphique mettant en évidence l’importance relative des critères. Nous
pouvons constater que l’importance relative des critères “petu” et “mect” est la même, ce qui
était difficile à estimer en observant l’arbre.
On peut donc en déduire que le niveau de lecture des élèves est principalement impacté, et
en proportions égales, par le niveau d’études des parents et la méthode de lecture.
Prédiction
Nous pouvons enfin prédire le niveau d’un élève à partir de la connaissance que nous avons
de la valeur des critères sur cet élève.
Pour cela, nous entrons le nom d’un étudiant dans la partie “Prédiction du niveau d’une
personne” et appuyons sur “Prédire”.
31/34
Le module navigue alors dans l’arbre de décision en fonction des valeurs des critères
connues pour l’étudiant choisi, jusqu’à atteindre une feuille (les valeurs manquantes sont
complétées en utilisant les valeurs connues sur le reste de la population). Le niveau de la
feuille correspond à la prédiction du niveau pour cet étudiant.
Le module prédit un niveau de 56,6% de bonnes réponses alors que le niveau réel est de
45%, soit une erreur absolue de 11,6% environ. C’est une précision remarquable quand on
pense au peu d’informations utilisées pour faire cette prédiction : uniquement les valeurs des
critères “petu” (utilisé deux fois) et “mlect”.
Il faut cependant rester prudent car d’une part, les résultats peuvent énormément varier d’un
individu à l’autre, et d’autre part, il faut prendre soin de ne pas utiliser d’individus
appartenant au groupe d’apprentissage pour évaluer la qualité des prédictions.
En effet, l’arbre de décision a été construit pour donner les meilleurs résultats possibles sur
le groupe d’apprentissage. Dans certaines circonstances (groupe d’apprentissage de trop
petite taille ou non représentatif de la population totale par exemple), l’arbre peut trop “coller”
aux données d’apprentissage. Dans ces conditions, nous obtiendrons d’excellents résultats
32/34
sur la population d’apprentissage mais des résultats médiocres sur des individus totalement
nouveaux.
C’est pourquoi il est d’usage de tester la qualité des prédictions sur des individus que le
module n’a jamais vu pendant la phase d’apprentissage. C’est l’objectif du groupe de test.
Pour l’expérience “Méthode de lecture” vous pouvez prédire le niveau d’un étudiant en le cherchant
par son nom (écrire “Test” dans la barre de recherche, puis choisir un étudiant).
Groupe de test
Considérons qu’un critère c2 évolue de façon périodique en fonction d’un critère c1 sur une
population (comme illustré par la courbe bleue sur la figure ci-dessous) et que le groupe
d’apprentissage ne contienne que des exemples pour c1 appartenant à l’intervalle [-3,3].
A la fin du processus d’apprentissage, le système pourrait tout à fait aboutir à un modèle illustré par
la courbe noire. Pour c1 appartenant à [-3,3], la courbe apprise par le système et la courbe réelle
sont quasiment confondues. Ainsi, sur la population d’apprentissage, l’erreur de prédiction sera
proche de 0.
Or, on voit clairement que pour des individus ayant une valeur de c1 hors de [-3,3], la prédiction
sera de plus en plus mauvaise à mesure que c1 augmente (en valeur absolue).
Ceci peut être détecté en utilisant des individus n’appartenant pas au groupe d’apprentissage. Ce
groupe est appelé “​groupe de test​”. C’est uniquement sur ce groupe de test que l’erreur de
prédiction sera pertinente, car la qualité des prédictions est évaluée sur des individus que le
système n’a jamais vu lors de sa phase d’apprentissage. Ainsi, nous minimisons le risque que le
système ait appris “par coeur” des réponses pour ces individus. On vérifie ainsi que le système a
correctement généralisé le concept qui lie les critères (une généralisation correcte ici serait un
33/34
sinus par exemple).
En pratique, on utilise 80% de la population initiale pour constituer le groupe d’apprentissage et
20% pour le groupe de test.
Dans notre exemple, nous avons constitué le groupe d’apprentissage dans l’intervalle [-3,3] pour
accentuer le problème de sur-apprentissage. Mais dans la pratique, il faut que le groupe
d’apprentissage et le groupe de test soient tous deux des échantillons représentatifs de la
population initiale. Il faudrait donc piocher des individus dans l’intervalle capturant l’ensemble de la
variabilité de c1 (l’intervalle [-8, 8] ici). L’important est que les individus de ces deux groupes soient
différents.
La partie “Erreur de prédiction” présente le pourcentage du groupe de test ayant eu au plus
une certaine erreur de prédiction.
On peut par exemple observer que l’erreur maximale de prédiction est environ 22% sur le
groupe de test, ou encore qu’une erreur d’au plus 12% a été obtenue pour 80% du groupe
de test.
34/34
">