Séance du 21 janvier 2016
LES INDICATEURS DE PERFORMANCES DES SYSTEMES EDUCATIFS : RAPPORT DU CONSEIL SCIENTIFIQUE DU SEMINAIRE Intervenants Elias Benzina, ingénieur Statisticien Economiste, University of Oxford, ENSAE Bernard Hugonnier, co-directeur du séminaire de recherche Ecole et République du Collège des Bernardins.
Dans le cadre des réflexions pour améliorer les systèmes éducatifs, au regard du rapport du Conseil scientifique du séminaire de recherche Ecole et République, une étude a été menée sur la question des indicateurs de performances des systèmes éducatifs. Le Conseil scientifique a essayé de mesurer la qualité des systèmes éducatifs des trente-quatre pays de l’OCDE et de développer les moyens de mesure optimaux. Plusieurs démarches ont alors été envisagées : à partir d’objectifs déterminés, voir si le système éducatif les atteint, ce qui atteste alors de sa qualité, ou mesurer et développer toutes sortes de statistiques et se faire à partir de cela une image de la qualité. Mais, prises individuellement, les statistiques fournies par les enquêtes ne donnent qu’une vague idée des performances réelles des systèmes. Quatre indicateurs de performances des systèmes éducatifs De ce fait quelques indicateurs (des critères) ont été développés qui permettent d’établir une image précise de ce que valent les systèmes éducatifs de l’OCDE. Trois indicateurs ont été retenus : l’efficacité, l’efficience et l’équité. L’efficacité mesure la capacité d’un système éducatif d’atteindre une haute performance moyenne, tout en limitant la proportion de jeunes qui ont de faibles performances et en maximisant la proportion de ceux qui en ont de très bonnes. L’efficience établit un rapport entre les dépenses et l’efficacité et l’équité mesure l’écart entre les plus faibles et les plus hautes performances ainsi que l’impact du milieu social sur les performances des élèves. Le Conseil scientifique a ajouté un quatrième indicateur sur l’engagement des élèves et leur motivation avec quatre éléments constitutifs de statistiques : le manquement et le retard aux cours, le bienêtre et le sentiment d’appartenance à l’école, un indice synthétique de motivation instrumentale à l’école: travailler pour réussir et avoir un métier de qualité par la suite, un indice synthétique de motivation instrumentale pour apprendre les mathématiques, un indice synthétique de persévérance (aller jusqu’au bout du devoir ou de la leçon…). Méthode de construction des indicateurs Concernant la méthode visant à construire les indicateurs, deux étapes sont nécessaires. D’abord, le choix des statistiques : parmi les nombreuses statistiques disponibles portant sur l’éducation, seules les statistiques exploitables, stables, bien renseignées (élimination des statistiques aux valeurs manquantes) différentes entre elles (calcul de corrélation entre les statistiques), et qui correspondent aux indicateurs, sont retenues (en l’occurrence une trentaine de statistiques réparties entre les quatre indicateurs). Puis, l’étape suivante est l’agrégation des statistiques. Afin d’établir un classement qui regroupe et uniformise toutes les informations inhomogènes, une Z-scores a été établie pour chaque statistique, qui a été additionnée sans aucune pondération pour calculer l’indicateur. Une méthode identique sera utilisée pour le calcul d’un indicateur global.
Séminaire de recherche Ecole et république Collège des Bernardins – 20 rue de Poissy – 75 005 Paris
L’analyse des résultats témoigne de plusieurs éléments. D’abord, en regardant les trois indicateurs que sont l’efficacité, l’efficience et l’équité, le Canada, le Japon et l’Estonie arrivent trois fois sur trois dans les cinq premières places ; dans les dix premières places, on trouve l’Allemagne, l’Australie, l’Autriche, les Pays bas et la Pologne… Dans les dernières positions, on trouve le Chili (trois fois sur trois), le Mexique et la République Slovaque. On note aussi que la dernière place est tenue par le Mexique et l’avant-dernière par la France en matière d’équité. En revanche, en intégrant l’indicateur d’engagement, le Mexique est en première place et d’autres pays en retard dans les trois autres indicateurs remontent sensiblement dans le classement alors que les pays dans les premières places (comme le Japon, la Corée ou la Finlande) sont plutôt dans les dernières en matière d’engagement. Il y a une espèce de rang inversé faisant que ceux qui étaient parmi les meilleurs pour l’efficience, l’efficacité et l’équité se retrouvent avec un moins bon classement pour l’engagement. Inversement, ce qui semble contre-intuitif in fine car l’on peut légitimement penser que lorsque l’engagement des élèves et leur motivation sont plutôt élevés, cela devrait favoriser de meilleures performances et inversement. Analyse des résultats De manière générale, il ressort de l’analyse les points suivants : ni la taille de la population ni la richesse du pays ne semblent influencer le classement de la performance globale, l’efficacité et l’efficience semblent également moins prégnantes dans les pays moins développés que dans les pays développés et l’engagement ne semble pas avoir un fort impact général ni sur l’efficacité ni sur l’équité des systèmes éducatifs. Corrélativement, très rares sont les pays qui présentent une certaine cohérence globale dans les quatre indicateurs : -
-
-
-
Les pays ayant le plus faible écart-type en ce qui concerne leurs rangs respectifs sont la Grèce (1,15), la Slovénie (2,21), les Pays-Bas (3,40), la Suède (3, 87), la Suisse (3,78), l’Autriche et le Danemark (4,11), le Luxembourg (4,54) et l’Irlande (4, 96). Les pays qui présentent la plus forte dispersion dans leurs rangs respectifs sont les suivants : le Mexique (avec un écart-type de 15), la Corée (14,6), la Hongrie (14), le Chili (13, 6), le Japon (12,5), la Pologne (12,3), le Canada et l’Islande (12,2). Il ne semble pas, au vu de la dispersion et du manque de cohérence de leurs résultats, qu’il y ait un modèle parmi les pays « germaniques » (Allemagne, Autriche, Suisse), ni parmi les pays « anglosaxons » (Australie, Canada, Etats-Unis, Grande-Bretagne, Nouvelle Zélande), ni parmi les pays nordiques (Finlande, Danemark, Islande, Norvège, Suède), ni parmi les pays latins (France, Italie, Espagne, Grèce). Le classement global met également en lumière des pays dont on a peu parlé jusqu’à présent comme l’Estonie (en première place), l’Australie (en quatrième), l’Irlande et les Pays-Bas ( cinquième et sixième), les Etats-Unis (dixième) malgré une faible efficacité (vingt et unième) mais une efficience et une équité honorables (troisième et quatorzième) et surtout un fort engagement (sixième). Le cas de la Pologne est également atypique : classée sixième en efficacité et en efficience, ce pays ne se trouve qu’à la treizième place en performance globale à cause d’une équité moyenne (quinzième position) et surtout d’un très mauvais classement en matière d’engagement (trentedeuxième). Enfin, le séminaire a fait état de son étonnement concernant la Finlande pour l’indicateur d’engagement (dix-septième place) alors qu’on a coutume de penser que l’engagement de l’étudiant en Finlande est très élevé, comme sa motivation intrinsèque et instrumentale, alors qu’en fin de compte les élèves interrogés ont une perception radicalement différente sur ce point.
Séminaire de recherche Ecole et république Collège des Bernardins – 20 rue de Poissy – 75 005 Paris
Le débat Le débat a mis l’accent sur la limitation de l’étude statistique qui ne prend en compte que ce qui est mesurable au détriment de paramètres intéressants plus difficiles à mesurer pour attester de la qualité des systèmes éducatifs comme la citoyenneté ou la civilité… ou à l’inverse d’autres paramètres tout à fait mesurables comme le nombre d’heures passées à l’école par jour, le taux de suicide, d’abandon ou d’échec scolaire, etc.(bien que la variabilité de ces données en fonction des pays en complique l’étude). A été aussi souligné le problème posé par la non-pondération attribuée aux indicateurs dans la mesure où l’on peut imaginer accorder certaines priorités à certains des quatre indicateurs. L’indicateur d’engagement et de motivation a également fait débat, notamment en ce qui concerne le cas de la France : en intégrant l’indicateur d’engagement, la France est à la trente-troisième place dans le classement global vs vingt-quatrième si celui-ci n’est pas pris en compte. De plus, cet indicateur a été considéré comme véritablement marginal et donc peu cohérent (et peu objectif) au regard des autres indicateurs. Le concept même d’engagement a été considéré comme problématique dans la mesure où le bien-être à l’école ne détermine pas systématiquement un engagement scolaire. La question des corrélations croisées a également été abordée : a été ainsi relevé la corrélation entre les trois indicateurs principaux mais la faible corrélation entre ces derniers et l’indicateur d’engagement qui n’est pas fortement explicatif de l’indicateur global ; la corrélation moindre entre l’efficacité et l’efficience (qu’on aurait pu imaginer beaucoup plus élevée). Enfin, des pistes ont été proposées, certaines en vue d’affiner la méthode utilisée et obtenir ainsi des renseignements plus précis : -
-
Une analyse détaillée des Z-scores de chacune des statistiques à l’intérieur de chaque critère avec une étude des corrélations entre chaque statistique. L’établissement d’une matrice de corrélation globale avec une analyse en composante principale pour voir si les indicateurs se retrouvent sur une même dimension et si les statistiques mesurent bien le critère en question et notamment si elles mesurent autre chose, ce qui permettrait soit d’ajouter une nouvelle statistique soit de la retirer. Une éventuelle repondération des statistiques (mais au nom de quoi ??) Une prise en compte distincte de ce qui est déclaratif des élèves et de ce qui est déclaratif des évaluateurs. Avoir à disposition les instruments de manipulation adéquats pour que chacun puisse pondérer différemment les indicateurs de manière à (ré) interpréter l’indicateur global.
Le 23 juin prochain, le séminaire de recherche « Ecole et République » du Collège des Bernardins organise son colloque conclusif sur le thème « Scénarios pour une nouvelle école ».
Séminaire de recherche Ecole et république Collège des Bernardins – 20 rue de Poissy – 75 005 Paris
