Bien sûr, il ne s’agit pas de jeter le bébé avec l’eau du bain. Malgré ce qui suit, PISA reste une étude statistique importante et intéressante, qui constitue une mine d’informations sur les systèmes éducatifs – à partir du moment où on fait attention à ce qui y est comparé.

Tous les trois ans depuis 2000, la livraison de l’OCDE arrive sur les bureaux des rédactions, dans sa version synthétique (PISA, c’est plus de 1000 pages, faut peut-être pas espérer qu’on les lise vraiment, je l’ai fait une fois, plus jamais merci bien, de toute façon les experts eux-mêmes mettent plusieurs mois à en tirer le substrat), et tous les trois ans on se retrouve avec la même frénésie de comparaison, de classement, avec pour point d’orgue la nomination officieuse, par chez nous qui cumulons les places médiocres, de l’exemple à suivre pour les trois années à venir. Il y a eu le miracle finlandais – allez coco, allons voir comment font les vikings – puis l’arrivée massive et impressionnante des "pays" du sud-est asiatique en tête des classements – file prendre un avion, bonhomme, qu’on comprenne ce qui s’y passe. Cette année, ce sont deux pays qui attirent les projecteurs et concentrent l’attention des journalistes : le Canada 3^ème en lecture) et… l’Estonie (3^ème en sciences, 6^ème en lecture).

La particularité, cette année, et cela a été peu relevé, ce sont les critiques venues de certains pays parmi les mieux classés.

La Suisse refuse de publier les résultats

On l’a appris le jour de la publication des résultats, mardi 6 décembre dernier. La Suisse, qui arrive en tête du classement des pays européens pour les maths (8^ème du général sur 72, derrière la cohorte asiatique et devant l’ex-modèle finlandais), a purement et simplement refusé de publier les résultats la concernant.

La raison ? Trop de biais statistiques, à tel point que les données ne sont pas jugées crédibles. « Nous sommes confrontés à un très sérieux problème de qualité dont les conséquences sont difficilement mesurables », écrit Christoph Eymann, conseiller d’Etat, dans une lettre à l’OCDE. « De nombreuses questions posées à l’OCDE restent sans réponse et rendent impossible d’interpréter de manière détaillée les données concernant la Suisse ». Appuyé par les membres du consortium scientifique de PISA en Suisse (!), Eymann juge qu’il est impossible de comparer les résultats avec ceux des études précédentes tant la méthodologie a changé entre les éditions.

La Suisse pointe notamment du doigt le déroulement du test, désormais fait à l’ordinateur et non plus sur papier : les éventuels effets sur les élèves n’ont pas été pris en compte, alors qu’il n’est pas possible, par exemple, de revenir en arrière durant le test pour modifier une réponse.

L’échantillon suisse a également été sensiblement modifié depuis la dernière édition : le pourcentage d’allophones (élève dont la langue maternelle n’est pas celle du pays), supérieur de 10 points à celui de 2012 n’est pas jugé représentatif de la population des jeunes de 15 ans. Enfin, la Suisse met l’accent sur le changement de prestataire chargé de l’enquête (l’américain ETS au lieu de l’australien ACER), qui n’applique pas tout à fait la même méthode qu’auparavant. La Suisse demande à l’OCDE l’ouverture d’un « débat scientifique indépendant (…) Ce serait une erreur de vouloir dès maintenant interpréter les données du point de vue politique ou même d’en tirer des conclusions concernant le système scolaire suisse ».

Plus globalement, plusieurs observateurs ont noté que les scores des meilleurs pays sont tous en baisse, parfois de manière sensible. Serait-ce dû au changement de prestataire et de méthode pointé par les Suisses ?

Au Québec, une grève aurait faussé les résultats

Au Canada, l’ambiance est globalement bonne. Le Canada est à la fête, ses élèves excellent en lecture (3^èmes) et se montrent à leur avantage en maths (10^èmes) et en sciences (7^èmes). Pourtant, certains appellent à prendre les résultats du pays avec « circonspection ». En cause, le fort taux de non-réponse : moins de 52% des écoles québécoises sollicitées ont participé à l’étude, alors que le taux minimum exigé est de… 85% ! Une petite différence, tout de même, due à un appel à la grève lancé par la Fédération québécoise des directions d’établissement (FQDE) pour protester contre le salaire des directeurs d’école – les grévistes refusaient de participer à l’étude. Les membres de la FQDE représentent 70% des écoles du Québec, toutes publiques, on suppute un mouvement de grève très suivi, et on s’interroge en conséquence sur la proportion d’écoles privées ayant participé à l’étude, ce qui pourrait avoir artificiellement modifié l’échantillon, et donc les résultats : un rapport mentionne d’ailleurs que les pourcentages d'écoles anglophones et d'écoles privées qui ont répondu au PISA en 2015 ne correspondent pas à ceux observés dans l'ensemble du système scolaire québécois. « L'échantillon ne tient pas la route. Il n'est pas représentatif. On ne peut pas prendre des décisions pour un système scolaire de 1,3 million d'élèves comme le nôtre à partir des résultats des tests PISA. » 

Un problème récurrent au Québec, comme le note le site lapresse.ca.

L’Asie remise en question

Le Figaro a choisi, pour sa couverture de l’événement, un angle PISA-sceptique. Pour Marie-Estelle Pech, l’étude est « parfois décriée car elle met sur le même niveau des pays économiquement et socialement très différents (…). PISA compare-t-il ce qui est comparable ? Notre pays peut-il s’inspirer de Singapour, ile de 5,5 millions d’habitants à l’extrême sud de la péninsule malaise ? Ou de la Corée du Sud, pays où les enfants, à côté de l’école, sont quasiment tous inscrits dans une deuxième structure pour prendre des cours particuliers à très haute dose ? Un pays où le taux de suicide chez les adolescents est le plus élevé de la planète, largement nourri par l’angoisse scolaire. Quant aux régions chinoises citées en exemple pour les bons résultats, ce sont des régions côtières en plein développement industriel, financier et économique, peu représentatives du reste de la Chine. »

Ce dernier aspect n’a pas échappé au blog La vie moderne qui note que dans PISA 2015 Shanghai est incluse dans un ensemble de quatre provinces (Pékin, Shanghai, Jiangsu et Guandong) alors qu’elle apparaissait seule en 2012. Conséquence, l’écart entre les résultats de 2012 et ceux de 2015 est très important : 73 points en moyenne en moins ! En compréhension de l’écrit, ils sont même inférieurs à ceux de la France (494 points contre 505). Et encore, « la plupart des provinces chinoises restent oubliées par PISA », sans quoi les résultats seraient, sans doute, encore moins bons.

Bref, on le voit, si on veut pouvoir utiliser PISA pour ce qu’il est, à savoir une formidable banque d’informations sur les systèmes éducatifs, il faut mettre de côté les classements génériques, éviter les conclusions hâtives et la sacralisation des modèles éducatifs qui réussissent. Rien n’empêche alors d’observer ce qui se fait ailleurs, comment cela est fait, et éventuellement si cela peut être importé en France et selon quelles modalités.

 

Nota : si vous êtes courageux, voici l'étude, ici (il n'y a que le premier volume, 516 pages). On pourra aussi lire l'article de Libé qui liste les bonnes pratiques internationales et celui qui donne la parole à trois profs français exilés dans des pays bien classés.

Suivez l'instit'humeurs sur Facebook et sur Twitter @LucienMarboeuf.