Les limites du dialogue en matière de sondages sur l’ÉCR

J’avais trouvé plutôt problématique l’analyse présentée par Jean-Pierre Proulx sur la constante des sondages en faveur du programme Éthique et culture religieuse. J’ai exposé les lacunes de son article «La majorité souhaite un enseignement non confessionnel» (Le Devoir, 19 septembre 2008) dans un billet précédent ÉCR en débat : Une interprétation douteuse des sondages sur l’enseignement religieux.

Soit dit en passant, je me pose de sérieuses questions sur la manière dont on fait intervenir les sondages dans les nouvelles et dans le débat public en général. Sur la question des changements en enseignement moral et religieux, depuis dix ans, on assiste à une utilisation faussement scientifique des sondages pour défendre une cause préétablie alors qu’ils devraient servir comme outils pour mieux appréhender la réalité sociale. Ce sont les préoccupations qui m’animent en abordant le présent cas, pour mettre de l’avant quelques interrogations et hypothèses.

Voilà qu’à la suite de la publication des résultats du récent sondage de l'Association des parents catholiques du Québec (APCQ) , le professeur y va encore de son analyse sur la portée de ce sondage en défendant la «valeurs» des «bons sondages» qui manifestent l’appui de la majorité et la «sagesse» de la décision gouvernementale. Il fait paraître dans le blogue du RAEQ un texte sous le titre À propos d'un récent sondage sur le programme ECR. Où loge la sagesse? (24 octobre 2008).

Vous pourrez prendre connaissance de son billet sur le site d’origine, je vous livre ici le contenu de mon commentaire et l’échange qui s’en est suivi, jusqu’à ce que le «dialogue» prenne fin faute de… (à vous de juger)

1- Commentaire de: Roger Girard (10/25/08)

Votre billet cherche à préciser certains éléments de manière à justifier le programme Éthique et culture religieuse, maintenant obligatoire au primaire et au secondaire. L’intention est légitime, mais les arguments suscitent certaines questions et même des réserves sérieuses.

Pourquoi minimiser la signification du récent sondage de l’APCQ? Vous invoquez la question de la «désirabilité sociale» comme un facteur qui aurait fortement accentué l’accord des répondants. En dépit de votre référence à des spécialistes, vous vous trompez sans doute de «phénomène explicatif». Voici une citation éclairante à ce propos :

«Le concept de désirabilité sociale entendu comme étant «la tendance d’un individu à admettre et à adopter les traits et les comportements qui sont désirables ou acceptables, et à rejeter, à l’inverse, ceux qui ne le sont pas» [Zerbe et Paulhus, 1983] traduit l’influence de la norme sociale dans les réponses apportées aux enquêtes. Autrement dit, quel que soit son avis ou son comportement, l’individu donnera la réponse qui lui semble être socialement acceptable.»(cf. le site site COMINDUS/Borel, consulté le 24 octobre 2008)

Vous trouvez que ce n’est pas la bonne question à poser, mais on doit prendre les résultats pour ce qu’ils manifestent, soit la répartition très probable des opinions de la population sur la question posée.

Vous avez bien raison de rappeler qu’il serait inacceptable de «gouverner par sondage». Mais c’est une tendance bien normale pour les élus de «décider ce qui est le plus sage» est tenant compte de ce qui semble le plus sage aussi aux yeux de leurs concitoyens. Ils représentent le peuple, on ne peut leur reprocher d’être à l’écoute de celui-ci. Dans l’hypothèse où la nécessité d’une décision ne s’avère pas être partagée par la population, les élus prendront toutes les dispositions possibles pour exposer les motifs de leur décision (comme la chose est arrivée pour l’obligation de la ceinture de sécurité en auto). Lors de grandes questions, on procède évidemment à un vote référendaire ou électoral. Dans le cas qui nous occupe, ce sont les élus qui ont fait référence à l’acceptation populaire, il faut croire qu’il s’agit d’un motif important pour eux. D’après la teneur des décisions et de leurs justifications en 2000 et en 2005, je considère que «l’évolution de la population», telle que pressentie alors, représente une raison déterminante d’en venir à étendre l’obligation du programme Éthique et culture religieuse à tous les élèves. Bien entendu, d’autres facteurs ont joué, et certains ont provoqué la précipitation des étapes de réalisation du projet, de sorte que l’on se retrouve actuellement avec les problèmes que l’on connaît.

De plus, si l’on doit se fonder sur des grands choix de société, telle la «mission de socialisation» impartie à l’école, il est abusif de le faire en laissant entendre que ces «buts sociétaux» doivent nécessairement se concrétiser de telle ou telle manière. La préoccupation du vivre-ensemble, la norme d’égalité devant la loi, la conformité aux chartes ne constituent pas un livre d’instructions pratiques. J’imagine qu’il existe plus d’une modalité d’application.

Il y a une modalité que vous écartez en raison de «la gestion pédagogique de la diversité» : l’offre de multiples programmes confessionnels… Que le système soit devenu «impraticable», c’est facile à admettre, mais a-t-on fixé des paramètres appropriés pour le rendre praticable? Déjà, pour des raisons d’organisation scolaire et de principes sociopolitiques, bien des décideurs et des leaders d’opinion privilégiaient le cours commun et obligatoire. Pourquoi n’a-t-on pas mieux expliquer au public que cette modalité était matériellement impossible ou du moins trop coûteuse? (C’est tout de même la position de 26% des mémoires traitant de programmes à la commission parlementaire en 1999.) Votre allusion aux «groupes minoritaires» possiblement mal servis nous ramène au profond dilemme qu’a cherché à élucider la commission Bouchard-Taylor : comment la protection des groupes minoritaires peut-elle s’articuler avec la sauvegarde de la majorité? Mais il vaut mieux examiner cela en pratique dans les écoles.

Votre argument pastoral est tout à votre honneur. Il est bon de rappeler que des parents catholiques ont tout intérêt à suivre la voie indiquée par leurs évêques… Mais quand vous signalez que «l’éducation de la foi [ne] se fasse plus à l’école», vous devriez vous rappeler que c’est depuis 1984 que le virage s’est fait, avec les «Orientations pastorales» et que les cours d’enseignement religieux confessionnel étaient définies depuis ce temps en objectifs éducatifs et non catéchétiques. Il y a quelque chose à déchiffrer dans les attentes des parents et je ne suis pas certain que les évêques l’aient réussi mieux que le Ministère. Du côté des responsables ecclésiaux, on voit surtout une heureuse conséquence, celle de vivifier la communauté paroissiale en s’occupant de la formation à la vie chrétienne. Dans son «témoignage public», Mgr Morissette rappelle cependant que«les parents ont à être vigilants à l’égard de ce qui se passe avec le cours Éthique et culture religieuse» (étant les mieux placés à cet effet) : un conseil peu entendu jusqu’ici.

Malgré le dernier sondage, vous pouvez ainsi continuer d’affirmer que, la sagesse de la décision gouvernementale reflétant celle de la population, le présent programme «rejoint les aspirations d’une majorité de Québécois». On pourrait penser ici aux aspirations profondes ou implicites, mais vous référez au texte que vous avez signé le 19 septembre dans Le Devoir, «La majorité souhaite un enseignement non confessionnel». Malheureusement, votre interprétation laisse voir, à mon avis, de graves problèmes de méthode. Un examen critique de votre démarche révèle, entre autres, que vous n’avez pas tenu compte de la marge d’erreur en décrétant qu’il y a une majorité, que vous avez amalgamé des réponses différentes dans votre grille interprétative et que vous aviez sélectionné des sondages convergents. Je ne reprendrai pas ici les explications que je développe dans le billet «ÉCR en débat : une interprétation douteuse des sondages sur l’enseignement religieux» (cf. le blogue «ethiqueetculturereligieuse»). Je vous invite à en prendre connaissance; je compte bien avoir vos réactions pour me réajuster s’il y a lieu.

Où loge la sagesse? Sans doute dans nos efforts pour chercher à clarifier ensemble ce qui fait l’objet de dissension dans la population et dans cette recherche commune de vérité qui doit nourrir le vivre-ensemble de notre société.

Permalien 10/25/08 @ 20:41

2- Commentaire de: Jean-Pierre Proulx (10/26/08)

M. Girard,

J’admets sans difficulté aucune que les personnes qui ont répondu à la question du sondage de l’Association des parents catholiques n’ont pas dit le contraire de ce qu’ils pensaient. J’admets tout autant que le recours au concept sociologique de « désirabilité sociale », tel que vous le rapportez n’est pas adéquat. En revanche, je soutiens qu'une question qui a pour objet la liberté induit plus spontanément une réponse favorable parce que la liberté est un bien particulièrement désirable. Cela dit et dans cette mesure, je ne conteste pas que la répartition des répondants telle qu’observée est « très probable ».

Mais le véritable débat ne loge pas à ce niveau. Il se situe au niveau des conséquences et des difficultés qu’entraînerait la possibilité pour les parents d’un choix entre enseignement confessionnel et le programme ECER. J’ai réagi au sondage de l’APCQ pour illustrer ces conséquences.

Mais je m’arrête là. Je pourrais bien continuer d’argumenter avec vous à cet égard – le débat intellectuel m’est agréable – mais, dans l'ordre de l'action, cela n’est tplus pertinent. L’exercice est inutile et dépassé. Car il y a un temps pour délibérer (il a duré huit ans!), un temps pour décider et un temps pour mettre en œuvre. On en est à la mise en œuvre du programme.

Permalien 10/26/08 @ 13:40

3- Commentaire de: Roger Girard (10/27/08)

M. Proulx,

Si le temps n’est plus à la discussion mais à l’action pour la mise en œuvre du programme, pourquoi vous attardez-vous à écrire des commentaires sur les sondages? Et pourquoi livrer des textes à des lecteurs (de journaux et de blogue) s’ils sont «indiscutables»?

Je vous comprends d’être harassé par la longueur du débat, lui ayant consacré des énergies considérables, mais il risque malheureusement de se prolonger encore longtemps si l’on ne peut compter sur un minimum de vision commune de cette réalité sociale qui nous préoccupe de part et d’autre.

Permalien 10/27/08 @ 08:43

4- Commentaire de: Jean-Pierre Proulx (10/27/08)

Parce que, selon les circonstances, j'estime que cela est utile. Ce fut le cas, à propos du sondage de l'ACPQ. Ce n'est pas une question de principe. En ce qui concerne ce billet, vous m'avez répondu, je vous ai répondu, J'ai dit ce que j'avais à dire. Il ne me paraît pas pertinent d'aller plus loin.

10/27/08 @ 08:58

ÉCR en débat: une interprétation douteuse des sondages sur l’enseignement religieux

(version évolutive)

Dans un texte paru le 19 septembre dernier, sous le titre «La majorité souhaite un enseignement non confessionnel», le professeur Jean-Pierre Proulx soutient que les résultats du sondage Léger Marketing Le Devoir réalisé en août 2008 viennent confirmer «la tendance observée avec constance depuis 1998 quant aux attentes des Québécois concernant la place de la religion dans l'enseignement à l'école».

Bien qu’elle reflète une idée largement partagée par les leaders d’opinion des milieux universitaire, syndical et autres, la thèse avancée avec chiffres et tableaux à l’appui est-elle aussi solide que l’auteur le prétend? La question est d’autant plus importante que la décision de rendre obligatoire le programme Éthique et culture religieuse avec la loi 95 en 2005 suppose une ouverture de l’opinion publique à l’égard de l’enseignement de la religion à l’école.

En effet, il faut rappeler l’explication du ministre François Legault, en 2000, lors de l’adoption de la loi 118 qui instaurait un programme Éthique et culture religieuse pour la fin du secondaire seulement en conservant le régime d’option entre un enseignement moral et religieux confessionnel (catholique ou protestant) et un enseignement moral uniquement. Celui-ci avait alors déclaré qu’il convenait «d’accompagner le Québec dans son évolution socioreligieuse, sans chercher à résister à cette évolution, sans chercher non plus à la téléguider à distance du pays réel». C’est dire que les élus estimaient en 2005 que la population était prête pour ce virage crucial en la matière, car ils auraient hésité à adopter la loi 95 s’ils avaient pensé que cette «évolution socioreligieuse» ne s’était pas réalisée depuis 2000. Les consultations en commission parlementaire et les débats à l’assemblée nationale n’ont toutefois pas donné lieu à une discussion des fondements empiriques de cette perception de la société québécoise. Dans son communiqué de presse du 5 mai 2005, le ministre Fournier avait déjà affirmé que le nouveau programme était «largement souhaité par une majorité de Québécois» et le site ministériel reprend encore aujourd’hui cette allégation comme allant de soi. La chose est peut-être vraie, mais sans doute pas sur la base des données disponibles.

En réactualisant ainsi l’argument statistique de la majorité en faveur du nouveau programme, dans le sillage de l’avis (février 2005) présenté par le Conseil supérieur de l’éducation qu’il présidait alors, le professeur Proulx nous donne l’occasion de porter un nouveau regard sur les sondages utilisés et sur l’interprétation qui en est proposée. Il y a quelques mois, dans présent blogue et dans celui du RAEQ, j'ai eu l'occasion de débattre de cette question avec Jean-Pierre Proulx: invité à se prononcer sur une possible remise en question des avancés de l'avis du Conseil. il avait refusé en invoquant son droit ou son devoir de réserve...Voici brièvement trois remarques de nature à remettre en question la constance de la dite «tendance majoritaire» ressortant des sondages.

1- L’ignorance de la marge d’erreur

Le sondage Léger Marketing de 2008 rapporte bien que 52% des répondants ont jugé préférable d’offrir «le nouveau cours d’éthique et de culture religieuse», mais le rapport précise bien que l’échantillon présente une «marge d’erreur maximale de ±3,4%, 19 fois sur 20». C’est dire que le score 52% doit plutôt être considéré comme se situant entre 48.6% et 56.4% dans 95% des cas. Pour certains spécialistes, si l’on désire augmenter le niveau de fiabilité à 99%, la marge d’erreur grimpe alors à 4,4%. En tenant compte de la marge d’erreur, on ne peut donc conclure à une nette majorité absolue, si minime soit-elle.

2- L’amalgame des questions dans la grille interprétative

S’il est difficile d’interpréter un sondage avec certitude ou du moins selon une méthode qui permette d’éviter de prêter aux résultats une signification indue, la tâche devient encore plus complexe et plus risquée lorsque l’on établit des liens entre plusieurs sondages. Le tableau 1 du professeur Proulx présume que d’un sondage à l’autre, les questions ont la même signification et qu’elles entrent simplement sous la rubrique annoncée. Mais rien n’est assuré là-dessus. Par exemple, dans le sondage du CRIC en 2004, il est possible que des répondants du Québec se soient prononcés en faveur de «renseigner les enfants sur toutes les grandes religions du monde» en ayant en tête que cela se faisait déjà dans l’école avec les programmes d’enseignements moral et religion catholique et protestant suivis par la majeure partie des enfants. J’ai tenu à vérifier cette hypothèse auprès de la responsable du sondage à cette époque, madame Gina Bishop, et elle m’a confirmé par écrit que cela a pu se produire. Il est donc présomptueux de considérer les résultats à cette réponse comme équivalents au choix de l’énoncé «le nouveau cours d’éthique et de culture religieuse». Dans les sondages ici mis à contribution, les répondants n’ont certes pas saisi les sujets traités d’une manière aussi uniforme que lors d’enquête sur des produits commerciaux ou sur des candidats politiques bien identifiés, et la corrélation des scores d’un sondage à l’autre devient par conséquent plus délicate. Faute de considérer le sens propre de chaque question dans chaque sondage, l’exercice risque de fausser l’analyse sociale en réifiant l’opinion publique.

3- La sélection de sondages convergents

Avec raison, le professeur Proulx fait appel à des sondages réalisés de manière rigoureuse, par des firmes professionnelles. Mais pourquoi avoir écarté un sondage mené en même temps que celui de la Coalition pour la déconfessionnalisation du système scolaire en février 2005, qui fut produit également par Léger Marketing et peut-être auprès du même échantillonnage? Le sondage en cause est donc tout aussi «scientifique» que les autres, figurant d’ailleurs dans le répertoire Opinéduq dont il est le maître d’œuvre. En dépit d’une faible notoriété, ce sondage demandé par l’Association des études canadiennes s’avère tout autant susceptible d’apporter un éclairage valable sur les attentes de la population : il vient cependant infirmer la «tendance» défendue par le professeur Proulx. À titre d’indication, la seule mention médiatique retracée, un article dans The Gazette le 17 février 2005, portait ce titre plutôt à contre-courant : «Most Quebecers favour religion in school».

Et que penser du refus de prendre en compte le sondage de CROP de 2007, sous le prétexte que celui-ci aurait insistait sur la liberté au détriment de la considération des «bonnes et légitimes raisons» qui peuvent justifier les contraintes imposées par la loi. Ce sondage risquait évidemment de mettre à mal la «tendance» si bien exprimée par les sondages retenus.

En somme, la constance que démontre le texte du professeur Proulx tient moins des statistiques que de la démarche interprétative. Face aux problèmes en éducation, comme dans d’autres domaines, le recours à des constructions factices de l’opinion publique ne peut que compromettre la délibération en vue du bien commun et la crédibilité des solutions mises de l’avant. Au-delà des convictions personnelles et des représentations convenues, s’appliquer à bien percevoir la société existante que l’on désire améliorer de quelque façon. Tout le défi est là!