Comment la crédibilité méthodologique se traduit-elle dans la perception publique des résultats de l’évaluation et de ses méthodes?

Résumé de l’étude :

Jacobson & Azzam (2016) indiquent que la perception du public lors de l’évaluation d’un programme ou d’une politique est trop peu souvent considérée par les évaluateurs. Ils mentionnent que les résultats d’une évaluation ont la possibilité d’influencer l’opinion publique et de rejoindre un nombre plus large de personnes qu’avant, mais qu’il y a peu d’information disponible au sujet de leurs interprétations ou compréhensions. Ainsi, leur étude explore comment les membres du public perçoivent les méthodes d’évaluation et les résultats (positifs ou négatifs) auxquels ils sont exposés, puis comment leurs perceptions affectent leur opinion négativement ou positivement au sujet du programme évalué. Pour eux, connaître la réaction du public envers une description d’évaluation pourrait éclairer le choix du type d’évaluation et les aspects à considérer pour l’utilisation des résultats, ainsi qu’optimiser la manière de rapporter les résultats, de transmettre leur crédibilité et éviter les mauvaises interprétations.

Alors, un cadre conceptuel a été élaboré par les auteurs pour mettre ces divers éléments en relation. Le cadre comprend le type de méthodes évaluatives, les croyances liées à l’évaluation de programme, la direction des résultats de l’évaluation (positive ou négative), la crédibilité des résultats et les attitudes envers le programme évalué. Sur la base de ces éléments, les auteurs ont formulé quatre (4) questions de recherche :

• Quelle est l’influence des méthodes évaluatives sur la crédibilité des résultats?
• Quelle est l’influence de la direction des résultats sur la crédibilité des résultats?
• Quelle est l’influence de la direction des résultats sur les attitudes envers le programme évalué?
• Comment la crédibilité des résultats affecte-t-elle la relation entre la direction des résultats et les attitudes envers le programme?

Méthodes

Les chercheurs ont utilisé une méthode de « crowdsourcing » (externalisation ouverte[1]). Les 425 participants ont été recrutés via MTurk et l’indice de validité externe (représentativité de la population générale) était acceptable pour les besoins de l’étude. Un devis exploratoire mixte a été retenu pour l’étude, c’est-à-dire qu’une simulation quantitative a été privilégiée et accompagnée de questions de clarification qualitatives au besoin. Les participants ont reçu au hasard une des huit versions d’un communiqué de presse décrivant les résultats d’une étude évaluative réalisée dans le domaine de l’éducation, contenant une combinaison unique de résultats d’évaluation (le programme a eu un effet ou n’a pas eu d’effet) et de devis de recherche (devis expérimental, quasi-expérimental, longitudinal ou études de cas). Suite à la lecture du communiqué de presse, les participants ont répondu à un questionnaire composé de questions fermées et ouvertes au sujet de leurs attitudes et de leur confiance envers les résultats.

Résultats et implications

En général, les résultats de l’étude indiquent que la crédibilité de l’évaluation peut être un facteur important d’influence du public. Dans leur analyse, ils démontrent significativement que la direction des résultats (positifs ou négatifs) prédit le niveau de confiance envers le programme. Un plus grand niveau de confiance apparaît lorsque les résultats sont positifs plutôt que négatifs. Le devis (expérimental, quasi-expérimental, longitudinal ou étude de cas) peut influencer la perception du public au sujet de la crédibilité d’une évaluation. Les auteurs soulignent, entre autres, que le choix des méthodes évaluatives a peu d’effet sur la crédibilité des résultats de l’évaluation. De plus, ils indiquent que la direction des résultats de l’évaluation (positifs ou négatifs) affecte directement les attitudes envers le programme et indirectement la confiance envers les résultats de l’évaluation. Ils notent qu’une partie des répondants hésitent à modifier leur attitude vis-à-vis les résultats négatifs. Ils indiquent que cela semble être causé par l’incompatibilité de leurs attentes envers le programme préalablement décrit positivement avec les résultats négatifs. De plus, l’étude souligne que l’indépendance de l’évaluateur peut être un facteur de confiance envers les résultats de l’évaluation.

Les auteurs indiquent que leurs résultats ne peuvent être généralisés à d’autres contextes et la description des scénarios à la manière d’articles de journaux pouvait affecter la capacité des participants à juger de la qualité des données. Toutefois, ils mentionnent que leur étude permet d’illustrer comment les rapports d’évaluation pourraient mieux refléter les préoccupations du public. Ils soulignent que cela pourrait se traduire par l’inclusion de la vision du public via des conversations avec les parties prenantes, des sondages publics ou par une participation dans l’évaluation.

Commentaires

Suite à la lecture de l’article, il est possible de se questionner sur la place et l’importance accordée à l’opinion publique dans la démarche évaluative. Cette question est liée à plusieurs aspects importants de l’évaluation comme la transparence, la participation du public à l’évaluation et la sensibilité politique du contexte d’évaluation. Les auteurs ont indiqué que les participants ont a priori des croyances et des valeurs concernant un programme (dans ce cas c’était l’éducation) (Jacobson et Azzam, 2016). En ce sens, la perception des participants peut être contextuelle et influencée par des facteurs qui dépassent largement la portée de l’évaluation. Suite à cette lecture, nous nous demandons s’il serait pertinent dans une recherche empruntant une méthode similaire d’identifier préalablement des éléments de contexte susceptibles d’influencer les réponses des participants ou de sonder davantage leurs convictions politiques et sociales avant de leur présenter le communiqué de presse.

Les résultats de l’étude permettent aussi de se questionner sur les méthodes de diffusion des résultats de l’évaluation afin de les rendre accessibles et compréhensibles pour un large public. Dans une perspective délibérative, cette compréhension pourrait conduire vers une plus grande implication du public au regard des politiques publiques et des décisions les concernant (Fischer et Gottweis, 2013; Hendricks, 2014). Un processus d’inclusion et de délibération peut aider à éveiller des perspectives, des arguments pertinents et des valeurs envers un programme, soutenir les gestionnaires dans la négociation de la complexité des enjeux, puis garantir la légitimité démocratique du processus évaluatif et ses effets.

Appel à la co-création des connaissances

Nous vous convions maintenant comme lecteur, praticien, chercheur ou évaluateur à nous faire part de vos expériences ou réflexions afin d’enrichir cette question et de contribuer à la co-création des connaissances en matière d’évaluation des programmes et des politiques publiques.

Au plaisir de vous lire!

Bibliographie

Fischer, F., & Gottweis, H. (2013). The argumentative turn in public policy revisited: Twenty years later. Critical Policy Studies, 7(4), 425‑433. https://doi.org/10.1080/19460171.2013.851164

Hendricks, C. (2014). Policy Evaluation and Public Participation. Dans E. Araral, S. Fritzen, M. Howlett, M. Ramesh, & X. Wu (Éds), Routlegde Handbook of Public Policy (pp. 434‑446). USA & Canada : Routledge.

Jacobson, M. R., & Azzam, T. (2016). Methodological Credibility: An Empirical Investigation of the Public’s Perception of Evaluation Findings and Methods. Evaluation Review, 40(1), 29‑60. https://doi.org/10.1177/0193841X16657728

[1] Externalisation ouverte, dans l’Office québécois de la langue française, 2016 http://gdt.oqlf.gouv.qc.ca/ficheOqlf.aspx?Id_Fiche=45436