Recherche

Depuis 2009, les fonctions d’évaluation fédérales doivent être évaluées par un expert externe à tous les cinq ans. Ces “évaluations neutres” visent, d’une part, à assurer à l’administrateur général du ministère ou de l’agence que l’organisation respecte les directives et les normes de la Politique sur l’évaluation (2009-2016) et de la Politique sur les résultats (depuis 2016). Elles visent aussi à sonder les clients internes de la fonction d’évaluation au sujet du rendement des évaluateurs et de l’utilisation des évaluations produites au sein de l’organisation.

Aperçu des résultats

Vidéo: Bourgeois I, Maltais S (2021) Dix ans d’évaluations neutres: qu’avons-nous appris?

Support de présentation : Bourgeois et Maltais – Évaluations neutres

Dix ans d’évaluations neutres: qu’avons-nous appris?

Notre étude visait à examiner les rapports d’évaluation neutres réalisés au nom des fonctions d’évaluation fédérales canadiennes. Nos objectifs étaient de :

1. déterminer comment les évaluations neutres étaient conçues et menées jusqu’à présent;
2. d’identifier les principales tendances des opérations, des pratiques et de l’utilisation de l’évaluation dans les organisations du gouvernement fédéral.

Pour ce faire, nous avons analysé diverses approches utilisées et les principaux résultats obtenus. Au total, 41 rapports en provenance de 28 organisations fédérales différentes ont été analysés. La période évaluée variait de 3 à 6 ans d’activités et que la durée de l’évaluation neutre elle-même était de 3 à 4 mois. La plupart des évaluations ont été réalisées par des évaluateurs externes ou par des auditeurs externes.

Les questions qui guidaient les évaluations touchaient, entre autres, à la conformité aux attentes du Conseil du Trésor; à la gouvernance et la gestion de la fonction d’évaluation; à la qualité et la rapidité des produits d’évaluation; et à la capacité à mener les évaluations; à l’utilisation réelle.

En termes de méthodes, presque tous ont fait un examen de documents et des entrevues auprès d’informateurs clés. Plusieurs ont réalisé des sondages auprès de clients, des groupes de discussion avec le personnel d’évaluation, l’analyse secondaire de données des clients et administrateurs ou encore des études de cas sur des projets d’évaluation.

Nous avons noté que la majorité des rapports traitaient de la conformité avec la politique même s’ils restaient quelque peu vagues dans leur déclaration de conformité. Pour ce qui est des capacités en évaluation de l’équipe, il existait une variabilité importante d’une organisation à l’autre. Presque tous les rapports indiquaient que les évaluations étaient utilisées par les gestionnaires de programme et les cadres supérieurs pour prendre des décisions. Cependant, de nombreux rapports indiquaient également que les évaluations ne traitaient pas de questions d’intérêt pour les cadres supérieurs et ne contribuaient pas à la prise de décision. Il y avait donc une confusion notable entre deux notions soit la capacité à utiliser versus l’utilisation réelle. Plusieurs recommandations ont été faites dans ces rapports notamment sur l’importance d’impliquer les principales parties prenantes tout au long du processus d’évaluation.

Qu’avons-nous donc appris des dix dernières années d’évaluations neutres? Il y a eu une évolution notable de la fonction d’évaluation ces dernières années, principalement attribuable à la Politique sur les résultats. Il existe désormais une meilleure compréhension du rôle que l’évaluation peut jouer dans les organisations gouvernementales. Cependant, des questions subsistent sur la valeur ajoutée de la fonction d’évaluation et sur la meilleure façon de soutenir la prise de décision. Les futures évaluations neutres devraient envisager de s’éloigner d’une approche axée sur la conformité et les opérations pour aller vers une évaluation fondée sur des preuves des contributions de l’évaluation. Enfin, elles devraient continuer à être effectués par des parties externes et neutres, mais avec l’objectif d’améliorer les mesures prises pour l’utilisation des évaluations et avec des comparaisons externes appropriées.

• • Bourgeois, I., et Maltais, S. (2022). Translating evaluation policy into practice in government organizations. American Journal of Evaluation, December, https://doi.org/10.1177/10982140221079837
  • Bourgeois, I., et Maltais, S. (2022). Evaluating the evaluators: What have we learned from “neutral assessments” of the Canadian federal evaluation function? Canadian Public Administration, 65 (1), February, 122-143, https://doi.org/10.1111/capa.12454 
  • Fraser, M., Tremblay, G., Bourgeois, I., et Lahey, R.E. (2013). Neutral assessment of the National Research Council Evaluation Function. Revue canadienne de l’évaluation des programmes, 28 (2), 85-96.

Nos travaux portant sur les évaluations neutres s’inscrivent dans un programme de recherche plus vaste s’intéressant à toutes les facettes de la fonction d’évaluation fédérale. Parmi les nombreux projets que nous avons réalisés dans ce domaine, nous comptons les suivants, qui ciblent l’utilisation des évaluations pour la prise de décisions :

• • Bourgeois, I., et Naré, C. (2015). The « usability » of evaluation reports: A precursor to evaluation use in government organizations. Journal of Multidisciplinary Evaluation, 11 (25), 60-67.
  • Bourgeois, I. (2016). Performance measurement as precursor to organizational evaluation capacity. Evaluation Journal of Australasia, 16 (1), 11-18.
  • Bourgeois, I., et Whynot, J. (2018). The influence of evaluation recommendations on instrumental and conceptual uses: An exploratory study. Evaluation and Program Planning, 68, 13-18. DOI: https://doi.org/10.1016/j.evalprogplan.2018.02.008
  • Bourgeois, I., et Whynot, J. (2018). Strategic evaluation utilization in the Canadian federal government. Revue canadienne d’évaluation de programme, 32 (3), 2018.
  • Bourgeois, I., et Leblanc, L. (2019). L’élaboration et la mise en œuvre des recommandations issues d’évaluations de programmes au gouvernement du Canada. Administration Publique Canadienne, 62 (2), 294-311.