L’évaluation de programmes à l’heure des choix difficiles

Madame Bourgeois a commencé sa présentation en rappelant la définition de l’évaluation de programmes qui vise à examiner, grâce à des méthodes de recherche sociale, le mérite et la valeur des interventions publiques et d’en évaluer la pertinence, l’efficacité et l’efficience.

Au Canada, la fonction d’évaluation fédérale existe depuis 1977, mais a grandement évolué au fil des ans. Plus récemment, en 2016, la Politique sur les résultats a été adoptée et celle-ci encadre les pratiques de la fonction.

Dans cette section, nous résumerons les 4 études présentées par la professeure :

1. Étude exploratoire portant sur les recommandations tirées de 25 rapports d’évaluation (Bourgeois et Whynot, 2018). On y comprend que la plupart des 90 recommandations portaient sur l’efficacité (57%) et l’efficience (32%) des programmes, mais très peu sur la pertinence (11%).
2. Étude descriptive sur les recommandations s’appuyant sur une enquête par sondage menée auprès de 27 directions d’évaluation de la fonction fédérale (Bourgeois et Leblanc, 2019 – Article primé par le prix Parenteau). Cette étude rapporte que quelque 55% des évaluations sont appuyées par un comité consultatif et que 54% des évaluations impliquent les gestionnaires et/ou le personnel pour l’élaboration des recommandations.
3. Étude sur les examens neutres grâce à l’analyse de 41 rapports d’évaluation (Bourgeois et Maltais, 2022, Administration publique du Canada). Celle-ci analyse les différentes dimensions de la Politique sur les résultats de 2016 et montre que les examens neutres présentent une conformité avec la politique.
4. Étude sur le lien entre les politiques et la pratique dans les examens neutres (Bourgeois et Maltais, accepté, American Journal of Evaluation). L’étude porte sur la mise en œuvre des éléments des politiques (2009 et 2016) par les ministères et agences. On y présente une mise en œuvre complète en ce qui a trait à la supervision et la gestion de la fonction d’évaluation et les compétences des personnes évaluatrices, mais une mise en œuvre partielle dans les dimensions de gestion et de qualité des évaluations ainsi que dans la communication et la diffusion des résultats.

Isabelle Bourgeois a conclu sa présentation en soulignant que les recommandations jouent un rôle important dans la démarche évaluative ; que les gestionnaires de programmes devraient être impliqués dans la production d’évaluations pertinentes et utiles ; et que la fonction d’évaluation fédérale se développe constamment pour améliorer la mise en œuvre de la Politique des résultats de 2016.

La présentation a été suivie d’une discussion avec la professeure Geneviève Tellier de l’Université d’Ottawa et le professeur Patrice Dutil de l’Université Ryerson. Celle-ci a été modérée par le professeur de l’Université d’Ottawa Luc Juillet.

Il a été mentionné que les résultats des recherches de Mme Bourgeois et ses collègues présentent des données encourageantes pour l’alliance entre les personnes évaluatrices et les gestionnaires des programmes. Une question a été posée sur le renforcement de la fonction d’évaluation aux échelles provinciale et municipale à laquelle la professeure Bourgeois a répondu que l’évaluation demandait des investissements et un engagement dans le renforcement de la capacité organisationnelle, un encadrement de la fonction comme telle, et un suivi constant.

Une autre question a été posée sur la mesure de la pertinence dans les évaluations au gouvernement fédéral. La professeure Bourgeois a souligné les travaux de l’un de ses anciens étudiants, Serge Ngayihi Abbé, qui a démontré, dans son mémoire de maîtrise, que la pertinence des programmes tend à être prise pour acquis et peu examinée dans les évaluations fédérales.

On a terminé l’événement en se demandant si le gouvernement fédéral devrait avoir personne évaluatrice générale au même titre qu’un vérificateur général existe. La question a d’ailleurs été souvent posée lors d’autres événements qui se sont tenus dans le passé et les réponses sont toujours très nuancées. D’une part, un évaluateur général pourrait fournir une perspective plus globale de la contribution des évaluations au fonctionnement des ministères et agences, tout en évaluant certains aspects particuliers partagés par plusieurs organisations. D’autre part, l’apport actuel des fonctions ministérielles d’évaluation est assuré, en grande partie, par la présence des évaluateurs internes, qui sont en mesure de contribuer à la prise de décision et à l’intégration de l’évaluation en continu.

Pour en savoir plus, vous pouvez visionner l’événement dans son intégralité ici : https://youtu.be/DuXu11TSVgc