Recension structurée des écrits sur les capacités organisationnelles en évaluation
L’étude des capacités organisationnelles en évaluation remonte au début des années 2000. Depuis vingt ans, les connaissances au sujet de ces capacités, de leur mesure et de leur renforcement, ont beaucoup évolué. Une équipe de cinq chercheurs et étudiants canadiens et américains a entrepris, en 2019, une recension structurée des écrits visant à synthétiser les connaissances à ce sujet.
Ce billet fournit un aperçu des résultats préliminaires de l’étude, qui ont été présentés lors du congrès de l’American Evaluation Association en octobre 2020. Nous souhaitons remercier le Evaluation Capacity Network qui finance en partie ces travaux de recherche.
Questions de recherche et approche méthodologique
Les questions suivantes ont orienté les travaux de l’équipe :
- Comment peut-on caractériser les connaissances actuelles en matière de renforcement des capacités en évaluation (RCÉ) ? Comment le RCÉ est-il défini d’un point de vue théorique et pratique ?
- Comment les connaissances sur le RCÉ ont-elles évolué dans le temps, au niveau de leurs contributions théoriques, leurs approches méthologiques et leur qualité ?
- Qu’avons-nous appris, jusqu’à présent, au sujet des approches de RCÉ qui sont mises en pratique dans divers contextes ? Quelles approches semblent bien fonctionner ?
La recension des écrits structurée porte sur huit revues savantes dont le thème principal est l’évaluation :
- American Journal of Evaluation
- La revue Canadienne d’évaluation de programme
- New Directions for Evaluation
- Evaluation and Program Planning
- Journal of Multidisciplinary Evaluation
- Evaluation
- Evaluation and Program Planning
- Evaluation Journal of Australasia
- Evaluation in the Health Professions
La recherche des articles visait à inclure tous les articles publiés en français ou en anglais entre 2000 et 2019, dont les mots-clés « Capacité en évaluation » et « Renforcement des capacités en évaluation », apparaissaient dans le titre, le résumé, ou les mots-clés. Les articles eux-mêmes devaient clairement porter sur les capacités en évaluation. Nous avons mis de côté les notes de la rédaction ainsi que les chapitres d’introduction, de conclusion ou de synthèse d’un numéro spécial.
Voici le diagramme PRISMA, qui décrit les étapes de sélection des articles :
Notre analyse préliminaire portait sur deux types spécifiques d’articles : les études de cas, qui décrivent une application des principes liés au RCÉ dans un ou plusieurs organismes, ou la recherche sur le RCÉ. Des analyses subséquentes nous permettront d’étudier d’autres types d’articles, comme les cadres conceptuels ou théoriques.
Résultats
Les résultats de notre analyse préliminaire démontrent qu’au cours des vingt dernières années, le nombre d’articles portant sur le RCÉ continuent à augmenter. Le trait bleu réfère aux études de cas, et le trait vert réfère à la recherche sur le RCÉ.
Notre analyse préliminaire portait sur deux types spécifiques d’articles : les études de cas, qui décrivent une application des principes liés au RCÉ dans un ou plusieurs organismes, ou la recherche sur le RCÉ. Des analyses subséquentes nous permettront d’étudier d’autres types d’articles, comme les cadres conceptuels ou théoriques.
Études de cas
La majorité des études de cas ont été réalisées dans des organismes à but non-lucratif (24%) ou des organismes communautaires (23%). De plus, dans la majorité des cas, les interventions de renforcement des capacités en évaluation ciblaient surtout le personnel des organisations (76%), plutôt que les gestionnaires (31%) ou la haute gestion (30%). Cependant, 47% des interventions ciblaient plus d’un public.
Nous avons aussi constaté lors de notre analyse des études de cas que la moitié d’entre elles se servaient de matériel écrit et de formation pour renforcer les capacités en évaluation. D’autres moyens retrouvés dans plusieurs cas (43%) sont l’aide technique et la participation à une évaluation.
Un fait plutôt étonnant que nous avons remarqué est que la majorité des études de cas (78%) n’avaient pas préparé de modèle logique de l’intervention de RCÉ ; en tant qu’évaluateurs, il serait intéressant de se prêter à cet exercice. De même, seulement 47% des interventions de RCÉ ont été évaluées – nous avons noté cependant que cette tendance augmente depuis quelques années.
Recherche sur le RCÉ
La majorité des études publiées sur le RCÉ ont été réalisées dans les organismes à but non-lucratif (31%) ou dans des organismes du gouvernement du pays concerné (31%). Les méthodes employées pour étudier le RCÉ sont de plus en plus variées, mais ont tout de même tendance à être descriptives ou exploratoires. En fait, la majorité des études sont fondées sur un devis non-expérimental (93%). Les entretiens (57%) et les enquêtes par sondage (48%) sont les moyens privilégiés pour la collecte des données, bien que certaines études ont aussi utilisé l’analyse documentaire (14%), l’observation (5%), et les groupes de discussion (5%).
Conclusions principales
Suite à notre analyse préliminaire, nous constatons que les études de cas portant sur le RCÉ gagneraient à inclure un modèle logique de l’intervention, qui permettrait de mieux en définir les paramètres et les résultats ciblés. Ces interventions devraient aussi être évaluées, de manière à fournir des données probantes sur les stratégies de renforcement qui fonctionnent dans certains contextes. Du côté de la recherche sur le RCÉ, nous constatons que des devis de recherche plus complexes permettraient de tirer des conclusions plus robustes sur les dimensions et les effets du RCÉ en termes de capacité à réaliser et à utiliser des évaluations.
Prochaines étapes
Nous continuons une analyse plus approfondie des articles recensés, afin de déterminer dans quelle mesure les interventions de RCÉ ont eu un impact positif sur les pratiques organisationnelles en matière d’évaluation. Nous nous intéresserons aussi aux facteurs déterminants du RCÉ tels qu’identifiés par la recherche, afin d’en extraire des conclusions transférables dans divers contextes.