Revue et intégration des connaissances empiriques sur l’évaluation de l’innovation sociale : que pouvons-nous apprendre pour la pratique et la recherche?

Résumé de l’étude :                       

            Le but de la recherche d’Olejniczak (2017) est de comprendre l’implication du courtage de connaissances (knowledge brokering) en tant que pratique afin de favoriser l’utilisation des résultats d’une évaluation lors de la mise en œuvre d’une politique. Il indique que les praticiens dans le domaine des politiques publiques jouent un rôle d’intermédiaire entre les chercheurs et les décideurs. Les équipes d’évaluation jouent souvent ce rôle au sein du gouvernement notamment par l’apport de connaissances aux décideurs dans le but d’améliorer la planification et la mise en œuvre des interventions. Il mentionne que l’utilisation du jeu sérieux (i.e. un jeu immersif pour enseigner des compétences en évaluation) dans un environnement sécuritaire peut permettre le développement des compétences spécifiques d’intermédiaire et permettre des apprentissages expérientiels.

Ainsi, il s’interroge sur l’application du jeu sérieux comme méthode d’apprentissage du courtage de connaissances auprès des professionnels de l’évaluation dans le but de favoriser l’utilisation de l’évaluation. Les objectifs de l’étude sont les suivants : fournir un cadre conceptuel pour concevoir une expérience d’apprentissage par le jeu; démontrer son application dans le cadre d’enseignement de l’évaluation; résumer les leçons apprises obtenues auprès de 194 professionnels des politiques publiques lors des 10 ateliers tenus.

Méthodes                                                                       

Pour répondre à la question de recherche, l’auteur a fait une étude de cas en utilisant un atelier de courtage des connaissances auprès de praticiens de l’évaluation. Cet exercice a été soutenu par le Ministère du Développement Économique de la Pologne qui souhaitait améliorer l’utilisation des données dans les politiques publiques. Ce jeu est appelé « intermédiaires de connaissances » (knowledge brokers). Il a été développé par deux entreprises polonaises (Evaluation for Government Organizations et Pracownia Gier Szkoleniowych).

Premièrement, l’objectif d’apprentissage du jeu était d’aider les professionnels de l’évaluation à construire des cartes conceptuelles sur trois aspects : comprendre le système relationnel entre les données de recherche et le cycle des politiques publiques, apprendre les six activités du courtage des connaissances (knowledge brokering), puis reconnaître les limites de l’influence d’un intermédiaire dans la prise de décision. Deux cartes conceptuelles ont été conçues lors de cette expérience. La première, de type exploratoire, expose notamment le système et les interdépendances nécessaires à l’utilisation des connaissances. La seconde est du type prescriptif. Elle se concentre sur les connaissances des règles et des procédures à être effectuées par l’intermédiaire.

Deuxièmement, le temps prévu pour le jeu sérieux est d’une journée pour un groupe de 30 apprenants. Il se découpe en trois temps : le jeu, des mini-lectures et des discussions. Le jeu permet l’expérience de la dynamique de l’intermédiaire et d’expérimenter ses habiletés dans un environnement sécuritaire. Les mini-lectures permettent l’apport de connaissances théoriques liées aux cartes conceptuelles (ex. relations entre les acteurs politiques, les devis et questions de recherches…). Puis, les discussions animées permettent la rétroaction sur les résultats du jeu.

Troisièmement, la manière dont est conçu le jeu est présentée dans l’article, de même qu’un tableau des mécaniques utilisées (ex. collaboration, compétition, gestion des ressources, accomplissement…). Ainsi, il est souligné que les joueurs sont amenés à explorer le contexte d’une unité d’évaluation comme intermédiaire. Puis, l’équipe gagnante est celle qui a réussi à obtenir le plus grand nombre de rapports utilisés sur quatre projets socioéconomiques différents. Le pointage s’effectue par l’utilisation d’un algorithme géré par les animateurs sur divers aspects (pertinence, validité, accessibilité, effet décisionnel). Lors de la rétroaction, les résultats des équipes sont comparés.

Suite à la tenue de 10 ateliers avec 194 professionnels polonais des politiques publiques et étudiants, une évaluation du jeu a été faite en recueillant les données d’un sondage et les observations des animateurs.

Résultats

Pour 83% des participants, les ateliers ont contribué à améliorer leur compréhension du concept d’intermédiaire des connaissances et l’utilisation par les équipes d’évaluation polonaises a été remarquée. Toutefois, l’auteur souligne qu’une étude prétest/post-test ou une analyse de suivi de l’application des connaissances et des compétences au travail ajouteraient de la robustesse au sujet des effets de la formation. Malgré ces limites, l’auteur tire différentes leçons de cette expérience.

Il est indiqué que le jeu sérieux est une méthode émergente d’apprentissage combinant l’expérience pratique, la rétroaction immédiate et les discussions réflexives tout en permettant une compréhension holistique des mécanismes d’un système. Cette approche permet aussi l’expérimentation et le contrôle du processus par les joueurs dans un lieu sécuritaire. Il est mentionné qu’en permettant les erreurs sans en supporter les coûts, cette méthode semble prometteuse pour développer les compétences professionnelles.

Leçons apprises

La première leçon concerne l’adéquation entre les buts du jeu et les participants. Dans leur sondage, 79% des participants ont déclaré que les compétences et les connaissances acquises grâce au jeu seront utiles dans le cadre de leur travail. De plus, la majorité des participants recommanderaient l’atelier, et 32% des 194 participants le recommanderaient à d’autres professionnels (ex. responsable de la mise en œuvre, planification stratégique, décideurs…). Deuxièmement, l’expérience a démontré l’utilité des deux cartes conceptuelles, car 55% des participants ont mentionné que la relation entre les éléments du système et le rôle comme intermédiaire était une valeur ajoutée. Troisièmement, 96% des participants ont apprécié l’atelier et 95% ont indiqué que la méthode était appropriée. Toutefois, l’augmentation du temps disponible pour échanger lors de la rétroaction a été soulignée par 32% des 102 participants qui ont suggéré des améliorations. Les animateurs devraient alors observer la dynamique du groupe et être flexibles entre l’expérience du jeu et la réflexion. Quatrièmement, les quatre principes de conception ont été aidant pour guider le processus de l’expérience du jeu éducatif, soit : la création d’un monde reflétant la réalité; la mécanique et les activités; l’esthétisme, puis la rétroaction. Ainsi, les praticiens ont mentionné que le jeu reflétait la réalité; le cas a illustré les bénéfices de la combinaison de diverses mécaniques; l’esthétisme reflétait la nature de la fonction publique et a permis l’immersion des joueurs; puis, un temps d’échange a permis la réflexion et la compréhension des problèmes par les apprenants.

En conclusion, l’auteur souligne qu’une opportunité existe pour les chercheurs, les étudiants et les professeurs concernant l’évaluation et le jeu sérieux, notamment pour l’enseignement et la recherche intersectorielle. Aussi, il indique un besoin de recherches futures concernant les effets du jeu sérieux sur les individus, les groupes et les organisations, de même que l’apport de la communauté en évaluation à l’approfondissement de cette approche.

Commentaires

D’entrée de jeu, il est important de mentionner que l’auteur déclare un conflit d’intérêts au regard de cette étude. L’auteur est un cofondateur d’une des deux entreprises mandatées pour développer ce jeu. Il était l’un des leaders de l’équipe chargée de concevoir l’atelier et il a utilisé cette approche lors de son enseignement académique et de formations professionnelles. Cette déclaration n’enlève rien quant à l’apport de cette recherche pour le domaine de l’évaluation. Le jeu sérieux apparaît être un moyen de développer la pensée évaluative et l’utilisation de l’évaluation par les acteurs publics. En ce sens, il serait pertinent d’étudier l’effet d’un jeu sérieux pour le renforcement des capacités en évaluation, notamment pour les organismes à but non lucratif (OBNL) et les municipalités qui doivent rendre des comptes sur leurs interventions. Par les apprentissages issus du jeu sérieux, les professionnels de ces organisations pourraient appliquer ces nouvelles compétences dans leur milieu afin d’améliorer ou changer leurs interventions (projets, politiques, processus…).

L’étude ne décrit pas l’importance du contexte et de la prédisposition des acteurs à utiliser un jeu sérieux comme moyen de formation ni du rôle des animateurs. L’animateur doit-il être externe ou interne à l’organisation? Selon le cas, le jeu s’en retrouve-t-il facilité? Est-ce que le contexte et l’animation s’apparentent à un groupe de discussion? En s’inspirant des tâches d’animation de Guillemette, Luckerhoff, & Guillemette (2011), l’animateur devrait entre autres présenter et diriger le jeu, s’assurer d’un climat de partage, respectueux et de confiance, être ouvert, modérer les échanges, puis faire des rétroactions. Par ailleurs, des jeux brise-glaces pourraient être faits, car la confiance entre les joueurs et les animateurs est un élément important au processus de co-construction des apprentissages.

Finalement, l’auteur présente les diverses connaissances issues du jeu (habiletés sociales, conceptuelles, déclaratives…). Ainsi, le jeu comme apport à la co-construction des connaissances et du développement d’habileté mériterait davantage d’attention dans le but de renforcer les compétences des professionnels, la pensée évaluative et le transfert des connaissances. D’ailleurs, à notre connaissance, cette utilisation du jeu sérieux est une innovation afin de développer la pratique évaluative. Cependant, dans un contexte d’innovation au sein de laboratoires vivants [living labs], il a été possible d’observer l’emploi de jeux afin de contribuer à la cueillette de données, favoriser l’exploration des idées et le prototypage d’un produit ou d’un service.

Appel à la co-création des connaissances

Nous vous convions maintenant comme lecteur, praticien, chercheur ou évaluateur à nous faire part de vos expériences ou réflexions afin d’enrichir cette question et de contribuer à la co-création des connaissances en matière d’évaluation des programmes et des politiques publiques.

Au plaisir de vous lire!

Bibliographie

Guillemette, F., Luckerhoff, J., & Guillemette, M. (2011). Quand le chercheur devient animateur. Recherches qualitatives, 29(3), 193‑197.

Olejniczak, K. (2017). The Game of Knowledge Brokering: A New Method for Increasing Evaluation Use. American Journal of Evaluation, 38(4), 554‑576. https://doi.org/10.1177/1098214017716326