Revue et intégration des connaissances empiriques sur l’évaluation de l’innovation sociale : que pouvons-nous apprendre pour la pratique et la recherche?

Résumé de l’étude :                       

            L’article de Milley, Szijarto, Svensson, & Cousins (2018) propose de générer des connaissances empiriques au sujet de l’état de la pratique évaluative en contexte d’innovation sociale, ainsi que de son influence sur celle-ci. Ainsi, les auteurs ont posé trois questions :

1. À quoi ressemble la pratique évaluative en contexte d’innovation sociale?
2. Quelles sont les forces et les influences qui conduisent les pratiques évaluatives?
3. Comment ces pratiques affectent-elles les innovations sociales?

Tout d’abord, les auteurs ont présenté le concept d’innovation sociale qui se définit de plusieurs manières. Ils utilisent notamment celle de la Commission européenne (2013) indiquant que l’innovation sociale est le développement et la mise en œuvre de nouveaux processus, programmes, interventions, produits ou modèles pour répondre aux besoins sociaux. Compte tenu de la diversité de définitions, les auteurs ont limité leur recherche aux études mentionnant explicitement la terminologie de l’innovation sociale comme objet de l’évaluation. Ensuite, ils ont exposé leur définition de la pratique évaluative, soit une enquête systématique qui favorise les apprentissages, le développement, l’amélioration et le renforcement des capacités, qui éclaire le jugement sur le mérite, la valeur et la pertinence des politiques et programmes, puis qui supporte la supervision, la reddition de compte et la conformité (Cousins, Goh, Elliot et al., 2014; Mark et al., 2000; Weiss, 1998). Par la suite, ils ont présenté un cadre conceptuel démontrant la coexistence des approches évaluatives (formatives, sommatives et développementales) dans un contexte d’innovation sociale. Ce faisant, les auteurs ont voulu démontrer l’intégration continue et l’influence mutuelle entre l’innovation sociale et la variété des approches évaluatives utilisées par les praticiens.

Méthodes                                                                       

Pour répondre à leur questionnement, ils ont effectué une revue systématique d’articles publiés dans des revues de langue anglaise arbitrées entre janvier 2000 et octobre 2015. Suite au codage inductif par des équipes indépendantes, ils ont retenu 28 études référant à l’innovation sociale et à l’évaluation. Ils ont constaté que 75% des études sont des récits de cas réflexifs, 18% sont des études de cas simples et deux études sont des études de cas multiples. Les études retenues décrivent l’innovation sociale dans une variété de secteurs et d’échelles (site unique, national, international).

Résultats

À la première question, les auteurs ont observé une variété de méthodes, de techniques et de cadres pour l’évaluation, dont une bonne proportion utilise autant les données qualitatives que quantitatives. Concernant les approches et les intentions, la majorité des études (23 sur 28) étaient en partie de type développemental (developmental evaluation). Les auteurs présentent l’évaluation développementale (DE) en citant Patton (1994 :397), c’est-à-dire un processus d’évaluation qui soutient un programme, un projet, un produit ou le développement (personnel ou organisationnel), et dans lequel l’évaluateur est partie intégrante de l’équipe chargée de conceptualiser, concevoir et tester de nouvelles approches dans une perspective d’amélioration continue, d’adaptation et de changement délibéré.  Sur le plan de la collaboration, 86% des évaluateurs étaient intégrés à l’équipe d’évaluation ou à une organisation hybride (interne/externe).

À la deuxième question, les facteurs qui influencent le choix d’une approche sont multiples. La perspective de la complexité est l’influence la plus importante concernant le choix de l’approche évaluative (64% des études). Cette complexité est décrite dans les études par le contexte dynamique, la nature itérative et émergente des initiatives, la nouveauté, la multiplicité des acteurs, des influences et des objectifs. Ensuite, 61% des études sont orientées envers les apprentissages (learning-oriented focus); 46% des approches sont choisies pour leur adéquation (responsiveness); 39% ont une perspective de reddition de compte dont six études ont utilisé l’approche de DE; 29 % des études ont un aspect concernant le renforcement des capacités en évaluation (Evaluation Capacity Building), puis la méthodologie a été déterminée par les préférences méthodologiques de l’évaluateur dans 21% des études.

À la troisième question, l’évaluation affecte ou est affectée par divers facteurs. Les auteurs mentionnent notamment la présence de conflits entre les attentes, les buts, les paradigmes et les valeurs entre les parties prenantes; les relations entre les acteurs; la capacité d’engagement à long terme afin de favoriser l’utilisation de l’évaluation; le lien avec la vision ou la stratégie; l’amélioration du programme; l’équilibre entre les besoins locaux et agrégés, puis l’accroissement des capacités évaluatives des parties prenantes.

Dans leur discussion, les auteurs soulignent que l’évaluation dans un contexte d’innovation sociale se concentre davantage sur les apprentissages que sur la mesure d’impact. Ils indiquent que l’approche de DE est omniprésente dans les études.  De plus, ils mentionnent que celle-ci semble répondre davantage aux besoins des évaluateurs, aux innovateurs sociaux et aux commanditaires, que les approches formatives ou sommatives. Presque toutes les études mettent l’accent sur les apprentissages, l’adéquation, la flexibilité et l’adaptation via la collaboration et l’utilisation d’une variété de méthodes et de techniques. Les auteurs mentionnent que l’implication de différents acteurs à la cocréation de solutions produit de l’ambiguïté et de l’incertitude qui génère des tensions. Ces caractéristiques des approches collaboratives permettent les apprentissages, la négociation et la délibération itérative. De plus, les auteurs ont relevé une tension entre la production de connaissances généralisables pour soutenir la prise de décision au niveau macro de l’intervention et l’information pouvant être utilisée pour l’améliorer ou l’adapter. Puis, le renforcement des capacités en évaluation (ECB) est une approche sous-utilisée qui demeure un élément implicite ou un effet indirect de l’évaluation dans ce contexte.

Finalement, les auteurs encouragent les évaluateurs à demeurer à jour sur les avancés de l’évaluation en contexte d’innovation sociale. Ils suggèrent le passage vers une approche guidée par les principes (principles-based approach), c’est-à-dire d’une approche centrée sur les méthodes vers les compétences en animation et en résolution de conflits. Puis, ils mentionnent un besoin de recherche empirique et arbitrée au sujet de l’évaluation dans un contexte d’innovation sociale; une clarification conceptuelle de l’innovation sociale; un rapprochement entre les chercheurs étudiant l’évaluation en contexte d’innovation sociale et ceux étudiant les systèmes complexes; ainsi que la recherche des influences de l’évaluation sur le processus d’innovation sociale.

Commentaires

Tout d’abord, cette recherche est très pertinente afin de soutenir le développement des recherches au sujet de l’évaluation en contexte d’innovation sociale. Elle ouvre plusieurs pistes de recherche pour les chercheurs. À titre d’exemple, les chercheurs et les praticiens en contexte d’innovation sociale pourraient contribuer au développement des connaissances, des méthodes et des approches évaluatives, notamment par leur recension et leur expérimentation. De plus, l’identification des pratiques par contexte d’innovation sociale et par secteur (santé, éducation, changement climatique…) serait intéressante.

L’étude indique que l’orientation des approches évaluatives dans un contexte d’innovation sociale est davantage axée sur les apprentissages que sur la reddition de compte. Cela suppose qu’en contexte d’innovation, il n’y a pas toujours d’objectifs du type SMART (spécifique, mesurable, atteignable, réaliste et temporelle). Miley et al. (2018) parlent également d’une transition vers une approche guidée par les principes plutôt que la méthodologie. Ainsi, il peut y avoir des principes plutôt que des objectifs spécifiques et cela demande une approche évaluative particulière (voir Patton (2018)). En ce sens, l’étude a permis de voir qu’il y a matière à explorer ou à expérimenter diverses méthodes en contexte d’innovation sociale (DE, formative/sommative…).

Finalement, selon les résultats obtenus, la collaboration est un élément important, mais qui ne s’effectue pas sans conflits. Ces tensions doivent être gérées dans un environnement propice et font appel à divers rôles de l’évaluateur. Étant donné que l’approche développementale est omniprésente en innovation sociale, le texte de Lam & Shulha (2015) est intéressant pour éclairer le rôle de l’évaluateur développemental dans ce contexte. Ils indiquent que l’évaluateur doit jouer à la fois le rôle d’évaluateur, de facilitateur des apprentissages, de gestionnaires de projet et de penseur de l’innovation. Pour ces auteurs, l’évaluateur doit faire appel à des compétences centrales en évaluation afin de répondre aux besoins des clients. En tant que facilitateur, ils mentionnent que l’évaluateur s’engage avec les clients dans une réflexion concernant le sens, les leçons apprises et les leviers de l’innovation tout en supportant la construction de la capacité des clients à résoudre les problèmes. Troisièmement, ils indiquent que l’évaluateur joue un rôle de gestionnaire de projet, notamment en gérant les ressources (temporelles, financières, physiques et humaines) afin de respecter l’échéancier prévu. Cela exige de considérer le programme en développement, ainsi que la gestion de l’équipe de mise en œuvre. Dernièrement, ils soulignent que l’évaluateur joue un rôle de penseur de l’innovation. Celui-ci doit comprendre la nature de l’innovation et comment accompagner les clients au cours du processus d’innovation.

Ainsi, l’approche développementale semble bien correspondre au contexte d’innovation sociale et exige l’acquisition de nouvelles compétences chez les évaluateurs. Toutefois, compte tenu de la diversité des approches existantes (récolte des effets, évaluation formative/sommative, renforcement des capacités…), la communauté scientifique et les praticiens en évaluation devraient explorer ce contexte favorable aux apprentissages. L’expérimentation de diverses approches contribuerait aux connaissances et à la pratique en évaluation. De plus, cela renforcerait la pertinence de l’évaluation comme support à l’innovation sociale, notamment pour les acteurs publics.

Appel à la co-création des connaissances

Nous vous convions maintenant comme lecteur, praticien, chercheur ou évaluateur à nous faire part de vos expériences ou réflexions afin d’enrichir cette question et de contribuer à la co-création des connaissances en matière d’évaluation des programmes et des politiques publiques.

Au plaisir de vous lire!

Bibliographie

Commission Européenne (2013). Guide to social innovation. Repéré à: http://s3platform.jrc.ec.europa.eu/documents/20182/84453/Guide_to_Social_Innovation.pdf (consulté le 10 Juillet 2016)

Cousins, B. J., Goh S.C., Elliott C.J., et al. (2014). Framing the capacity to do and use evaluation. Dans B.J. Cousins et I. Bourgeois (dir.), Organizational Capacity to do and Use Evaluation. New Directions for Evaluation, (vol. 141, p.7–23)

Lam, C. Y., & Shulha, L. M. (2015). Insights on Using Developmental Evaluation for Innovating: A Case Study on the Cocreation of an Innovative Program. American Journal of Evaluation, 36(3), 358‑374. https://doi.org/10.1177/1098214014542100

Mark M.M., Henry G.T. et Julnes G. (2000). Evaluation: An Integrated Framework for Understanding, Guiding, and Improving Policies and Programs. San Francisco, CA: Jossey-Bass, Inc.

Milley, P., Szijarto, B., Svensson, K., & Cousins, J. B. (2018). The evaluation of social innovation: A review and integration of the current empirical knowledge base. Evaluation, 24(2), 237‑258. https://doi.org/10.1177/1356389018763242

Patton, M. Q. (1994). Developmental evaluation. American Journal of Evaluation 15: 311–19

Patton, M. Q. (2018). Principles-focused evaluation : The GUIDE. New-York : Guilford Press.

Weiss C.H. (1998). Have we learned anything new about the use of evaluation?. American Journal of Evaluation, 19(1), 21–33.