La mesure d’impact social dans l’ESS : le cas de la chaîne de valeur d’impact, mythe ou réalité ?

L’économie sociale et solidaire (ESS) est amenée à jouer un rôle de premier plan en ce qui concerne l’évolution sociétale, au sein d’un univers dans lequel les intérêts environnementaux et sociaux s’avèrent de plus en plus impérieux. Au centre de ce processus, la mesure d’impact social apparaît tel un instrument primordial, afin de mettre en évidence et d’estimer les retombées véritables des actions de l’économie sociale et solidaire (ESS). Néanmoins, une interrogation s’impose : « la chaîne de valeur », la plupart du temps considérée comme l’assurance d’une « performance sociale », peut-elle être vue comme une légende ou une vérité ? Ce thème amène des questionnements majeurs sur l’aptitude des organisations à mesurer leur incidence de façon incontestable et acceptable, tout en évoluant dans un contexte économique en perpétuelle transformation. Cette analyse s’intéresse à ces questionnements, observant, dans le contexte de l’économie sociale et solidaire (ESS), les limitations, les challenges et les possibilités rattachés à la mesure d’impact social.

Contexte et défis

Dans un contexte mondial marqué par la maîtrise des dépenses publiques, les entreprises sociales lucratives et non lucratives sont amenées à évaluer la preuve de leur performance, pour justifier du soutien financier des bailleurs de fonds et autres acteurs de ressources. Les entreprises sociales sont donc conviées à évaluer leur « performance sociale » (Barraket, J., & Yousefpour, N, 2013, p. 448 ; Costanzo, L. A., & Karatas-Ozkan, M, 2021, p. 12 ; European Union/OECD, 2015, p. 12 ; Nicholls et al., 2015, p. 254 ; Perrini, F., Stievenart & Pache, 2014, p. 79 ).

L’évaluation de la preuve, native d’Amérique du Nord au xx^e, a historiquement accompagné le développement de l’action politique en Europe et en Amérique du Nord. Son modèle originel proposait l’évaluation de programmes publics avec l’expérimentation d’un groupe de contrôle, afin d’apporter un jugement objectif de leur efficacité et de leur bien-fondé. Depuis quelques années, la mesure d’impact social prend une place importante au sein du domaine de l’évaluation, au point de submerger la discipline dans laquelle elle s’inscrit.

Méthodes de mesure

Les travaux de Corvo et al. (2021, p. 9) et Salathé-Beaulieu (2019, p. 11) comptabilisent pas moins d’une centaine de modèles de mesure d’impact social utilisés mondialement. Le problème de sa définition reste donc majeur en raison du nombre de méthodes utilisées. Vanclay (2024) évoque une confusion terminologique abyssale (p. 776). Aucune méthode ne faisant l’unanimité et aucun référentiel n’étant connu, elle suscite diverses propositions de « théories » par la littérature ou les instances internationales (United Nations Development, Banque mondiale, Global Impact Investing Network, etc.).

Pour autant, les administrations locales, ainsi que les instances internationales, plébiscitent la mesure d’impact social, dont le développement est favorisé par les institutions financières internationales et dont nombre de travaux empiriques ont fait l’objet d’éditions, qui nous procurent la possibilité d’interpréter l’existence d’un paradigme. Cette réalité complexe n’est pas sans laisser planer des inquiétudes. Effectivement, la littérature s’accorde sur l’idée qu’il reste beaucoup à faire dans la discussion, quant à son ancrage théorique et son cadre conceptuel : les bienfaits de la mesure d’impact social ont été postulés plutôt que démontrés (Aledo-Tur & Domínguez-Gómez, 2017 ; Alix, 2015 ; Alix & Baudet, 2014 ; Bornmann, 2012 ; Bouchard & Rousselière, 2022 ; Delouette & Jany-Catrice, 2015 ; Howitt & Jolly, 2024 ; Jany-Catrice, 2020). La notion de mesure d’impact social étant entourée de flou faisant l’objet d’une pluralité de discours, d’acteurs et méthodes, plutôt que de nous concentrer sur les différentes méthodologies ou définitions la concernant, nous envisageons de questionner brièvement la preuve de « performance sociale » par l’instrument de gestion, la chaîne de valeur d’impact.

La chaîne de valeur d’impact 

D’après Vogel (2012, p. 9-10), le concept de théorie du changement provient de la théorie du programme en évaluation (l’analyse du cadre logique étant un élément de celle-ci), en y accolant une appétence pour l’apprentissage et la coopération. Sans équivoque, Carol Weiss (Weiss, 1995) l’a préconisée en 1995. L’édition de guides et de ressources, en particulier par l’Aspen Institute (Anderson 2005) et la Kellogg Foundation (W.K. Kellogg Foundation, 2004) a rendu la méthode populaire dans le courant de la décennie 2000.

Basée sur la théorie du programme, l’évaluation se distingue principalement par une démarche évaluative en vue de transcrire la cohérence interne d’un programme, pour définir un encadrement didactique apte à en déterminer les impacts (Daigle, 2004, p. 29).

L’élaboration d’une théorie du changement comporte quatre grandes étapes (de Reviers, 2012) : « 1) Définir le changement visé, à long terme ; 2) Préciser les différents changements qui doivent se produire au préalable pour que le changement ultime devienne possible ; 3) Expliciter les hypothèses et valeurs qui sous-tendent le raisonnement ; 4) Préciser l’articulation entre ce raisonnement et l’intervention. Elle repose sur l’idée de chaîner causalement différentes catégories »^[1]Récupéré le 5 février 2025 sur le site https://tiess.ca/download/documents/TIESS_EVAL-IMP-outil-theorie-du-changement.pdf (p. 3).

La « chaîne de valeur d’impact » est proposée en 2004 afin d’offrir un cadre commun pour faire face au nombre important d’approches de la mesure d’impact social. Elle repose sur l’idée de chaîner causalement différentes catégories :

Tiré du guide de l’AVISE^[2]L’Avise est le Centre national de compétences de l’innovation sociale pour la France en Europe. https://www.avise.org/ : « Guide pratique pour la mesure et la gestion de l’impact », (Harling, A. M., Hehenberger, L., & Scholten, P., 2015, p. 19).

Comment peut-on établir des liens de causalité ? La difficulté majeure réside dans le fait de trouver à l’échelle d’une organisation lesdits liens de causalité puis de pouvoir les expliquer, d’autant que la mesure d’impact social avance l’idée qu’il serait possible d’isoler des impacts sans préciser comment. Stievenart et Pache (2014, p. 74) soulignent comme de nombreux auteurs (Barraket & Yousefpour, 2013 ; Bornmann, 2012) que les facteurs traduisant la difficulté de mettre en œuvre cette démarche sont : les compétences, le temps et les moyens humains. En outre, la complexité de l’objet d’analyse et la confusion engendrée par la diversité des buts à atteindre sont également mentionnés par plusieurs auteurs comme étant deux obstacles majeurs. Il nous faut donc composer avec l’incertitude et l’approximation et manifester un maximum de pragmatisme (Stievenart et Pache (2014, p. 82).

Limites et critiques

Parmi les critiques identifiées, pour Howitt & Jolly (2024) et Jany-Catrice (2020), c’est l’absence fréquente de logique causale-linéaire qui transparaît. Or, une cause puissante associée à des idées fortement développées est indispensable pour permettre à un outil de gestion de s’intégrer à l’organisation et de trouver sa place au sein de la multitude d’outils. C’est un imaginaire social dont l’outil de gestion a besoin pour lui servir de solide fondation, mais parallèlement, cet imaginaire doit être « outillé » pour que les acteurs puissent s’en emparer (Grimand, 2021, p.1). Il est donc pertinent d’interroger la validité de la recherche et la justice épistémologique qui, précisément en raison de leur caractère irréfutable (approche positiviste), doivent être discutées. D’autant que

Une large palette de méthodes existe pour répondre aux besoins de sociétés qui diffèrent selon leurs activités, leurs buts et les aspects des impacts qu’elles entendent évaluer. Aucune méthode unique n’est capable de saisir l’ensemble des impacts potentiels et de s’adapter aux exigences de l’ensemble des entreprises. Les outils de mesure existants n’ont pas une compréhension unique de ce qu’il convient de mesurer, ni de pour quoi, pour qui et comment le faire [traduction libre] (Maas & Liket, 2011, p. 179).

Pour évaluer l’impact social, il est nécessaire de se questionner sur les impacts d’une action (ou de plusieurs) sur les réactions potentielles et effectives des individus, mais également sur leur santé et leurs conditions de vie (Burdge et Vanclay, 1996, p. 59). Une étude peut être mise en place pour évaluer les effets du projet sur le bien-être individuel ou collectif. Ces effets ne sont actuellement analysés par les sciences sociales et humaines que par le biais de grilles de lecture et de modèles incomplets, dont les résultats ne peuvent être que relatifs. L’estime de soi, par exemple, est difficile à mesurer (James T. Baines, C. Nicholas Taylor & Frank Vanclay, 2013, p. 257 ; Stievenart, E. & Pache, A.-C, 2014, p. 82).

Il est également difficile de saisir les effets non matériels, notamment sur le patrimoine culturel immatériel. La langue, la musique, l’histoire orale, l’art ou la danse, entre autres, peuvent disparaître à cause des changements sociétaux engendrés par le développement. Ces conséquences non tangibles ne sont pas faciles à apprécier ni à calculer (Baines et al., 2013, p. 255).

La difficulté de la démarche d’évaluation a également une dimension axiologique. Un projet à vocation sociale, quel qu’il soit, repose sur de multiples valeurs, ainsi que sur une perception de l’humain et de la société, pas toujours partagées par l’ensemble les acteurs d’un projet (Burdge, R. J., & Vanclay, F., 1996, p. 71 ; Stievenart & Pache, 2014, p. 81-82).

La mesure d’impact social peut servir à des objectifs très différents : 1) clarifier et améliorer ses actions (théorie du changement et démonstration de la valeur) ; 2) la réédition des comptes (global reporting initiative, impact reporting investement standards, certification B-Corp) ; 3) démonstration de l’impact (social return on investment, analyse coût-avantage, utilité sociale) ; 4) recherche (analyse cycle de vie, essais randomisés contrôlés) (Feor, L., Clarke, A., & Dougherty, I, 2023, p. 822-827).

Il n’est donc pas si facile de distinguer rigoureusement l’objectif de l’évaluation et des questionnements qui en découlent, mais cette démarche reste néanmoins primordiale pour cerner et délimiter le processus d’évaluation (Stievenart & Pache, 2014, p. 83).

Conclusion

Pour parachever notre propos, dans le contexte de l’économie sociale et solidaire (ESS), la mesure d’impact social s’avère être tout aussi bien une opportunité qu’un challenge. Elle contribue à illustrer la « performance sociale » des actions, consolidant par la même leur attractivité et leur caractère légitime vis-à-vis des protagonistes.

Toutefois, le déploiement de mesures d’impact social profitables requiert des méthodes et des moyens précis, afin de ne pas s’engouffrer dans le leurre de la légende et d’être en phase avec la matérialité. La « chaîne de valeur » d’impact social doit être passée au crible de façon critique, pour s’assurer qu’elle est le réel reflet des évolutions positives apportées. Primordiale pour la fiabilité et le développement de la finance sociale, la mesure d’impact social affronte des challenges nécessitant investigations et démarches plus abordables et exhaustives, basées sur l’éthique et facilement applicables aux circonstances entourant les projets, tout en assurant une coopération représentative des communautés concernées [traduction libre] (Smyth & Vanclay, 2017, p. 72).

Dans le dossier complémentaire Jurisassociations n^o 691, intitulé Utilité sociale vs impact social : une question de valeur, l’auteur Jérôme Saddier, parmi d’autres, note que « la doctrine de l’impact ne saurait résumer l’horizon politique de l’économie sociale et solidaire (ESS). Et encore moins tenir lieu de viatique pour la définir » (p. 17).

L’impact social ne consiste donc qu’en une partie de l’utilité sociale ou sociétale, qui s’appuie sur des critères normalisés liés aux financements, définis par les organismes de pouvoir.

À l’inverse, pour une association, l’utilité sociale englobe plus largement son essence même, ses objectifs, mais aussi ses relations internes et avec son environnement extérieur. Une telle structure, dans cette démarche volontaire, se doit aussi de disposer d’une comptabilité sociale propre, qui, au-delà de la mesure d’impact réductrice, permet d’affirmer la durabilité de leur action, pour définir leur utilité sociale.

La méthode d’évaluation plus globale de l’utilité sociale est donc préférable pour les associations de l’ESS, par rapport à celle de la mesure d’impact social. Ce point de vue est appuyé par l’institut ISBL et par l’auteur de cet article, en raison du caractère véritable et entier de l’utilité sociale, par rapport à la mesure d’impact social, standardisée et limitante.

Nos futurs travaux de recherche viendront renforcer la connaissance de la mesure d’impact social, grâce à une poursuite, au sein de l’institut ISBL, de publications et de discussions autour de ce concept.

André Decamp, doctorant en travail social codirection Université de Montréal et Université Libre de Bruxelles

Bibliographie :

Aledo-Tur, A., & Domínguez-Gómez, J. A. (2017). Social Impact Assessment (SIA) from a multidimensional paradigmatic perspective: Challenges and opportunities. Journal of Environmental Management, 195, 56-61.

Alix, N. (2015). Mesure de l’impact social, mesure du « consentement à investir ». Revue internationale de l’économie sociale, 335, 111-116.

Alix, N., & Baudet, A. (2014, 24-26 octobre). La mesure de l’impact social : facteur de transformation du secteur social en Europe [Communication]. IV^e conférence internationale du Ciriec, Anvers.

Anderson, A. A. (2005). The Community Builder’s Approach to Theory of Change: A Practical Guide to Theory Development. The Aspen Institute Roundtable on Community Change.

Barraket, J., & Yousefpour, N. (2013). Evaluation and Social Impact Measurement Amongst Small to Medium Social Enterprises: Process, Purpose and Value. Australian Journal of Public Administration, 72(4), 447-458.

Besançon, E., & Chochoy, N. (2019). Mesurer l’impact de l’innovation sociale : quelles perspectives en dehors de la théorie du changement ? RECMA, 352, 42-57.

Bouchard, M. J., & Rousselière, D. (2022). Recent advances on impact measurement for the social and solidarity economy: Empirical and methodological challenges. Annals of Public and Cooperative Economics, 93(2), 253-266.

Bornmann, L. (2012). Measuring the societal impact of research. EMBO reports, 13(8), 673-676.

Burdge, R. J., & Vanclay, F. (1996). Social impact assessment: a contribution to the state of the art series. Impact Assessment, 14(1), 59-86.

Corvo, L., Pastore, L., Manti, A., & Iannaci, D. (2021). Mapping social impact assessment models: A literature overview for a future research Agenda. Sustainability, 13(9), 4750.

Daigle, M.S. (2004). L’importance de l’évaluation fondée sur la théorie en suicidologie. Dans F. Chagnon & B. Mishara (Éds.), Évaluation de programmes en prévention du suicide (pp. 23–40). Québec, QC : Presses de l’Université du Québec et Paris (France). EDK (Éditions médicales et scientifiques).

Delouette, I., & Jany-Catrice, F. (2015). Enjeux sociopolitiques de la mesure de l’utilité sociale des organisations de l’ESS. Abecassis P., Coutinet N.(Éds), Économie sociale: crises et renouveaux, Louvain, Presses universitaires de Louvain, 5, 129-146.

De Reviers, B. (2012, mai). Repères sur les théories du changement. F3E.

Feor, L., Clarke, A., & Dougherty, I. (2023). Social Impact Measurement: A Systematic Literature Review and Future Research Directions. World, 4(4), 816-837.

Grimand, A. (2021). Chapitre 5. Les outils de gestion comme « mythes rationnels » : une relecture à travers la philosophie de Roland Barthes. In P. Gilbert & D. Mouret (Éds), Philosophie et outils de gestion : Entre dévoilement des impensés et nouvelles potentialités de théorisation (p. 122-141). EMS Editions.

Harling, A. M., Hehenberger, L., & Scholten, P. (2015). Un guide pratique pour la mesure et la gestion de l’impact.

Howitt, R., & Jolly, D. (2024). Reconnecting to the social: Ontological foundations for a repurposed and rescaled SIA. Current Sociology, 72(4), 612-628.

Jany-Catrice, F. (2020). Une économie politique des mesures d’impact social. In Une économie politique des mesures d’impact social: Jany-Catrice, Florence. Liège (Belgium): CIRIEC International, Université de Liège.

Maas, K., & Liket, K. (2011). Social impact measurement: Classification of methods. Environmental management accounting and supply chain management, 171-202.

Nicholls, A., Nicholls, J., & Paton, R. (2015). Measuring social impact. Social finance, 253-281.

Perrini, F., Costanzo, L. A., & Karatas-Ozkan, M. (2021). Measuring impact and creating change: A comparison of the main methods for social enterprises. Corporate Governance: The International Journal of Business in Society, 21(2), 237-251.

Salathé-Beaulieu, G. (2019). Sustainable development impact indicators for social and solidarity economy: State of the art.

Stievenart, E., & Pache, A. C. (2014). Évaluer l’impact social d’une entreprise sociale : points de repère. Revue internationale de l’économie sociale, 331, 76-92.

Vanclay, F. (2024). After 50 years of social impact assessment, is it still fit for purpose? Current Sociology, 72(4), 774-788.

Vogel, I. (2012). Review of the Use of “Theory of Change” in International Development. UK Department for International Development (DFID).

W.K. Kellogg Foundation. (2004). Logic Model Development Guide.

Weiss, C. H. (1995). Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families. Dans J. P. Connell, A. C. Kubisch, L. B. Schorr et C. H. Weiss (dir.), New Approaches to Evaluating Community Initiatives : Concepts, Methods, and Contexts (vol. 1, p. 65-92).

Divers documents d’orientation (Cahiers thématiques et plaquettes de communication) sources :

European Union/OECD (2015). Policy Brief on social impact measurement for social enterprises – Policies for social entrepreneurship. http://europa.eu

En savoir plus :

Juris Associations n°691 du 15 janvier 2024