Miguel Sierra, Adélie; Graugnard, Gilbert; Kabore, Anne; Noury, Audrey et membres du groupe de travail (2014). Sur le chemin de l’impact de l’éducation au développement et à la solidarité internationale. Repères méthodologiques pour apprécier ce qui est en mouvement. Les Collections du F3E. Educasol.³

Par EDUCASOL – Plate-forme Française d’Education à la Citoyenneté et à la Solidarité Internationale:

La recherche action en 4 chiffres

13 structures engagées dans la démarche

La recherche action s’est déroulée sur deux années (2013-2014). Huit ONG, dont la FADM qui apporte ici son témoignage, y ont contribué ainsi qu’une collectivité territoriale. Ces acteurs ont été des praticiens chercheurs. Ils ont identifié dans leurs projets en cours ou à venir un champ d’expérimentation et cherché des solutions adaptées pour traiter de l’impact de leurs actions.

L’équipe d’animation était composée d’une salariée de chacune des structures porteuses du projet Educasol et le F3E et de deux experts (l’un du champ de la coopération internationale, l’autre du champ de l’ECSI). Le rôle de l’équipe d’animation consistait à faciliter le processus en accompagnant ensemble le groupe et ses membres individuellement, à recenser les ressources existantes, à organiser les temps de rencontre et à formaliser les apprentissages au fil de l’eau.

La proximité des 2 structures porteuses, Educasol et F3E – deux collectifs ayant des membres en commun – ainsi que leur complémentarité, l’une spécialisée sur les questions d’ECSI l’autre sur les questions de formation et d’évaluation, ont permis une communication fluide et une capacité à adapter le projet au fil de l’eau.

Trois principes d’actions ont animé la démarche

• Être dans une démarche d’apprentissage et permettre aux acteurs de se renforcer sans dépendre d’une expertise externe, même si l’accompagnement était nécessaire.
• Faciliter la construction collective de ce qui faisait sens à partir d’une diversité de personnes et d’expérimentation plutôt que de chercher à normaliser et prescrire des solutions standardisées.
• Aborder la dimension politique intrinsèque au changement, laquelle ne peut être appréciée qu’au travers d’une pluralité d’acteurs en situation de confiance.

Une quarantaine de rencontres de format varié

Comment insuffler un rythme suffisamment soutenu pour avancer collectivement, tout en respectant les rythmes spécifiques de chacune des 9 expérimentations? En organisant régulièrement des rencontres de format très divers: réunions bilatérale (à Paris ou sur site) entre chacun des acteurs d’ECSI et un binôme salarié/expert de l’équipe d’animation; séminaire réunissant l’ensemble des participants; formations avec des intervenants extérieurs; rencontres entre équipe d’animation et autres experts et enfin journées ouvertes au acteurs éducatif du changement social… Sans oublier bien sur les réunions interne à l’équipe d’animation afin de préparer les rencontres, de formaliser les acquis, et parfois de reculer pour… mieux sauter et dépasser difficultés rencontrées chemin faisant! Ce rythme a permis d’avancer sans s’essouffler et sans dramatiser les difficultés rencontrées.

Trois types de production

A l’issue de ce processus itératif, ont été produits: une courte vidéo pour expliquer les enjeux et donner envie aux acteurs d’ECSI de travailler sur l’impact de ses actions; une publication: «Sur le chemin de l’impact» ainsi que des notes de capitalisation sur la démarche produites par chacune des parties prenantes.

Un contexte favorable pour aborder des défis communs

La concomitance de dynamiques national… 

Cette recherche action s’est développée dans un contexte national de débats sur les enjeux du développement et de la solidarité internationale. La tenue des assises du développement et de la solidarité internationale initié par le Ministère des Affaires étrangères a rassemblé tous les acteurs du champ de la coopération et de la solidarité internationale (universitaire, collectivités territoriales, entreprises, fondations d’entreprises, syndicats, associations…). Elle a abouti à la 1er loi d’orientation sur ce sujet. Par ailleurs, l’Agence Française de Développement, principal bailleur de l’ECSI réalisait une cartographie de l’EAD sur la base des projets cofinancés. Enfin une réflexion collective sur l’évolution des concepts et des enjeux de l’ECSI était en cours au sein d’Educasol.

A facilité la mobilisation collective autour des défis suivants:

• Démontrer l’utilité sociale de l’ECSI, dans un contexte politique tendu ou l’ECSI bénéficie d’un soutien financier très faible (ex :0,02% de l’Aide publique au développement) malgré la reconnaissance partagée des enjeux qu’elle porte.
• Travailler à une vision commune de l’impact d’actions d’ECSI portées par une variété croissante d’acteurs.
• S’inspirer des apports méthodologiques des sciences humaines encore peu appropriés par les acteurs français de l’ECSI.
• Clarifier les types d’effets produits par la très large palette d’activités que recouvre l’ECSI (sensibilisation, formation, plaidoyer, mise en réseau…).
• Et enfin dernier défi et non le moindre: dépasser les résistances des acteurs d’ECSI eux même face à l’évaluation de leurs actions et les difficultés méthodologiques que cela implique vu la dimension immatérielle des changements attendus.

Après le défrichage, le cheminement collectif continue!

Un périmètre d’expérimentation qui incite à l’humilité

Les acteurs participants directement à la recherche action ont été les plus touchés. Rien ne remplace le «faire ensemble» à partir des diversités de chacun! Par ailleurs, le périmètre des actions expérimentés était peu diversifié et d’envergure modeste. Enfin nous avons vécu somme toute une démarche interculturelle, du fait de la diversité des parties prenantes, celle-ci procure joies et… lenteurs…

Placer l’acteur au centre de la réflexion sur l’impact 

Le principal enseignement de cette recherche action est la prise de conscience que c’est l’acteur, et non l’action, qui doit être placé au centre de la réflexion sur l’utilité sociale de l’ECSI. C’est une des raisons qui ont amené Educasol à changer de terminologie et à parler d’ECSI et non plus d’EAD SI. Le terme de développement est remplacé par celui de citoyenneté. Le second enseignement est qu’il incombe aux porteurs d’action de définir au plus près les changements recherchés auprès des acteurs sociaux. Enfin travailler sur l’impact leur permet de voir en quoi leurs actions contribuent au changement sans pour autant qu’ils puissent attribuer à leur seule action ces changements.

Continuer le chemin dans un espace stabilisé pluri acteur: l’Observatoire de l’ECSI

Cette recherche action s’est prolongée dans le cadre du programme PRISME piloté par le F3E. Celui-ci associe acteurs de l’ECSI, acteurs de la coopération et partenaires internationaux sur l’expérimentation des approches orientées au changement.

Par ailleurs à l’issue de cette recherche action, Educasol et F3E ont décidé de co-organiser une formation annuelle de trois jours sur les effets des actions d’ECSI.

Enfin ce travail a permis de partager le constat selon lequel le changement social auquel contribue l’ECSI ne peut être apprécié qu’au travers une diversité de points de vue d’acteurs. C’est là un des enjeux de l’Observatoire de l’ECSI qu’Educasol anime depuis 2017. En facilitant la structuration des données sur les actions, les acteurs et l’impact l’ECSI, l’Observatoire entend contribuer en lien avec le Laboratoire et le Think tank à une meilleure connaissance de ce qu’est l’ECSI, des enjeux qu’elle porte et de sa portée transformatrice.

Par FADM – Fédération Artisans du Monde

La recherche action: un luxe nécessaire

Tenter d’évaluer l’impact de la grande diversité des pratiques éducatives du réseau Artisans du Monde relevait de l’impossible pour l’équipe éducation de la fédération. De plus trop souvent l’évolution de la consommation de produits du commerce équitable est identifiée comme étant un bon marqueur de l’impact d’une action d’éducation au commerce équitable. Or l’indicateur que représente la consommation de produits – tout équitable qu’ils soient- signifierait qu’une action éducative n’entraînant pas d’acte d’achat serait donc inefficace… alors même que l’éducation à la consommation responsable intègre d’autres leviers de changement tel que celui de consommer moins avant tout! Ainsi, lasse de me «casser les dents» sur ce sujet, j’ai accueilli avec enthousiasme cette proposition de recherche action.

Il est rare pour un acteur, tiraillé entre ses engagements via des projets subventionnés, ceux de sa base militante et de sa direction, de s’offrir le luxe de s’engager dans une dynamique de recherche-action, où le processus compte plus que le résultat, où le droit à l’erreur est possible, où l’examen d’entrée repose plus sur nos doutes que sur nos certitudes… Le côté spontané, bienveillant et surtout apprenant de cette expérience, qui s’enrichissait tout autant des apports de nos experts, que de ceux des collègues d’autres ONG qui «pataugeaient» comme nous a été très vivifiant!

Ne pas se sentir seule est déterminant! Durant cette expérience, j’ai ressenti un fort sentiment d’appartenance à un groupe, à une communauté: celles des acteurs et actrices de l’ECSI se préoccupant de l’évaluation de l’impact de leurs actions… Petit monde s’il en est, mais soudé, solidaire et motivé! Lorsque je suis amenée à devoir justifier pourquoi il importe pour une organisation comme la mienne d’adhérer à ce type de collectif, je peux citer cet exemple d’activité que la FADM n’aurait jamais su et pu mettre en place de manière autonome.

Associer les membres du réseau: un enjeu incontournable

Le rythme des réunions et la grande disponibilité des accompagnants ont permis d’étaler ce travail sur deux ans et d’associer des acteurs locaux. S’il était important pour moi d’acquérir une «culture de l’évaluation», il était indispensable de pouvoir associer au mieux les membres de mon réseau et en premier lieu les plus concernés: les animateurs et animatrices des associations locales qui interviennent toute l’année auprès de divers publics. Le périmètre de l’expérimentation s’est porté sur des «projets d’années» en établissement scolaire, menés par un groupe de salarié.e.s d’associations locales en Rhône-Alpes.

Deux éléments ont permis de dépasser les résistances des acteurs de terrain pour rentrer dans la démarche. Nous avons présenté la démarche comme:

• Un moyen de partager avec eux le souci de mieux faire connaître les métiers de l’ECSI, de mieux défendre cette mission d’éducation au commerce équitable et non comme un moyen d’améliorer la qualité d’actions, ce qui a renforcé leur confiance.
• Déconnectée de toute « commande » des bailleurs et non la dernière étape imposée d’un projet, ce qui n’en facilite jamais la réappropriation.

Un premier pas modeste mais décisif

Certes si cette activité avait été menée avec une «obligation de résultat», celui-ci aurait été amer pour la FADM. L’expression «accoucher d’une souris» prendrait là tout son sens. En effet, en terme de résultat tangible, la FADM n’a malheureusement pas pu aboutir à l’évaluation de l’impact de ces fameux projets d’années menés par des salarié.e.s en Rhône-Alpes, pour cause du désistement desdit.e.s salarié.e.s que nous n’avons finalement pas su accompagner jusqu’au bout dans un contexte difficile pour la pérennité de leurs postes.

Force est de constater par contre que les outils créés pendant la recherche-action font encore référence en 2018: la vidéo est utilisée dans des formations d’animateurs et animatrices en ECSI co-organisées par la FADM et d’autres membres d’EDUCASOL et la publication a inspiré plusieurs travaux.

Enfin et surtout la capitalisation de cette expérience a permis de tirer de nombreux enseignements qui ont été partagés plus largement dans l’équipe nationale et celle de sa commission éducation.

Appliquer à nous même les enseignements de la recherche action

Nous avons commencé à nous appliquer à nous même les changements que nous aimerions chez les autres: s’il est important d’avoir une vision «évaluative» pour toute action d’éducation et de dédier du temps et des moyens à celle-ci, alors la FADM se devait de se doter de moyens clairs et d’expérimenter des méthodologies d’évaluation d’impact sur ses propres actions. C’est pourquoi, après une phase de formation des salarié.e.s et de personnes ressources à la fédération sur l’évaluation, nous avons décidé d’expérimenter à plus grande échelle.

Profitant d’un projet européen ambitieux «Jeunes Ambassadeurs du Commerce Equitable», soutenu par ERASMUS +, qui allait permettre à la FADM de mener des activités pendant 3 ans avec un lycée français (Bel Orme à Bordeaux) et des partenaires européens (comme le CIDAC au Portugal) sur une palette large d’actions d’éducation au commerce équitable, nous avons cherché à y poser dès le début les bases d’une évaluation d’impact.

C’est là pour moi un des apprentissages de cette recherche-action: si on veut évaluer un projet, il faut s’en préoccuper dès le début et non pas à la fin!

Ainsi, nous avons recruté deux volontaires à qui j’ai tenté de transmettre cet engouement pour l’évaluation de l’impact en ECSI en les incitants à la lecture du guide réalisé à la suite de la recherche action. Et la sauce a pris! Nous avons réfléchi ensemble à une méthodologie d’évaluation adaptée à notre projet et confirmé ses objectifs en termes de renforcement de compétences attendues des participants à ce projet (jeunes et encadrants). Durant 3 ans, un binôme recueillait la parole des participants aux 5 rencontres européennes, les mettant ensuite en perspective dans des rapports d’analyse très complets. D’autres activités ont également permis d’évaluer divers aspect: les compétences formelles et non formelles acquises par les jeunes (certains en risque de décrochage scolaire), l’appropriation du projet dans les structures…

Tout ceci constitue aujourd’hui une matière bien précieuse qu’il convient de capitaliser pour en retirer la substantifique moelle et permettre enfin à la FADM, 5 ans après cette recherche-action, de disposer d’une évaluation d’impact d’une de ses actions d’éducation au commerce équitable, de qualité, et dont les conclusions sont très attendues d’un bon nombre d’acteurs.

L’évaluation de l’impact de l’ECSI: une démarche d’avenir!

La loi de 2014 sur l’Economie sociale et solidaire ouvre aussi de nouvelles opportunités pour creuser plus loin ce chemin tortueux de l’impact de l’ECSI. Les acteurs français du commerce équitable sont donc tenus maintenant d’intégrer pleinement la dimension éducative du commerce équitable. Ainsi, la question se pose: «Que font les labels de commerce équitable pour contrôler l’engagement éducatif des acteurs du commerce équitable?». Branle-bas de combat chez les acteurs: l’éducation au commerce équitable est en passe de devenir un facteur de différenciation marketing dans la course des labels pour leur reconnaissance publique. On peut se réjouir que l’éducation soit l’avantage comparatif des acteurs, mais on peut aussi craindre un «ECSI’washing»! Dans ce contexte, l’évaluation de l’impact de l’ECSI peut devenir un outil pour travailler le sens, la vision politique et les pratiques pédagogiques de tout acteur souhaitant s’en prévaloir.

 

---