Guide pour l’observation des effets de nos animations sur les publics

Octobre 2017

Vous avez dit impact ?

…. nous parlerons plutôt d’effets

Effets

Résultats

• Somme des effets• Long terme• Dépend aussi

d’autres facteurs

• Prend en compte l’appropriation par les acteurs finaux

• Du court terme au plus long terme

• Directement générés par l’action

• Court terme

Impact

Pourquoi s’intéresser aux effets sur ses publics ?

Rendre compte

ValoriserDécider

Apprendre

• Les valeurs et pratiques d’ECSI• l’animation, les bénévoles, le collectif• partager le sens de son action!

• Améliorer la qualité de son animation et ses méthodes• Continuer, arrêter ou modifier une action• Monter de nouveaux partenariats• Avoir une vision prospective en réfléchissant aux effets qu’on veut avoir sur son public

• Etoffer son bilan et l’actualiser• Mesurer les effets, l’impact• Apprécier de façon argumentée les réussites, échecs, forces, faiblesses• Identifier les blocages• Redonner du sens

• Aux partenaires techniques et financiers, aux élus• et convaincre! • Partager ses décisions

…

Un processus de réflexion déjà amorcé

Pour que notre événement ne soit pas qu’un moment de communication, le comité de pilotage du projet a depuis plusieurs années déjà fait des choix importants, comme :

Favoriser l’expression citoyenne

Encourager les animations attractives et festives

Encourager les partenariats et les co-créations d’animations entre organisations de solidarité internationale et de solidarité locale

ou plus récemment, changer de nom et durée….

Expérience des

festivaliers

Objectif : faire du Festisol un espace convivial dans lequel les participants vont pouvoir vivre une

expérience de citoyenneté et de solidarité, en particulier les non-sensibilisés

…

Quel impact pour notre projet ?

Si on ne considère que les passages à l’acte suite au Festisol, notre impact sera nécessairement réduit… et difficile à observer

Elargissons notre vision de l’impact du Festisol : il ne commence pas après le festival, mais pendant le festival!

Si on considère l’expérience vécue par les festivaliers PENDANT le festival, notre impact sera bien plus large… et plus facile à observer.

…

Quel impact pour notre projet ?

…

Valorisons ce qui se passe pendant le Festisol

• Quelles expériences à vivre Festisol offre-t-il aux participants ?

• Quelles rencontres favorise-t-il, y compris entre les acteurs ?

• Le Festival donne-t-il envie d’agir ?

• Renforce-t-il les capacités citoyennes et solidaires des festivaliers ?

Le public détient une partie des réponses, encore faut-il l’interroger, et se poser la question à nous-mêmes des effets attendus sur les publics…

C’est quoi nos effets ?

EFFETS attendus ACTION EFFETS

Produits

Clarifier « Qu’est-ce qu’on cherche à

changer, chez qui ? »

Collecter« Qu’est ce qu’on a réellement réussi à produire? D’autres effets, non prévus, se sont-ils produits?

Evaluation VALORISER !

Observation

L’observation des effets permet d’évaluer nos actions en comparant aux effets attendus, mais donne aussi de la matière à valoriser

Présentation du dispositif et des outils

qui a besoin de vous !

Pour être là

….. Et là

Et là….

Et là….

…

Principe idéal…

Equipe nationale +

CORAS

Observateurs relais

Observateur local 3 animations

Observateur local 3 animations

Observateurs relais

Observateur local 3 animations

Observateur local 3 animations

qui a besoin de vous !…

Vous pouvez être deux observateurs sur une même animation. Nous proposons un objectif de 10 questionnaires remplis par animation, mais si vous faites moins ce n’est pas grave (et si vous faites plus c’est très bien aussi)…

En 2010 : 1ère tentative d’observation des publics

Par un système de démultiplication sur le terrain :

935 questionnaires78 animations

2 régions couvertes(Bretagne et Ile-de-France)

grâce à 9 évaluateurs relais +32 évaluateurs locaux

« Profil » des observateurs/trices

Observateur/trice des publics :

• Personne disponible pour couvrir une ou plusieurs animations sur la période du festival

• en allant au-devant des participants (donc pas timide)

• avec l’outil questionnaire

Le tout sur tablette ou smartphone!

(….ou sur papier)

Rôle des observateurs/trices

Trouver et « former » des observateurs/trices locaux

Remplir les questionnaires en ligne en direct avec le public (… ou sur papier si on préfère)

Saisir en ligne les questionnaires papiers s’il y en a

Remplir le questionnaire « complémentaire », qui permet de faire le lien entre le type d’animation et les questionnaires remplis par les publics

« Auriez-vous 3 minutes pour nous aider à améliorer nos animations ? Nous cherchons à mieux connaître leurs effets sur nos publics »

Animation et observation : qui fait quoi ?

• Mieux vaut ne pas être à la fois animateur/trice et observateur/tricemais plutôt se répartir les rôles

• Si vous êtes animateur un jour, vous pouvez devenir observateur les autres jours, et réciproquement

• Les observateurs peuvent renvoyer les publics vers les animateurs en cas de questions sur l’animation

En résumé : 1 questionnaire, plusieurs façons de le remplir, et un observateur responsable des données collectées en ligne

Des questionnaires

publics en ligne

Un questionnaire complémentaire sur l’animation

+Questionnaire

en ligne

Questionnaire papier

Questionnaire papier libre

accès

Observateur

Publics directement

1 même questionnaire

saisit

Rempli par

Rempli par

Ramassé par

Un questionnaire pensé pour :

• Disposer d’un seul et même outil rapide à administrer pour couvrir toutes les animations du Festisol

•Recueillir de données quantitatives ET qualitatives, pour cumuler questions fermées faciles à traiter et questions ouvertes qui apportent plus de contenu,

• Allier des questions de satisfaction « à chaud » à des questions d’’impact à plus long terme (intention d’agir),

• Concilier un public éphémère et la possibilité de joindre à nouveau les personnes volontaires (par mail)

L’outil questionnaire6 questions rapides « obligatoires »…

Avez-vous passé un bon moment ? *

Avez-vous appris des choses sur la solidarité ? *

Diriez-vous que vous avez vécu une expérience forte d’ouverture aux autres à l'occasion de cette animation ?*

Avez-vous perçu lors de cette animation le lien entre solidarité locale et internationale ? *

Cette animation vous donne-t-elle envie d'agir ? *

Aviez-vous déjà participé à la Semaine de la Solidarité Internationale ? * Tout à

faitOui

plutôtPlutôt

pasPas du

tout

Tout à fait

Oui plutôt

Plutôt pas

Pas du tout

Tout à fait

Oui plutôt

Plutôt pas

Pas du tout

Tout à fait

Oui plutôt

Plutôt pas

Pas du tout

Tout à fait

Oui plutôt

Plutôt pas

Pas du tout

Oui plusieurs foisOui une foisNon jamais

Je ne sais pas ce que c’est

L’outil questionnaire: 2 questions « ouvertes » qualitatives… et un rdv pris avec son public !

Qu'est-ce qui vous a marqué.e pendant le Festival des Solidarités ?

Qu'allez vous faire à la suite du Festival des Solidarités ?

Accepteriez vous de répondre à une courte enquête par email ?Si oui, inscrire ci-dessous l'adresse email :

Commentaire éventuel du/de la participant/e :

Commentaire éventuel de l'observateur/trice :

Le questionnaire « complémentaire »

Nom et prénom de l'observateur/trice ______________ Email de l'observateur/trice * _____________Cet email doit être le même que celui saisi sur les formulaires publics pour qu'on puisse faire le lien.

Nom de votre collectif ou de votre structure* _____________________ Région * _________________Numéro de département : __Nom de l'animation concernée ___________________Type d'animation * animation de rue atelier concert/spectacle conférence-débat exposition forum jeu projection repas autre Si autre, type d'animation : ___________________

Type de public * : scolaire, public étudiant, tout public, autre Si autre : type de public _________________

Date et heure de l'animation

Commentaire éventuel de l'observateur/trice _______________________________

Quelques précisions :

• Ce questionnaire est un outil d’observation et non d’évaluation et/ou de contrôle. Par exemple, si vos animations ne font pas le lien entre local et international ce n’est pas grave, simplement c’est intéressant de le savoir.

• Vous pouvez adapter ce questionnaire en ajoutant des questions spécifiques si vous le souhaitez

• Nous ferons une analyse globale au niveau national et régional, l’analyse détaillée en revanche se fera lors de vos temps de bilan locaux.

Analyser, valoriser : une affaire collective!

Les étapes suivantes

On rentre les questionnaires papiers s’il y en a

On attend les résultats locaux et nationaux

On discute les résultats au cours des réunions bilan au niveau local et régional

On partage avec les CORAS et le national les idées et les attentes pour 2018!

Réunion bilan : Discussion sur la comparaison des effets observés et des effets attendus

EFFETS attendus ACTION EFFETS

Produits

Clarifier « Qu’est-ce qu’on cherche à

changer, chez qui ? »

Collecter« Qu’est ce qu’on a réellement réussi à produire? D’autres effets, non prévus, se sont-ils produits?

Bilan VALORISER !

Observation

Débattre des effets sur le public

Que peut-on demander à la coordination nationale et à la coras pour que leuraccompagnementréponde à nos attentes ?

Que peut-on faire en 2018 pour améliorer encore nos animations et notre démarche collective?

Les changements de nom, de durée, de format etc. ont-ils

impacté sur la relation au public ?

Est-ce qu’on était loin ou proche des effets attendus sur le public?

Les publics étaient-ils satisfaits ?

A vous de jouer !

• Vous vous sentez prêt-e à observer ?

Merci de vous inscrire sur le formulaire observateurs pour nous en informer et recevoir toutes les infos :

https://framaforms.org/inscription-des-observateurs-locaux-1508428067

• Vous avez des questions ?

Rendez-vous sur notre foire au questions :

https://www.festivaldessolidarites.org/observationpublics

ou contactez Alice : alice@festivaldessolidarites.org