Accueil » Publications » Évaluation du Congrès SEVAL GREVAL 2020 : 2. Les résultats : ~100 participants, 64 répondants (suite)

Suivez-nous

LinkedIn
RSS

Évènements à venir

Restons en contact

Évaluation du Congrès SEVAL GREVAL 2020 : 2. Les résultats : ~100 participants, 64 répondants (suite)

2. Les résultats : ~100 participants, 64 répondants (suite)

Dans la partie précédente, nous avons présenté le dispositif d’évaluation du Congrès SEVAL GREVAL 2020 ainsi que son accueil auprès des participants. Dans cette partie, nous présenterons les résultats des données récoltées : les profils et les retours des répondants.

Les chapitres de cet article

  1. Un dispositif d’évaluation innovant
    1. Une évaluation en continu
    2. Privilégier l’expérience utilisateur
    3. Les lacunes du dispositif
  2. Les résultats : ~100 participants, 64 répondants
    1. À quels moments les répondants ont-ils accédé aux questionnaires ?
    2. Quel taux de réponse par question ?
    3. Quel est le profil des répondants ?
      Vous êtes ici
    4. Quels sont les retours des répondants ?
  3. Le machine learning au service de l’évaluation
    1. L’analyse des sentiments (via Google Cloud)

2.3 Quel est le profil des répondants ?

Leur canton et leur langue – Malgré une majorité de germanophones inscrits, les francophones ont été plus nombreux à répondre (les relances du GREVAL aidant). Notez que les cantons proviennent des informations de facturation : si l’adresse est celle de l’employeur, il est possible que le canton de résidence soit différent.

Les cantons des répondants

Les relances du GREVAL expliquent probablement pourquoi les francophones ont été plus nombreux à répondre.

Leur(s) rapport(s) à l’évaluation – La plupart des répondants sont des évaluateurs praticiens. Le faible nombre de mandants ou de financeurs pourrait indiquer que la promotion de l’événement gagnerait à les cibler davantage. En lisant les mentions supplémentaires, il s’avère que l’option “J’enseigne l’évaluation” a manqué.

Quel est votre rapport à l’évaluation?

Autres
  • Ich biete aus- und Fortbildung in Evaluation an
  • Uni, fournisseur d’offres de formation, Begleitung und Beurteiling der Masterarbeiten im internationalen
  • Evaluationsstudiengang MABLE der Universität des Saarlandes
  • Je souhaite connaître des “techniques” d’évaluation participative
  • Conseil et accompagnement de démarche d’évaluation
  • Ich interessiere mich für Evaluation
  • Je supervise des audits de performance
  • Organisation de partage d’expériences sur les évaluations
  • Je donne des cours au niveau master et CAS ainsi que des formations continues en ingénierie des évaluations en formation

Leur(s) lien(s) institutionnel(s) – Les répondants sont surtout liés à la fonction publique, que ce soit dans la recherche ou dans l’administration. Les réponses peuvent être complétées par les informations de facturation. Idéalement, nous classerions les organisations manuellement, mais ce sera un travail pour une autre fois. Il semble aussi que les options méritent reformulation, puisque certains répondants distinguent la coopérative d’une organisation (commerciale ou non), ou encore le statut d’indépendant de l’entreprise privée.

À quel(s) type(s) d’institution êtes-vous lié(e) ?

Autres
  • Forschungsgsgenossenschaft
  • consultante indépendante
  • Chercheuse indépendante
Les organisations des répondants

BAG
Bildungsplanung, Bildungsdirektion Kanton Zürich
Bioscope / Université de Genève
Büro Vatter
Büro Vatter, Politikforschung & -beratung
Centre de Vie Enfantine, Lausanne
Centre universitaire de médecine générale et santé publique (Unisanté) / CEESAN
Consultante – Analyse politique et sociale
Contrôle fédéral des finances
Contrôle parlementaire de l’administration
Cour des Comptes du canton de Vaud
Cour des comptes du canton de Genève
Direction générale de la santé Vaud
EBP Schweiz AG
EFK
ETH Zürich
econcept AG
Ecoplan AG
Europäische Akademie für Evaluation | Académie Européenne de l’Evaluation
Eval Center GmbH
evaluanda SA
Fedevaco
Filament Europe
HES-SO
HES-SO/HETS-FR
HETS-GE
Haute Ecole Pédagogique Fribourg
Haute école pédagogique du canton de Vaud (HEP Vaud)
Haute école spécialisée de Suisse occidentale
IFAA
IPDET
Interface
KEK-CDC
KPM Kompetenzzentrum für Public Management
Kompetenzzentrum für Public Management KPM Universität Bern
Metron Verkehrsplanung
OFAS
Parlamentarische Verwaltungskontrolle
Promotion santé Valais
SERDALY&ANKERS snc
Schweizerisches Rotes Kreuz
Suva
Swiss Federal Audit Office
UCA – Etat de Vaud
Universität Bern, KPM Center for Public Management
Université de Berne
Université de Genève
ZUW – Uni Bern

Les raisons de leur venue – Les répondants viennent au congrès surtout pour apprendre et réseauter. Si la qualité des présentations fait naturellement partie des objectifs du congrès, les efforts pour le réseautage restent encore marginaux. L’événement gagnerait sans doute en attractivité en satisfaisant davantage ces attentes. Corolairement, nos questions ont manqué d’aborder ce point en particulier.

Pour quelle(s) raison(s) avez-vous choisi de participer au Congrès SEVAL GREVAL 2020 ?

Autres
  • Réflexion sur la mise en place d’une évaluation participative des structures d’accueil de la petite enfance.
  • Étant en début de carrière dans cette discipline, je profite de ce congrès pour faire un peu “d’observation Participante”
  • Rencontrer d’éventuels futurs partenaires pour des projets

Leur expérience avec la participation – La première des deux questions de l’icebreaker (qui ont obtenu le plus de réponses) montre que les répondants ont, pour la plupart, déjà recouru à la participation en évaluation, sans grande différence entre les germanophones et les francophones.

Avez-vous déjà recouru à la participation dans le cadre d’une évaluation ?

Les questions icebreaker posées en cours de session sont celles qui ont obtenu le plus de réponses.

Leurs avis sur la participation – Les répondants ont majoritairement réfuté les affirmations proposées. Ces dernières étant négatives sur la participation, on peut considérer qu’ils en cultivent une opinion favorable. Les résultats de la seconde question de l’icebreakerPour vous, l’évaluation, c’est :” le confirment.

Le penchant des participants est attendu, car une personne suffisamment intéressée par le thème pour venir au congrès a de fortes chances de l’approuver. Notez que les avis sur “Les mandants ne le demandent jamais” sont plus mitigés, comme il s’agit davantage d’un état de fait que d’un avis sur la participation.

Pour vous, la participation, c’est :
une illusion ←→ une nécessité

Quel est votre avis sur les affirmations suivantes concernant la participation en évaluation ?

La répartition des avis en pourcentages

Quel est votre avis sur les affirmations suivantes concernant la participation en évaluation ?

Les taux de réponses fluctuent en raison de l’enregistrement incrémental des réponses.

Une précision à apporter ?

  • Je serais intéressée à avoir un document qui explique la méthode utilisée par le groupe qui n’avait pas pu faire sa présentation le jeudi 3 septembre.
  • Souvent, cela coûte cher par rapport au budget donné. Par contre, lorsque c’est un aspect important du mandat donné, les coûts y relatifs sont mieux compris par le mandant.
  • Auftraggeber finanzieren Partizipation selten und sind oft skeptisch gegenüber entsprechenden Vorschlägen

2.4 Quels sont les retours des répondants ?

Malgré la chute des taux de réponse aux questionnaires dès l’après-midi, les répondants ont généralement été satisfaits des activités du congrès. Les commentaires révèlent plusieurs déceptions quant à l’absence de traduction des conférences du matin. Certaines suggestions d’amélioration sont également utiles et faciles à mettre en place pour les éditions futures (comme le paiement par carte de crédit par exemple).

Comment avez-vous trouvé les conférences du matin ?

Commentaires

Les évaluations participatives : plus facile à dire qu’à faire ? (Thomas Delahais)
  • Franc, direct, réaliste; malheureusement seulement en français, donc impact limité sur le public SEVAL, mais bonne conférenc
  • Très convaincant tout en restant nuancé sur les avantages et limites des évaluations participatives.
  • Leider spreche ich französisch nicht.
  • sicher gut, verpasst
  • claire, critique
  • Bonne présentation, ton engageant
  • très bonne intervention
  • Super, d’avoir posé quelques questions critiques. Très agréable à écouter.
  • Ein radikaler Ansatz, aber sehr anregend!
  • Klar strukturiert, gute Auswahl von Inhalten und Beispielen, überzeugende Präsentation
History of Participatory Evaluation in International Development (Craig Russon)
  • Un peu trop “ex cathedra” à mon goût; absence (apparente) de cadre méthodologique donnait l’impression d’être “entre nous”, mais un peu contre-productif.
  • Interessant, aber typisch US.
  • La perspective historique n’a pas apporté beaucoup à la réflexion
  • Manière de présenter originale et très engageante, contenu très américano-centré
  • Je pense qu’il est un grand orateur. Cela aurait été un vrai plaisir de l’écouter en présence. La technique rendait la compréhension un peu difficile.
  • Schade, dass die Qualität der Übertragung schlecht war. Trotzdem war der Beitrag eine Bereicherung
  • Peu dense
  • Ein bisschen viel Michigan und Esoterik, aber sehr frisch und interessant
Mitwirkung von armutsbetroffenen und -gefährdeten Personen in der Evaluation von partizipativen Projekten im Bereich Armut und Prävention – Chancen und Herausforderungen (Emanuela Chiapparini)
  • – Allemand
  • – Recherche très intéressante et bien présentée. Je me questionne sur la quasi-invisibiliation des autres membres de l’équipe qui n’ont pas été nommé-e-s, d’autant plus que parmi elles figurent deux profs de la HETS Fribourg qui accueille le congrès. Quand on parle de participation….
  • – Zu viel in 30‘
  • – Ouverture très intéressante sur les possibilités d’intégrer ces populations dans le processus dévaluation
  • – Generalement peu de traductions ou aides pour ceux qui comprennent pas tout
  • – Présentation longue et un peu scolaire, mais contenu intéressant
  • – malheureusement je n’ai ren compris ne parlant pas assez bien allemand
  • – Zu wenig Zeit, zu gedrängt. Es wäre besser gewesen auf den 2. Teil zu fokussieren. Ansonsten seht interessant und fundiert.
  • – Sicher ein sehr seriöser Bericht und vielleicht war die Kollegin sehr nervös, aber ich konnte kaum zuhören.
  • – Schade, dass die Präsentation etwas überfüllt war. Der letzte Teil kam zu kurz. Der Inhalt jedoch sehr gut.
  • – Trop rapide
  • – Très dense, mais intéressant
  • – Unglaublich, völlig überladene Folien, keine Gewichtung von relevant und irrelevant, keine Präsentationskompetenz. Ich habe am Schluss keine Ahnung, was wichtig war und was nicht und was die Referentin letztlich sagen wollte

Comment avez-vous trouvé l’atelier de l’après-midi ?

Le taux de réponse a drastiquement chuté dès l’après-midi. Ici, le nombre de valeurs manquantes par atelier est estimé selon la distribution des inscriptions.
Commentaires
A1 Comment assurer la participation de publics difficiles à atteindre ou fragiles ?
  • Sehr interessante Präsentationen, die Diskussion ist dann m.E. etwas stark von evaluationsmethodischen Fragen abgeschweift, hätte vielleicht besser geleitet werden können
  • Les présentations étaient intéressantes, même si je m’attendais à traiter des publics fragiles et non spécifiquement des jeunes
A2 La vidéo au service de l’évaluation
  • très intéressant et bien articulé à la pratique
  • Schade, wie so oft in Workshops waren die Beiträge viel zu lang und für die Diskussion blieb fast keine Zeit. Trotzdem interessant und anregend. Mich hat es gestört, dass wir quasi dazu aufgefordert wurden, die Masken abzulegen, es war eigentlich zu eng dafür.
A4 Partizipative Ansätze und Evaluationsmethodik
  • Es hat mir gefallen. Leider ist eine Referentin nicht gekommen. Trotzdem schätze ich sehr hoch die Möglichkeit an solchem Workshop teilzunehmen.

A5 Wie stehen Mitglieder der SEVAL zum Thema Partizipation in Evaluationen?
  • Diskussion auf hohem Niveau mit guten Köpfen
  • Sehr gut moderiert und angeregte Diskussionen

Le Congrès SEVAL GREVAL 2020 a-t-il répondu à vos attentes ?

Comme à l’accoutumée, le congrès s’est clôt sur un apéro informel.

Avant de nous quitter, avez-vous une dernière chose à ajouter ?
  • Félicitations pour l’excellente organisation, toujours un plaisir d’apprendre de nouvelles choses en évaluation.
  • Je regrette que les conférences et ateliers n’aient pas été disponibles en ligne.
  • Je réalise que le congres se passe dans une ville bilingue D/F mais tout le monde n’a pas ces deux langues dans son bagage personnel et je trouve dommage le manque de traduction, au moins pour les keynotes.
  • Etwas mehr Diversität der Beiträge. Alles nur zur Partizipation war etwas beschränkt. Aus der Hochschulevaluation kommend fiel der einzige Beitrag dazu leider aus.
  • Danke für das interessante Thema und die gute Organisation! Ich finde es überlegenswert für die SEVAL, dass hier ein Querschnittsthema behandelt wurde, nicht wie sonst oft ein Bereich. Das interessiert mehr Teilnehmende, denke ich. Merci!
  • Die Workshops am Donnerstagnachmittag waren nicht wirklich Workshops, man hat den Referaten nur zugehört, was etwas schade war. Das Atelier zu Videos war super präsentiert!
  • J’aurais aimé un atelier qui creuse la question des termes de référence dans une évaluation participative. Si vous avez des ressources à mettre à disposition…
  • Das nächste Mal bitte wieder normale Zahlungsoptionen mit Kreditkarte. Die Banküberweisung fand ich sehr unpraktisch und old school. Das müsst ihr nicht noch einmal machen.
  • Interessant

À propos de Michael
Michael Debétaz
Consultant
Data Science | Evaluation | Web Dev

Je travaille comme entrepreneur et comme conseiller en organisation depuis 2016. Je suis spécialisé en data science, en évaluation et en développement d’applications web. J’ai aidé plusieurs organisations à moderniser leurs processus de travail (notamment @ CVAJ) et je cultive une passion sans borne pour ce que le numérique peut apporter à la réalisation de projets. À côté, je dirige Sympa Bonnard, un e-commerce qui promeut une consommation éthique et locale. Je trouve mon épanouissement en soutenant des organisations à développer et à améliorer leurs projets, tout en leur transmettant les outils pour développer leur propre autonomie.

LinkedIn | YouTube | Écrivez-moi


2 commentaires

  1. Merci Michael pour cet exemple de sondage et pour les résultats. J’ai eu personnellement qq problèmes d’accès au sondage si je me rappelle bien. Je trouve bien de poser des questions à plusieurs moments et de pouvoir utiliser les réponses en temps réel pour les animateurs. Il faut cependant que l’accès soit plus facile et qu’on fasse davantage d’effort pour avoir un taux de réponse suffisant! En tous les cas merci et à une prochaine! Emmanuel

    • Merci Emmanuel pour ta contribution aux commentaires et ta venue au congrès ! Toutes nos excuses pour les difficultés rencontrées dans l’accès aux sondages, ton retour est apprécié. J’ai effectivement éludé plusieurs détails (pour ne pas être trop long). Par exemple, pour l’accès, nous avons manqué d’anticiper deux problèmes d’implémentation :

      1) le réseau de l’école bloquait nos applications, d’où le recours à l’arrache, pour l’icebreaker, à un formulaire parallèle (un Google Form) ;
      2) l’aula ne captait pas le réseau mobile et il n’était donc pas possible de se connecter à internet sans se connecter au WiFi de l’école (qui bloquait donc nos applications).

      Ce sont des leçons que nous retiendrons pour nos prochains événements, idéalement en testant le tout avant la mise en production. Mais ça dépendra des ressources disponibles évidemment.

      Pour l’évaluation du taux de réponse, c’est plus compliqué car cela dépend de l’objectif du sondage : considérant les ressources à disposition, souhaite-t-on des avis représentatifs de la population du congrès ? Ou bien est-il plus réaliste de se satisfaire des avis de ceux qui répondent (qui amènent forcément un biais d’autosélection) ? Pour ma part, je recommande généralement de se fixer des objectifs à la hauteur des ressources, surtout quand l’activité repose sur l’engagement bénévole.
      Plus facilement, on pourrait comparer avec la performance des sondages des années précédentes, mais je ne les ai malheureusement pas sous la main.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *