Accueil » Publications » Évaluation du Congrès SEVAL GREVAL 2020 : 3. Le machine learning au service de l’évaluation

Suivez-nous

LinkedIn
RSS

Évènements à venir

Restons en contact

Évaluation du Congrès SEVAL GREVAL 2020 : 3. Le machine learning au service de l’évaluation

3. Le machine learning au service de l’évaluation

Dans la partie précédente, nous avons présenté les résultats des données récoltées, i.e. les profils et les retours des répondants. Dans cette partie, nous utiliserons le machine learning (ou apprentissage automatique) pour automatiser l’analyse des commentaires.

Les chapitres de cet article

Mon intérêt particulier pour le numérique

Du fait de mon penchant pour les nouvelles technologies et de mon expérience en tant que consultant, je vois dans la data science, le big data et le machine learning une opportunité à ma mission. Force est de constater que le recours à l’intelligence artificielle reste peu répandu en évaluation, pour diverses raisons que Michael Bamberger étaye mieux que moi. Actif au GREVAL depuis sa création, j’ai à cœur de promouvoir l’utilité du numérique pour la gestion de projet et de tisser des liens entre la science des données et l’évaluation.

Je cultive un intérêt particulier pour le numérique. Par exemple la diffusion de contenu sur des supports web ou vidéos, ou encore l’application de l’intelligence artificielle pour résoudre les problèmes des organisations.

3.1 L’analyse des sentiments (via Google Cloud)

Humainement, l’analyse de données non-structurées (comme les textes libres) est une tâche chronophage et devient pratiquement irréalisable passé une certaine échelle. Il est cependant aujourd’hui possible d’utiliser des modèles de machine learning pour, entre autres, déterminer le sentiment général d’un texte.

Pour analyser les commentaires des répondants, nous avons utilisé les algorithmes proposés par Google Cloud. Ceux-ci allègent considérablement le travail, en offrant notamment des modèles pré-entraînés adaptés automatiquement à la langue des textes. L’analyse des sentiments retourne, pour chaque texte, deux valeurs :

  • le score : l’émotion globale du texte, allant de – 1 (négative) à +1 (positive).
  • la magnitude : la quantité de contenu émotionnel présente dans le texte (de 0 à +∞), souvent proportionnelle à la longueur du document.

Comme nous nous intéressons à ce qui a été dit de positif et de négatif sur le congrès, nous décomposons les commentaires les plus longs en phrases. Nous obtenons ainsi 73 textes sur lesquels appliquer notre modèle.

Exemple d’interprétation des scores et magnitudes
* Les classifications reposent sur vos propres règles d’interprétation. (Source : Google Cloud)

L’interactivité permet d’ajouter de l’information sans alourdir le graphique.

À partir des valeurs obtenues, il est possible de représenter visuellement les avis des répondants sur le congrès. Avec un peu d’ingénierie, nous ajoutons de l’interactivité aux données pour naviguer entre les activités (par les onglets), ainsi que pour accéder au texte lié à chaque point (en passant la souris dessus).

Une telle représentation est particulièrement utile pour un décideur confronté à un grand nombre de commentaires et qui désire un aperçu rapide des avis, ou bien qui cherche une solution économique pour écrémer les commentaires et ne retenir que les plus positifs ou négatifs.

Les commentaires sur les conférences, les ateliers et le congrès en général

Notes sur l’utilisation
  • Cliquez sur les onglets pour naviguer entre les parties du congrès.
  • Utilisez la molette de la souris pour zoomer/dézoomer.
  • Cliquez sur le bouton 🔄 sur la droite du graphique pour réinitialiser l’affichage.
  • Si vous rencontrez des problèmes pour afficher le graphique, essayez de le charger dans une nouvelle page.

Commentaires sur le graphique
  • La préparation des données étant relativement simple, certaines coupures de commentaire ne sont pas forcément pertinentes.
  • La magnitude étant une agrégation des composantes du texte, la distribution en “<” est un résultat attendu.

À propos de Michael
Michael Debétaz
Consultant
Data Science | Evaluation | Web Dev

Je travaille comme entrepreneur et comme conseiller en organisation depuis 2016. Je suis spécialisé en data science, en évaluation et en développement d’applications web. J’ai aidé plusieurs organisations à moderniser leurs processus de travail (notamment @ CVAJ) et je cultive une passion sans borne pour ce que le numérique peut apporter à la réalisation de projets. À côté, je dirige Sympa Bonnard, un e-commerce qui promeut une consommation éthique et locale. Je trouve mon épanouissement en soutenant des organisations à développer et à améliorer leurs projets, tout en leur transmettant les outils pour développer leur propre autonomie.

LinkedIn | YouTube | Écrivez-moi


Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *