Intelligence artificielle & évaluation – Plénière 2024

Comme chaque année, le GREVAL a organisé une séance plénière permettant à toutes les personnes actives dans le champ de l’évaluation en Suisse romande de se rencontrer et d’échanger. La rencontre de cette année a eu lieu le mardi 23 janvier 2024 de 18h30 à 20h30 à la salle 3 de l’espace Dickens à deux pas de la gare de Lausanne.

Cette année le thème de notre rencontre etait la contribution des outils d’intelligence artificielle aux démarches d’évaluation. Il existe, en effet, des outils susceptibles d’automatiser une partie des tâches de conception, de réalisation et de communication des évaluations. Nous avons eu l’occasion de tester quelques uns d’entre eux en direct et de discuter les résultats obtenus. L’animation a été réalisée par Eric Moachon et Michael Debettaz avec la participation active du public. Le texte ci-dessous résume les principaux éléments de la partie théorique de cette présentation.

---

Besoin de comprendre les enjeux de l’IA pour l’évaluation

Il ressort notamment de cette séance, suivie par une quarantaine de personnes, que nous assistons à un essor de l’intelligence artificielle (I.A.) facilité par l’explosion du nombre de données produites et par la croissance des puissances de calcul des ordinateurs. L’intelligence artificielle générative, qui recours aux modèles massifs de langage (abrégé LLM de l’anglais large language model), pose des défis particuliers dans, car elle est en mesure d’accomplir certaines tâches intellectuelles.

Il est nécessaire que les évaluateur-rice-s se positionnent par rapport s’adapter aux nouveaux outils d’IA générative et s’adaptent à ces derniers. Cette adaptation appelle à en faire des outils pour simplifier certaines tâches répétitives, plutôt que pour remplacer la profession. Cela présente des risques et des enjeux qu’il s’agit d’abord de thématiser, avant de penser à les encadrer pour continuer à garantir la qualité des évaluations.

Les outils d’IA au fil du processus d’évaluation

Le schéma ci-dessus illustre les principales étapes d’une évaluation et les tâches qui y sont associées. Il indique également quelques outils ou catégories d’outils. Ce qu’il faut en retenir, c’est qu’il n’existe pas d’application spécifique à l’évaluation et que les évaluat·eur·rice·s utilsent des outils développés pour d’autres champs (recherche, marketing, communication, rédaction…).

Pour une analyse plus spécifique de certains outils, nous vous renvoyons à l’article de Nina Sabarre et coll. “Using AI to disrupt business as usual in small evaluation firms“, paru en novembre 2023 dans la revue New Directions for Evaluation. L’ensemble de ce numéro concerne l’utilisation de l’IA dans l’évaluation.

Enjeux

En bref, parmi les enjeux relevé, nous notons la place de l’humain dans le processus d’évaluation. Le temps gagné par l’automatisation de certaines tâches devrait être employé pour ce qui fait la force des bonnes évaluation, à savoir la compréhension fine des contextes organisationnels et relationnels. Il est très important de continuer à lutter contre une tendance à la standardisation de l’activité d’évaluation en valorisant toute la diversité des approches évaluatives.

Par ailleurs, sur un plan technique, il ne faudrait pas que les organisations spécialisées dans l’évaluation dépendent de solutions opaques et contraires aux standards de la protection des données. Il y a donc besoin de développer des solutions “open source” pouvant fonctionner en local.

Rôle des associations professionnelles

Le GREVAL fait partie de la société suisse d’évaluation, la SEVAL, qu’il appelle à se saisir de cette question pour :

• Former la communauté de l’évaluation
• Suivre les expérimentations
• Travailler avec les développeurs des hautes écoles
• Organiser des espaces de débat, d’échange d’expériences et de compétences
• Faire des recommandations d’utilisation
• Diffuser l’information auprès des membres

Il est clair qu’une partie de ces tâches excède les ressources d’une société nationale et devront être entreprises en commun avec les organisations d’autres pays.

PS: Au vu de la rapidité de l’évolution des outils et de l’opacité des modes de tarification des ces derniers, nous renonçons à établir un tableau comparatif des outils.