Accueil » Articles marqués « évaluation » (Page 2)
Archives de mot-clé : évaluation
Suivez-nous
Big data, machine learning et évaluation : 7. La détection de prestations erronées
La data science au service des administrations
7. La détection d’anomalies
Une administration chargée de fournir des prestations financières à des individus doit également s’assurer de l’exactitude des prestations accordées, ainsi que de la qualité des données sur lesquelles reposent leurs calculs. En effet, l’égalité et la légalité de traitement des bénéficiaires ne sauraient être garanties sur la base de données erronées. Cependant, Il est impossible pour les auditeurs d’examiner les centaines de milliers de prestations et ceux-ci doivent généralement se contenter d’un petit échantillon aléatoire.
Big data, machine learning et évaluation : 6. La gestion des tickets d’incident
La data science au service des administrations
6. La gestion des tickets d’incident
En délivrant des services informatisés (e-démarches, poursuites, etc.), l’administration assume également la gestion des problèmes des usagers. Comme pour beaucoup de supports techniques, les problèmes se ressemblent et les équipes passent un temps important à répéter les mêmes instructions. Une façon de résoudre ce problème est de créer une foire aux questions (FAQ) à disposition des usagers. Néanmoins, ces derniers préfèrent le plus souvent ouvrir un ticket, imposant un temps d’attente ainsi qu’une charge de travail pour l’équipe de support. Une solution plus ambitieuse est d’automatiser l’analyse de tickets pour trouver des contenus similaires et rediriger immédiatement l’utilisateur vers une réponse appropriée. Une telle application contribue grandement à l’expérience des usagers, tout en déchargeant l’administration qui reçoit une centaine de milliers de tickets par année.
Big data, machine learning et évaluation : 5. La prédiction des pannes (ou maintenance prédictive)
La data science au service des administrations
5. La prédiction des pannes (ou maintenance prédictive)
La santé des serveurs informatiques est essentielle à la qualité des prestations publiques, tant pour les habitants (e.g. les services e-démarches) que pour les collaborateurs de l’État (e.g. les logiciels de travail). Dans ce contexte, l’équipe responsable des serveurs est confrontée à deux problèmes : d’une part, les pannes critiques doivent absolument être évitées pour assurer la continuité des services ; d’autre part, multiplier les opérations de maintenance est coûteux et fastidieux pour l’administration, alors que la plupart des machines examinées ne présentent aucun signe de dégradation. Un indicateur fiable de prédiction de pannes apparaît alors comme une solution enviable. Ce problème repose sur deux hypothèses :
Big data, machine learning et évaluation : 4. Prédire les contraventions impayées de la ville Détroit
La data science au service des administrations
4. Prédire les contraventions impayées de la ville Détroit
En 2017, la ville de Detroit a lancé une compétition publique pour l’aider à résoudre son problème de contraventions impayées (Kaggle 2019). Il s’agit plus précisément des blight tickets, des contraventions infligées aux résidents qui manquent de préserver le bon état de leur propriété (détérioration, graffitis, insalubrité, etc.). Malheureusement, la plupart de ces contraventions demeurent impayées à la fin du délai légal, entraînant des procédures administratives lourdes et coûteuses pour les autorités. La ville a donc cherché à accroître le respect du paiement des contraventions (dit aussi compliance). Pour en comprendre les déterminants, une étape visait à identifier les meilleurs prédicteurs de la compliance. La ville a ainsi publié ses données en vue d’obtenir un modèle prédictif performant.
Big data, machine learning et évaluation : 3. Quelques définitions
La data science au service des administrations
3. Quelques définitions
3.1. Le machine learning
Le machine learning (ou apprentissage automatique) est le « processus par lequel un algorithme évalue et améliore ses performances sans l’intervention d’un programmeur, en répétant son exécution sur des jeux de données jusqu’à obtenir, de manière régulière, des résultats pertinents » (République française 2018). Malgré quelques développements précoces depuis les années 1950, la recherche dans le domaine ne s’est intensifiée qu’à partir du 21e siècle, grâce à l’explosion des puissances de calcul et du big data (Foote 2020). Le machine learning distingue deux types majeurs d’apprentissage (Shalev-Shwartz et Ben-David 2014, 22-23) :
Big data, machine learning et évaluation : 2. Survol de la discussion scientifique
La data science au service des administrations
2. Survol de la discussion scientifique
La thématique du big data en évaluation soulève plusieurs enjeux déjà explorés depuis une dizaine d’années. Dresser un état de la littérature permet de recenser les sentiers battus, ainsi que ceux qui restent à défricher. Néanmoins, la relative nouveauté du machine learning explique la pauvreté actuelle des publications liées à l’évaluation de projets, de programmes ou de politiques publiques. De plus, le machine learning est une pratique inhérente à la science des données (ou data science), une discipline nouvelle située à la frontière entre les statistiques et l’informatique (Christensson 2017). Malgré un lien déjà fortement établi entre les statistiques et l’évaluation, les professionnels du domaine peinent à intégrer ces nouveaux outils sans accuser un temps de retard (Bamberger 2017a).
Theory of change : penser le changement
Pourquoi penser le changement ?
Dans le cadre de l’évaluation d’une intervention, d’un programme ou d’une politique publique, il est usuel de construire, au terme de l’étude préparatoire, une description du fonctionnement de l’objet évalué. Cet effort d’explication peut avoir des objectifs variés dépendant de ce qui est attendu de l’évaluation. Il garde cependant une utilité fondamentale : réduire la complexité et permettre une compréhension aisée et rapide de la logique du programme. En d’autres termes, il s’agit de mettre en lumière comment et pourquoi les actions de l’organisation sont censées participer aux effets attendus. L’exercice bénéficie tant aux évaluateurs pour leur réflexion qu’aux gestionnaires du programme qui peuvent ainsi valider la compréhension de l’objet.
Réunion de l’atelier « Formations & Sensibilisation »
24.05.2016 18:30 – 20:00
L’atelier « Formations & Sensibilisation » se réunira le mardi 24 mai 2016 à 18h30 dans les locaux de Bénévolat-Vaud de Lausanne (près de la gare) pour une séance de réflexion sur le thème :
Les formations dans le domaine de l’évaluation des politiques publiques
La séance vise à :- Enrichir l’état des lieux sur les besoins et les publics en matière de formation en évaluation
- Réfléchir sur les perspectives d’enrichissement de l’offre existante et sur les modèles à développer (comme la création d’un Master par exemple)
Réunion de l’atelier « Évaluation en pratique »
L’atelier « Évaluation en pratique » se réunira le mardi 14 juin 2016 dans les bureaux de Evaluanda à Genève, pour se donner l’occasion d’échanger sur l’évaluation au concret.
L’atelier est gratuit et ouvert à toute personne intéressée par l’échange de pratiques dans le domaine de l’évaluation.
L’heure et le lieu précis de l’événement vous seront confirmés ultérieurement.
Pour toutes questions, n’hésitez à contacter directement le responsable d’atelier à l’adresse pratique@greval.ch.
Séance plénière du GREVAL
jeudi 16 juin 2016 à 18h30 | Lausanne, Avenue de Provence 6 (à côté de la HES-SO Master)
Le GREVAL se réunira le jeudi 16 juin 2016 à 18h30 à côté de la HES-SO Master de Lausanne (à 12 minutes en métro de la gare), pour une séance plénière invitant l’ensemble de ses membres (anciens comme nouveaux).
Le programme en détail :
18h30 : Avancement des travaux du GREVAL à travers ses quatre ateliers (conférence biennale, formation, plateforme d’échange, communication)
19h15 : Présentation et discussion des nouveaux Standards d’évaluation de la SEVAL (cliquez ici pour les afficher), dont l’adoption est prévue lors de l’Assemblée générale de la SEVAL le 9 septembre 2016 à Bâle
20h15 : Echanges autour d’un apéro
Inscription obligatoire
La participation est gratuite, mais l’inscription est obligatoire. Merci d’annoncer votre présence en remplissant le formulaire d’inscription :
Pour toute question, n’hésitez pas à nous écrire à info@greval.ch.