Accueil » Publications (Page 2)

Archives de catégorie : Publications

Suivez-nous

LinkedIn
RSS

Restons en contact

Big data, machine learning et évaluation : 5. La prédiction des pannes (ou maintenance prédictive)

La data science au service des administrations

Gagnant du prix SEVAL 2021

5. La prédiction des pannes (ou maintenance prédictive)

La santé des serveurs informatiques est essentielle à la qualité des prestations publiques, tant pour les habitants (e.g. les services e-démarches) que pour les collaborateurs de l’État (e.g. les logiciels de travail). Dans ce contexte, l’équipe responsable des serveurs est confrontée à deux problèmes : d’une part, les pannes critiques doivent absolument être évitées pour assurer la continuité des services ; d’autre part, multiplier les opérations de maintenance est coûteux et fastidieux pour l’administration, alors que la plupart des machines examinées ne présentent aucun signe de dégradation. Un indicateur fiable de prédiction de pannes apparaît alors comme une solution enviable. Ce problème repose sur deux hypothèses :

Big data, machine learning et évaluation : 4. Prédire les contraventions impayées de la ville Détroit

La data science au service des administrations

Gagnant du prix SEVAL 2021

4. Prédire les contraventions impayées de la ville Détroit

En 2017, la ville de Detroit a lancé une compétition publique pour l’aider à résoudre son problème de contraventions impayées (Kaggle 2019). Il s’agit plus précisément des blight tickets, des contraventions infligées aux résidents qui manquent de préserver le bon état de leur propriété (détérioration, graffitis, insalubrité, etc.). Malheureusement, la plupart de ces contraventions demeurent impayées à la fin du délai légal, entraînant des procédures administratives lourdes et coûteuses pour les autorités. La ville a donc cherché à accroître le respect du paiement des contraventions (dit aussi compliance). Pour en comprendre les déterminants, une étape visait à identifier les meilleurs prédicteurs de la compliance. La ville a ainsi publié ses données en vue d’obtenir un modèle prédictif performant.

Big data, machine learning et évaluation : 3. Quelques définitions

La data science au service des administrations

Gagnant du prix SEVAL 2021

3. Quelques définitions

3.1. Le machine learning

Le machine learning (ou apprentissage automatique) est le « processus par lequel un algorithme évalue et améliore ses performances sans l’intervention d’un programmeur, en répétant son exécution sur des jeux de données jusqu’à obtenir, de manière régulière, des résultats pertinents » (République française 2018). Malgré quelques développements précoces depuis les années 1950, la recherche dans le domaine ne s’est intensifiée qu’à partir du 21e siècle, grâce à l’explosion des puissances de calcul et du big data (Foote 2020). Le machine learning distingue deux types majeurs d’apprentissage (Shalev-Shwartz et Ben-David 2014, 22-23) :

Big data, machine learning et évaluation : 2. Survol de la discussion scientifique

La data science au service des administrations

Gagnant du prix SEVAL 2021

2. Survol de la discussion scientifique

La thématique du big data en évaluation soulève plusieurs enjeux déjà explorés depuis une dizaine d’années. Dresser un état de la littérature permet de recenser les sentiers battus, ainsi que ceux qui restent à défricher. Néanmoins, la relative nouveauté du machine learning explique la pauvreté actuelle des publications liées à l’évaluation de projets, de programmes ou de politiques publiques. De plus, le machine learning est une pratique inhérente à la science des données (ou data science), une discipline nouvelle située à la frontière entre les statistiques et l’informatique (Christensson 2017). Malgré un lien déjà fortement établi entre les statistiques et l’évaluation, les professionnels du domaine peinent à intégrer ces nouveaux outils sans accuser un temps de retard (Bamberger 2017a).

Big data, machine learning et évaluation : 1. Introduction

La data science au service des administrations

Gagnant du prix SEVAL 2021

0. Abstract

La révolution numérique a transformé durablement la façon dont sont menés les projets, les programmes et les politiques publiques. Les nouvelles technologies de l’information et de la communication créent de nouvelles sources de données, dont la plupart relèvent du big data. Ces dernières représentent des enjeux méthodologiques nouveaux pour les professionnels de l’évaluation, qui peinent pourtant encore à les intégrer dans leurs analyses.

❝ Cette série d’articles vise à jeter un pont entre l’évaluation et la science des données en présentant quatre cas d’application au service des administrations

Cette série d’articles vise à jeter un pont entre l’évaluation et la science des données en présentant quatre cas d’application, notamment du machine learning, au service des administrations. Pour chacun d’eux, il partage les algorithmes de résolution en langage Python, en utilisant des données similaires publiques ou fictives. Grâce aux outils libres et gratuits permettant de reproduire ces codes, il invite les évaluateurs à se familiariser de façon pratique à la science des données et aux perspectives qu’elle peut leur offrir dans leurs pratiques professionnelles.

La théorie vous ennuie ? Passez directement à la partie sur les cas pratiques !

Évaluation du Congrès SEVAL GREVAL 2020 : 3. Le machine learning au service de l’évaluation

3. Le machine learning au service de l’évaluation

Dans la partie précédente, nous avons présenté les résultats des données récoltées, i.e. les profils et les retours des répondants. Dans cette partie, nous utiliserons le machine learning (ou apprentissage automatique) pour automatiser l’analyse des commentaires.

Évaluation du Congrès SEVAL GREVAL 2020 : 2. Les résultats : ~100 participants, 64 répondants (suite)

2. Les résultats : ~100 participants, 64 répondants (suite)

Dans la partie précédente, nous avons présenté le dispositif d’évaluation du Congrès SEVAL GREVAL 2020 ainsi que son accueil auprès des participants. Dans cette partie, nous présenterons les résultats des données récoltées : les profils et les retours des répondants.

Évaluation du Congrès SEVAL GREVAL 2020 : 1. Un dispositif d’évaluation innovant

1. Un dispositif d’évaluation innovant

Si vous suivez le GREVAL depuis un certain temps, il est probable que nous nous soyons rencontrés au Congrès SEVAL GREVAL du 4 septembre 2020. Comme chaque année, les participants ont été invités à donner leur avis sur le congrès, ainsi que quelques informations sur leur profil. La participation au congrès est payante et il est dès lors précieux pour l’organisateur de disposer de données utiles à l’amélioration de ses événements futurs.

❝ Ce cas illustre plusieurs applications de la Data Science en évaluation ❞

La participation en évaluation

Un projet ne peut échapper à la participation

L’être humain est un être de projets. Il oriente son action selon un ou plusieurs objectifs fixés. En ce sens, nous avons tous déjà vécu l’expérience d’un projet, de même que la réussite ou l’échec de notre stratégie pour le réaliser. Que ce soit pour apprendre à manger mieux, maîtriser une nouvelle langue ou passer un examen, nos projets révèlent par l’expérience les facteurs favorables à l’atteinte de nos objectifs. La plupart nous sont communs : disposer de ressources suffisantes, formuler des objectifs réalistes, ou encore s’imposer des délais, pour ne citer qu’eux.

Theory of change : penser le changement

Pourquoi penser le changement ?

Dans le cadre de l’évaluation d’une intervention, d’un programme ou d’une politique publique, il est usuel de construire, au terme de l’étude préparatoire, une description du fonctionnement de l’objet évalué. Cet effort d’explication peut avoir des objectifs variés dépendant de ce qui est attendu de l’évaluation. Il garde cependant une utilité fondamentale : réduire la complexité et permettre une compréhension aisée et rapide de la logique du programme. En d’autres termes, il s’agit de mettre en lumière comment et pourquoi les actions de l’organisation sont censées participer aux effets attendus. L’exercice bénéficie tant aux évaluateurs pour leur réflexion qu’aux gestionnaires du programme qui peuvent ainsi valider la compréhension de l’objet.