Accueil » Publications » Big data, machine learning et évaluation : 2. Survol de la discussion scientifique

Suivez-nous

LinkedIn
RSS

Prochains évènements

  1. Séance de comité

    20.04 18:00 - 20:00

Restons en contact

Big data, machine learning et évaluation : 2. Survol de la discussion scientifique

La data science au service des administrations

Les chapitres de cet article

2. Survol de la discussion scientifique

La thématique du big data en évaluation soulève plusieurs enjeux déjà explorés depuis une dizaine d’années. Dresser un état de la littérature permet de recenser les sentiers battus, ainsi que ceux qui restent à défricher. Néanmoins, la relative nouveauté du machine learning explique la pauvreté actuelle des publications liées à l’évaluation de projets, de programmes ou de politiques publiques. De plus, le machine learning est une pratique inhérente à la science des données (ou data science), une discipline nouvelle située à la frontière entre les statistiques et l’informatique (Christensson 2017). Malgré un lien déjà fortement établi entre les statistiques et l’évaluation, les professionnels du domaine peinent à intégrer ces nouveaux outils sans accuser un temps de retard (Bamberger 2017a).

2.1. Début des années 2010 : les premiers retours de terrain

Une première recherche de littérature dévoile cependant quelques contributions, issues essentiellement d’expériences d’intégration du big data au processus évaluatif. Les réflexions sur l’apport du big data et de ses applications dans la prise de décision ont très tôt émergé dans le développement international (UN Global Pulse 2012) (UNDP 2013) et, plus largement, en sciences sociales (Provost 2013). Plus tard, l’International Institute for Communication and Development (IICD) (2014, 6), fort des implémentations qu’il a dirigées, défend les bénéfices des nouvelles technologies au service de l’évaluation et propose quelques lignes directrices pour leur intégration. Parallèlement, Raftree et Bamberger (2014, 10) soulèvent le manque de preuves soutenant l’efficacité des nouvelles technologies de l’information et de la communication (NTICs), malgré une utilisation grandissante à toutes les étapes de l’évaluation. À contrario des réserves précédentes, Grimmer (2015) fait l’apologie du big data et du machine learning en tant que compléments des méthodes classiques en sciences sociales.

2.2. Le milieu des années 2010 : l’envol de la thématique

Quelques mois plus tard, le fameux site web Better Evaluation tente, dans un premier article, de synthétiser les connaissances de l’époque sur l’utilisation du big data en évaluation (Macfarlan 2015). Bien que la question apparaisse dans presque toutes les publications antérieures, l’article met en lumière les défis éthiques posés par la récolte massive d’informations. C’est à partir de cette période que l’United Nations Global Pulse publie ses premiers ouvrages de référence pour l’introduction des NTICs en évaluation, dans le but de familiariser les professionnels au big data et à son implémentation efficace dans un processus évaluatif (Jackson 2015) (UN Global Pulse 2016). Dès lors, la thématique prend son envol et les publications s’intensifient dans l’aide internationale, approfondissant toujours plus la question du recours au big data en évaluation (Mukarji 2016). Gustav Jakob Petersson (2017) publie le premier livre portant explicitement sur le big data et l’évaluation, en particulier sur l’usage du big data dans la production de connaissances fondées sur des preuves pour la prise de décision. Cet ouvrage est remarquable, car il exploite pour la première fois d’autres sources que les publications des organisations internationales. S’ensuivent quelques recherches très spécifiques sur l’usage du big data pour les évaluations ex-post (Netten 2017), sur la supériorité de l’approche bayésienne avec des flux continus de données (Finucane 2018) et sur l’application de la « double machine learning evaluation under uncounfoundedness » sur le marché du travail (Knaus 2020). Trois ans après sa première publication sur le sujet, Bamberger déplore le retard de l’évaluation en la matière et ouvre la réflexion sur l’évolution possible du métier face aux rapides changements entraînés par l’avènement du big data et de ses applications (Bamberger, The future of development evaluation in the age of big data 2017a). Concernant la Suisse, la Confédération a publié, fin 2019, le rapport d’un groupe de travail interdépartemental sur la question des défis de l’intelligence artificielle pour les administrations publiques (SEFRI 2019).

2.3. L’accalmie du débat depuis 2018

Vu depuis mi- 2020, la discussion scientifique semble s’estomper à partir de 2018. Il apparaît que l’enthousiasme pour le big data subit le contre-coup de l’effet de nouveauté, comme décrit par la courbe de Gartner. Néanmoins, selon ce même modèle, il est attendu que l’attention remonte progressivement, une fois que les technologies auront atteint un certain degré de maturation.

Quantités annuelles d’articles tagués « big data » sur merltech.org et betterevaluation.org
La fréquence des publications web sur le big data et l’évaluation suit la tendance de la courbe de Gartner (ci-après).
“Hype cycle” de Gartner
(Gartner 2019)

Les chapitres de cet article

  1. Introduction : l’avènement de la data science grâce à la révolution numérique
    1. Quelques précisions sur ce travail
  2. Survol de la discussion scientifique
    1. Début des années 2010 : les premiers retours de terrain
    2. Le milieu des années 2010 : l’envol de la thématique
    3. L’accalmie du débat depuis 2018
  3. Quelques définitions
    1. Le machine learning
    2. La data science (ou science des données)
    3. Le big data
    4. L’évaluation
  4. Prédire les contraventions impayées de la ville Détroit
    1. Algorithme de prédiction des contraventions impayées
  5. La prédiction des pannes (ou maintenance prédictive)
    1. Algorithme de prédiction des pannes
  6. La gestion des tickets d’incident
    1. Algorithme de prédiction des questions similaires
  7. La détection d’anomalies
    1. Algorithme de détection d’anomalies
    2. Algorithme de détection d’erreurs de saisie
  8. Conclusion
    1. Un retard d’adaptation
    2. Une évolution sans révolution
    3. Ouvrir la réflexion sur les enjeux éthiques
  9. Bibliographie

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *