Évaluation de l'impact de l'implantation d'un outil numérique en milieu hospitalier : approche pré- et post-implantation

L’implantation d’outils numériques en milieu hospitalier est souvent présentée comme une voie prometteuse pour améliorer l’organisation des soins et soutenir la décision clinique. Pourtant, mesurer concrètement leur effet demeure difficile, car l’hôpital est un environnement complexe, traversé par de nombreuses variations de charge, de ressources et de pratiques. Dans ce contexte, attribuer une évolution des performances à un seul outil numérique exige une démarche méthodologique adaptée. Ce mémoire propose un cadre d’évaluation fondé sur une distinction entre deux temporalités complémentaires : avant l’implantation et après l’implantation. Avant le déploiement, l’objectif n’est pas de démontrer un effet causal, mais d’estimer de façon structurée les effets plausibles de l’intervention afin d’éclairer la décision. Après le déploiement, l’enjeu devient d’analyser les changements observés et d’évaluer dans quelle mesure ils peuvent être reliés à l’outil implanté. Le premier volet porte sur une analyse pré-implantation d’un algorithme de prédiction de la congestion des urgences à 24 heures. À partir de données historiques couvrant la période 2018-2021, un pipeline prédictif a été élaboré afin de produire un signal cohérent avec un usage opérationnel. La reformulation du problème à une échelle temporelle de 8 heures, l’optimisation des variables retardées et le réglage du modèle selon la métrique ROC-AUC ont permis d’obtenir un outil plus pertinent sur le plan décisionnel. Sur cette base, plusieurs scénarios d’utilisation ont été construits afin d’estimer les effets attendus de l’implantation sur les délais de prise en charge, puis de les traduire en gains organisationnels et économiques potentiels. Le second volet porte sur une analyse post-implantation. En l’absence de randomisation, une approche quasi-expérimentale a été retenue, reposant principalement sur les séries temporelles interrompues. Cette analyse est complétée par un test de Mann-Whitney, des ruptures placebo et une approche bayésienne afin de mieux apprécier la robustesse des résultats. L’ensemble met en évidence un signal globalement favorable après l’intervention, tout en invitant à nuancer la portée causale des effets observés. Au final, ce travail montre qu’il est essentiel de ne pas confondre estimation d’impact et inférence causale. Il propose un cadre cohérent pour articuler analyse prospective et évaluation rétrospective, en tenant compte des contraintes réelles de l’environnement hospitalier et des limites propres aux données disponibles.