On-Demand Health Data Provisioning with Custom Temporary Data Views for Big Data Platforms

Deux décennies depuis l’introduction des plateformes Big Data, elles restent néanmoins un sujet complexe ayant plusieurs défis encore non résolus. Il y a toujours un manque de consensus concernant la plateforme idéale pour résoudre les problèmes du monde réel. En effet, chaque cas d’utilisation requiert la conception d’une plateforme de donnée spécifique. Aussi, le fait que les données continuent d’augmenter exponentiellement incite les organisations à adopter des techniques de science de données et d’apprentissage machine afin d’explorer leurs données plus efficacement. Cela nécessite d’établir les fondations d’une architecture aidant à traiter un volume important des données variées de façon rapide tout en maintenant la véracité de ces derniers. En effet, les implémentations du type Entrepôt de Données et Lacs de Données sont souvent indispensables pour manipuler un tel volume. Cependant, chaque implémentation peut être réalisée de plus d’une façon. Nous nous penchons tout au long de notre recherche vers ces défis tout en parcourant l’état de l’art de différentes techniques explorées. Ce mémoire cible la partie backend et stockage au sein d’un plus grand projet concernant les plateformes de données libres d’accès et suivant un modèle sur mesure pour le milieu de la santé en collaboration avec la Clinique Médicale Urbaine du Quartier Latin. Nous présentons aussi l’implémentation d’une architecture Lac de Données dans un cas d’utilisation spécifique au domaine de santé. Notre implémentation peut être établie on-premise ou dans une infrastructure infonuagique et est constituée de deux parties. La première consiste en un backend responsable d’effectuer les tâches d’ingestion, stockage, transformation, et transfert de données. Ce backend adresse aussi la problématique qui concerne le type de stockage et les types de bases de données les plus compatibles avec un cas d’utilisation spécifique dans le domaine de la santé.