Identification de données suspectes par apprentissage profond dans les précipitations journalières mesurées au Québec

L’identification des valeurs suspectes dans les données météorologiques est une étape importante pour de nombreuses applications. Ce processus de contrôle qualité passe habituellement par des tests statistiques puis par l’analyse d’experts dans le domaine, ce qui peut être chronophage et coûteux. Ainsi, ce projet de recherche s’inscrit dans ce contexte, et traite donc de données météorologiques, plus particulièrement les précipitations mesurées. L’objectif est d’automatiser l’identification des données suspectes provenant de capteurs. Les données suspectes peuvent en réalité être des données réelles représentant des phénomènes rares ou des valeurs erronées. Ce contrôle est nécessaire pour s’assurer de la fiabilité des données alimentant les analyses réalisées pour la prévision météorologique, la planification de la production d’énergie hydro-électrique, ou encore en soutien à l’agriculture. Le modèle proposé dans cette étude se base sur les réseaux de neurones convolutifs et intègre différents types de données de précipitations, ponctuelles et surfaciques, et les combine afin d’effectuer une classifica-tion binaire, les deux classes étant celle des anomalies et celle des observations authentiques. Il intègre également une notion de dépendance spatiale notamment puisque les observations mesurées aux stations voisines sont intégrées au modèle de classification. Le modèle démontre d’excellentes performances de classification sur des données réelles, puisque les données suspectes sont correctement détectées dans plus de 95 % des cas. Il paraît donc pertinent pour une possible implémentation pour l’assurance qualité à l’opérationnelle.

Abstract

Identifying abnormal values in meteorological data is an important step for a variety of applications. This quality assurance starts with statistical tests, and then continues with an expert analysis, which is costly and time-consuming. This research project is part of this context, and focuses especially on anomaly detection in precipitation records. The goal is to automize the quality assurance process of automatic sensor records that come from meteorological stations, since these sensors may provide abnormal data. This quality assurance process is of high stake as it enables reliability in datasets that are useful in various applications: meteorological prediction, hydroelectricity production planning, and support for agriculture, among others. The proposed model includes convolutional neural networks and integrates various types of precipitation data: point records and gridded data. It combines them in order to achieve a binary classification: authentic observations against suspect ones, i.e. anomalies. The method also includes a spatial dependency notion since it includes a second channel integrating records from neighbouring stations. The model shows interesting performance on a real dataset, since more than 95 % of the abnormal data are correctly detected. Henceforth, this model seems relevant to be implemented for an operational quality assurance.