Contributions to the Trustworthy Machine Learning Pipeline: Data Selection, Training, and Post-training Verification through Convexity and the Wasserstein Distance

Dans ce travail, nous étudions les défis et risques liés au déploiement de modèles complexes d’apprentissage machine (machine learning, ML) dans des applications critiques. Nous débutons par un survol de différentes méthodes de la litérature utilisées pour renforcer la fiabilité de ces modèles afin d’introduire le concept de pipeline d’apprentissage machine fiable (trustworhty). Nous étudions spécifiquement les besoins et les contraintes associées aux centrales virtuelles étant donné leur besoin de meilleurs algorithmes de prédiction et la sévérité potentielle d’erreurs opérationnelles. Nous proposons plusieurs contributions visant à améliorer la sûreté des modèles d’apprentissage, et ce tout au long de leur cycle de vie, sans compromettre leur performance. Comme première contribution, nous présentons une nouvelle méthode d’entraînement robuste en distribution, sous la distance de Wasserstein, pour les réseaux de neurones convexes peu profond (shallow convex neural networks, SCNNs) soumis à des jeux de données corrompues. Notre approche repose sur un nouveau problème d’optimisation d’entraînement convexe permettant de faire le pont entre les réseaux de neurones ReLU convexes optimaux et les réseaux de neurones ReLU non-convexes. Nous adaptons ce programme d’entraînement sous sa formulation robuste en distribution avec la distance de Wasserstein de premier ordre. Cette méthode est conservatrice, a une basse stochasticité attribuable à la convexité, est résoluble avec des solveurs libres accès, et peut être facilement déployées à grande échelle. Nous obtenons des garanties de performance théoriques hors échantillon, nous démontrons comment adapter l’entraînement pour inclure des contraintes physiques convexes, et nous proposons un problème de vérification post-entraînement pour évaluer la stabilité des réseaux de neurones convexes peu profond. Finalement, nous évaluons numériquement notre méthode sur des jeux de données synthétiques; une application réelle de la centrale virtuelle québécoise, soit la prédiction horaire de consommation d’énergie d’immeubles non-résidentiels; et testons la stabilité sur des jeux de données de références en apprentissage machine.