Weakly-Supervised Learning from Incomplete Data

Le paradigme paramétrique de l'inférence statistique a été principalement restructuré au début du XXe siècle. Bien que, pendant plusieurs décennies, cette approche classique de l'inférence ait continué à conserver sa prédominance en tant que principal motif d'inférence accepté, le siècle précédent a également vu l'arrivée d'autres approches favorables à l'inférence statistique. Les techniques non paramétriques, l'analyse exploratoire des données et la théorie de l'apprentissage statistique sont des exemples de ces paradigmes alternatifs. L'adoption de ces nouvelles méthodologies, en plus des avantages offerts par les machines classiques, a enrichi les sciences, où l'analyse des données empiriques est préoccupante. Cependant, l'adoption des nouvelles méthodologies s'est faite à son propre rythme dans différents domaines. En particulier, dans les domaines où les données communément rencontrées présentent des propriétés atypiques, cette transition a souvent été retardée. La thèse présentée ici étudie et établit certaines étapes essentielles vers la réalisation de l'application du paradigme inférentiel de l'apprentissage statistique ou de la théorie Vapnik-Chervonenkis (VC) à l'analyse de données incomplètes; plus précisément, les données biaisées et censurées sont au coeur de notre intérêt. Ce cadre d'apprentissage sera appelé faiblement supervisé, tout au long de ce travail. En outre, nous étudions les capacités d'apprentissage des réseaux de neurones dits de cartographie, selon les normes fournies par la théorie de l'apprentissage statistique. La théorie de l'apprentissage statistique, à l'heure actuelle, est l'une des branches les plus matures de la science des données moderne et héberge une riche offre de techniques mathématiquement approuvées pour résoudre les problèmes de données. Comme son homologue classique, les techniques fournies par la théorie de l'apprentissage statistique peuvent alimenter les méthodologies d'analyse de données, en général, et l'analyse de données incomplètes, ce qui est notre intérêt, en particulier. Le certain type de données considéré, ici, est fréquemment rencontré dans l'analyse du temps jusqu'à l'événement ou de la survie, où l'approche paramétrique classique de l'inférence statistique est toujours courante. Cela suggère que l'- analyse des données incomplètes pourrait, de manière significative, bénéficier du potentiel des nouvelles méthodes offertes par l'apprentissage statistique. Bien que certains cadres non classiques aient déjà fait leur chemin dans l'analyse des données de survie, les études fondamentales connexes franchissent encore des étapes rudimentaires. La majorité des études existantes portent sur les performances pratiques de certains algorithmes, tels que les méthodes d'ensemble, sur des ensembles de données de survie concrets. Cela laisse un certain nombre de questions fondamentales, visant l'applicabilité globale des méthodes d'apprentissage à l'analyse de données incomplètes, sans réponse. Un exemple de telles questions est les conditions nécessaires et suffisantes pour la fiabilité d'une machine pour apprendre à partir de données biaisées et censurées. Combler ces lacunes était la principale motivation derrière la thèse présentée ici. Plus précisément, le paramétrage particulier du biais d'échantillonnage simultané et de la censure semble totalement absent de la littérature sur l'apprentissage statistique. Pour au moins deux raisons, il est important d'étudier l'intégration des méthodes d'apprentissage statistique dans l'analyse de données incomplètes: (i) La théorie de l'apprentissage statistique offre une flexibilité inférentielle étendue, ce qui conduit à couvrir un plus large éventail de situations dans des problèmes du monde réel; et (ii) il pourrait utiliser la capacité de calcul des ordinateurs modernes pour résoudre des problèmes complexes ou complexes d'analyse de données. De plus, à partir de maintenant, certaines techniques d'apprentissage se sont déjà révélées très prometteuses dans la pratique. La puissance accrue offerte par ces méthodes est ce qui justifie la pertinence de la présente recherche.Nous étudions ici les sujets suivants, dans le cadre de données biaisées et censurées: (i) l'apprentissage de la fonction de distribution, (ii) le problème de minimisation des risques et sa cohérence, (iii) l'apprentissage de la fonction de régression, (iv) la sélection de la variable de régression basée sur l'estimation du maximum de vraisemblance, (v) l'application de la cartographie des réseaux de neurones pour résoudre le problème d'apprentissage, et (vi) certains problèmes importants et ouverts ainsi que quelques défis à considérer dans les études futures. Les trois premiers problèmes font partie des problèmes les plus fondamentaux de la théorie de l'apprentissage statistique et sont résolus ici, avec succès, pour des données biaisées et censurées. En particulier, nous dérivons les mesures de probabilité empiriques appropriées, définies en termes de données biaisées et censurées, qui peuvent estimer de manière cohérente les mesures de probabilité réelles sous-jacentes. Il est illustré comment les résultats peuvent être appliqués davantage pour minimiser le risque fonctionnel. De plus, une méthode de régression par noyau pour une estimation correcte de la fonction de régression, en présence de biais et de censure, est proposée. En outre, les conséquences de certaines approches naïves du problème sont indiquées. Dans le cadre du quatrième problème, nous considérons deux méthodes de sélection de variables basées sur la vraisemblance, appelées approches conditionnelle et conjointe. La première est, en fait, basée sur l'approche conventionnelle de l'analyse de régression, c'est-à-dire conditionnant la vraisemblance de la réponse sur les covariables. Elle est dite conventionnelle car elle est basée sur la définition de la fonction de régression et est la méthode, normalement, utilisée dans les problèmes de régression. En revanche, nous proposons une deuxième approche qui utilise la vraisemblance conjointe des covariables et la réponse pour sélectionner les variables. Cette approche a été créée à l'origine pour l'estimation des paramètres mais nous étendons son application au problème de la sélection des variables. Nous pensons que cette dernière approche pourrait être supérieure à la première en termes de sélection du sous-ensemble correct de caractéristiques influentes. Certaines propriétés mathématiques des deux méthodes, qui seraient responsables de cette supériorité, sont dérivées et discutées. Enfin, une brève étude de simulation établit une comparaison entre les deux approches, dont le résultat soutient l'hypothèse de la suprématie de l'approche inconditionnelle sur l'autre. Cependant, fournir une preuve mathématique complète, en faveur ou contre cette hypothèse, nécessite une enquête plus approfondie. Ensuite, nous fournissons une étude complète des réseaux de neurones dits de cartographie et de leur capacité à résoudre le problème principal de l'apprentissage statistique. Nous remontons les racines mathématiques justifiant les capacités d'estimation des réseaux il y a plus d'un siècle. Divers problèmes mathématiques connexes, tels que le problème de solvabilité algébrique et le théorème de représentation de Kolmogorov-Arnold, sont introduits et leur relation avec les réseaux de neurones cartographiques est examinée. Nous montrons comment la distinction entre l'approximation et la représentation explique la capacité de ces réseaux en estimation de fonction. Pour conclure, nous discutons de la pertinence des réseaux de neurones dans le cadre de la théorie de l'apprentissage statistique. Plus précisément, nous discutons des raisons pour lesquelles les réseaux de neurones ne sont pas capables de résoudre complètement le problème d'apprentissage, selon les principes d'apprentissage statistique d'un apprentissage fiable. Enfin, quelques défis ouverts, y compris le problème de classification, la détection de la direction de la dépendance et l'apprentissage de la dimension intrinsèque des données, dans le contexte de données biaisées et censurées, sont introduites et, rapidement, discutées. Comme mentionné précédemment, certains des problèmes résolus ici, tels que l'estimation de la fonction de distribution et le problème de minimisation des risques, sont d'une importance cruciale en théorie de l'apprentissage statistique. La raison, comme expliqué au chapitre 3, est que la résolution des principales formes génériques des problèmes d'apprentissage supervisé, c'est-à-dire l'estimation de la densité, la régression et la classification ou la reconnaissance de formes, se résume à résoudre les problèmes de minimisation des risques et d'estimation de la distribution.