Improving Binary Classifier Performance Through an Informed Sampling Approach and Imputation

Au cours des deux dernières décennies, des progrès importants dans le domaine de l'apprentissage automatique ont été réalisés grâce à des techniques d'échantillonnage. Relevons par exemple le renforcement (boosting), une technique qui assigne des poids aux observations pour améliorer l'entraînement du modèle, ainsi que la technique d'apprentissage actif qui utilise des données non étiquetées partielles pour décider dynamiquement quels cas sont les plus pertinents à demander à un oracle d'étiqueter. Cette thèse s'inscrit dans ces recherches et présente une nouvelle technique d'échantillonnage qui utilise l'entropie des données pour guider l'échantillonnage, un processus que nous appelons l'échantillonnage informé. L'idée centrale est que la fiabilité de l'estimation des paramètres d'un modèle peut dépendre de l'entropie des variables. Donc, l'adaptation du taux d'échantillonnage de variables basée sur leur entropie peut conduire à de meilleures estimations des paramètres. Dans une série d'articles, nous étudions cette hypothèse pour trois modèles de classification, notamment Régression Logistique (LR), le modèle bayes naïf (NB) et le modèle d'arbre bayes naif (TAN—Tree Augmented Naive Bayes), en prenant une tâche de classification binaire avec une fonction d'erreur 0-1. Les résultats démontrent que l'échantillonnage d'entropie élevée (taux d'échantillonnage plus élevé pour les variables d'entropie élevée) améliore systématiquement les performances de prédiction du classificateur TAN. Toutefois, pour les classificateurs NB et LR, les résultats ne sont pas concluants. Des améliorations sont obtenues pour seulement la moitié des 11 ensembles de données utilisées et souvent les améliorations proviennent de l'échantillonnage à entropie élevée, rarement de l'échantillonnage à entropie faible. Cette première expérience est reproduite dans une deuxième étude, cette fois en utilisant un contexte plus réaliste où l'entropie des variables est inconnue à priori, mais plutôt estimée avec des données initiales et où l'échantillonnage est ajusté à la volée avec les nouvelles estimation de l'entropie. Les résultats démontrent qu'avec l'utilisation d'un ensemble de données initial de 1% du nombre total des exemplaires, qui variait de quelques centaines à environ 1000, les gains obtenus de l'étude précédente persistent pour le modèle TAN avec une amélioration moyenne de 13% dans la réduction l'erreur quadratique. Pour la même taille des semences, des améliorations ont également été obtenues pour le classificateur naïf bayésien par un facteur de 8% de l'entropie faible au lieu d'échantillonnage d'entropie élevée. L'échantillonnage informé implique nécessairement des valeurs manquantes, et de nombreux classificateurs nécessitent soit l'imputation des valeurs manquantes, ou peuvent être améliorés par imputation. Par conséquent, l'imputation et l'échantillonnage informatif sont susceptibles d'être combinés dans la pratique. La question évidente est de savoir si les gains obtenus de chacun sont additifs ou s'ils se rapportent d'une manière plus complexe. Nous étudions dans un premier temps comment les méthodes d'imputation affectent la performance des classificateurs puis si la combinaison de techniques d'imputation avec l'échantillonnage informé apporte des gains qui se cumulent. Le gain de méthodes d'imputation sont d'abord étudiés isolément avec une analyse comparative de la performance de certains nouveaux algorithmes et d'autres algorithmes d'imputation bien connus avec l'objectif de déterminer dans quelle mesure le motif des améliorations est stable dans les classificateurs pour la classification binaire. Ici encore, les résultats montrent que les améliorations obtenues par des techniques d'imputation peuvent varier considérablement par modèle et aussi par taux de valeur manquante. Nous étudions également les améliorations le long d'une autre dimension qui est de savoir si le taux d'échantillonnage par enregistrement est stable ou varie. Des différences mineures, mais statistiquement significatives sont observées dans les résultats, montrant que cette dimension peut également affecter les performances du classificateur. Dans une dernière étude, nous étudions empiriquement si les gains obtenus de l'échantillonnage informé et de l'imputation sont additifs, ou s'ils se combinent d'une manière plus complexe. Les résultats montrent que les gains individuels de l'échantillonnage informé et d'imputation sont du même ordre de grandeur, mais en général, ils ne sont pas une simple somme des améliorations individuelles. Il faut noter aussi que, malgré les résultats encourageants pour certaines combinaisons d'échantillonnage informées et des algorithmes d'imputation, une analyse détaillée des résultats de l'ensemble de données individuelles révèle que ces combinaisons apportent rarement des performances supérieures aux algorithmes d'imputation ou à l'échantillonnage informé individuellement. Les résultats de nos études fournissent une démonstration de l'efficacité de l'échantillonnage informé pour améliorer les performances de classification binaire pour le modèle TAN, mais les résultats sont plus mitigés pour NB et LR. En outre, l'échantillonnage à entropie élevée se révèle être le régime le plus bénéfique.