Weakly-Labeled Data and Identity-Normalization for Facial Image Analysis

Cette thèse traite de l'amélioration de la reconnaissance faciale et de l'analyse de l'expression du visage en utilisant des sources d'informations faibles. Les données étiquetées sont souvent rares, mais les données non étiquetées contiennent souvent des informations utiles pour l'apprentissage d'un modèle. Cette thèse décrit deux exemples d'utilisation de cette idée. Le premier est une nouvelle méthode pour la reconnaissance faciale basée sur l'exploitation de données étiquetées faiblement ou bruyamment. Les données non étiquetées peuvent être acquises d'une manière qui offre des caractéristiques supplémentaires. Ces caractéristiques, tout en n'étant pas disponibles pour les données étiquetées, peuvent encore être utiles avec un peu de prévoyance. Cette thèse traite de la combinaison d'un ensemble de données étiquetées pour la reconnaissance faciale avec des images des visages extraits de vidéos sur YouTube et des images des visages obtenues à partir d'un moteur de recherche. Le moteur de recherche web et le moteur de recherche vidéo peuvent être considérés comme de classificateurs très faibles alternatifs qui fournissent des étiquettes faibles. En utilisant les résultats de ces deux types de requêtes de recherche comme des formes d'étiquettes faibles différents, une méthode robuste pour la classification peut être développée. Cette méthode est basée sur des modèles graphiques, mais aussi incorporant une marge probabiliste. Plus précisément, en utilisant un modèle inspiré par la variational relevance vector machine (RVM), une alternative probabiliste à la support vector machine (SVM) est développée. Contrairement aux formulations précédentes de la RVM, le choix d'une probabilité a priori exponentielle est introduit pour produire une approximation de la pénalité L1. Les résultats expérimentaux où les étiquettes bruyantes sont simulées, et les deux expériences distinctes où les étiquettes bruyantes de l'image et les résultats de recherche vidéo en utilisant des noms comme les requêtes indiquent que l'information faible dans les étiquettes peut être exploitée avec succès. Puisque le modèle dépend fortement des méthodes noyau de régression clairsemées, ces méthodes sont examinées et discutées en détail. Plusieurs algorithmes différents utilisant les distributions a priori pour encourager les modèles clairsemés sont décrits en détail. Des expériences sont montrées qui illustrent le comportement de chacune de ces distributions. Utilisés en conjonction avec la régression logistique, les effets de chaque distribution sur l'ajustement du modèle et la complexité du modèle sont montrés. Les extensions aux autres méthodes d'apprentissage machine sont directes, car l'approche est ancrée dans la probabilité bayésienne. Une expérience dans la prédiction structurée utilisant un conditional random field pour une tâche d'imagerie médicale est montrée pour illustrer comment ces distributions a priori peuvent être incorporées facilement à d'autres tâches et peuvent donner de meilleurs résultats. Les données étiquetées peuvent également contenir des sources faibles d'informations qui ne peuvent pas nécessairement être utilisées pour un effet maximum. Par exemple les ensembles de données d'images des visages pour les tâches tels que, l'animation faciale contrôlée par les performances des comédiens, la reconnaissance des émotions, et la prédiction des points clés ou les repères du visage contiennent souvent des étiquettes alternatives par rapport à la tâche d'internet principale. Dans les données de reconnaissance des émotions, par exemple, des étiquettes de l'émotion sont souvent rares. C'est peut-être parce que ces images sont extraites d'une vidéo, dans laquelle seul un petit segment représente l'étiquette de l'émotion. En conséquence, de nombreuses images de l'objet sont dans le même contexte en utilisant le même appareil photo ne sont pas utilisés. Toutefois, ces données peuvent être utilisées pour améliorer la capacité des techniques d'apprentissage de généraliser pour des personnes nouvelles et pas encore vues en modélisant explicitement les variations vues précédemment liées à l'identité et à l'expression. Une fois l'identité et de la variation de l'expression sont séparées, les approches supervisées simples peuvent mieux généraliser aux identités de nouveau. Plus précisément, dans cette thèse, la modélisation probabiliste de ces sources de variation est utilisée pour identité normaliser et des diverses représentations d'images faciales. Une variété d'expériences sont décrites dans laquelle la performance est constamment améliorée, incluant la reconnaissance des émotions, les animations faciales contrôlées par des visages des comédiens sans marqueurs et le suivi des points clés sur des visages. Dans de nombreux cas dans des images faciales, des sources d'information supplémentaire peuvent être disponibles qui peuvent être utilisées pour améliorer les tâches d'intérêt. Cela comprend des étiquettes faibles qui sont prévues pendant la collecte des données, telles que la requête de recherche utilisée pour acquérir des données, ainsi que des informations d'identité dans le cas de plusieurs bases de données d'images expérimentales. Cette thèse soutient en principal que cette information doit être utilisée et décrit les méthodes pour le faire en utilisant les outils de la probabilité.