Multimodal Emotion Recognition and Sentiment Analysis

Le développement de l’intelligence artificielle et de ses sous-domaines tels que la vision artificielle et le traitement du langage naturel au cours de la dernière décennie a contribué à une progression majeure dans les domaines de la reconnaissance des émotions et de l’analyse des sentiments. Depuis plusieurs décennies, les chercheurs se concentrent sur la construction de modèles d’apprentissage profond capables de reconnaître l’état émotionnel d’une personne en analysant et en explorant les caractéristiques d’une seule modalité telle que le texte, la parole ou l’image. Bien que les performances des systèmes unimodaux ont beaucoup progressées, l’utilisation d’une seule modalité à la fois a pour conséquence d’ignorer des informations importantes qui pourraient exister dans d’autres modalités. Il est donc essentiel de développer un système de reconnaissance multimodale des émotions capable d’explorer différentes modalités de données pour prédire efficacement les émotions et les sentiments. Dans ce travail, nous proposons un nouveau réseau transformateur multimodal en intégrant les réseaux résiduels à portes pour améliorer les interactions entre les différentes modalités de données. En outre, nous étudions la capacité des transformateurs pré-entraînés sur des tâches de langage naturel à améliorer les performances de la tâche de reconnaissance des émotions multimodales en aval. Plusieurs architectures ont été proposées pour affiner le modèle GPT- 2 pré-entraîné afin d’intégrer les modalités image, texte et audio, et d’apprendre les différentes interactions entre ces modalités. Nous avons évalué l’efficacité des modèles proposés sur trois ensembles de données de référence : CMU-MOSI, CMU-MOSEI et IEMOCAP. En utilisant un transformateur multimodal avec GRN, nous avons obtenu des résultats compétitifs qui ont surpassé les performances de plusieurs modèles de pointe dans trois ensembles de données de référence. En outre, parmi les modèles pré-entraînés basés sur des transformateurs, certaines architectures proposées ont obtenu des résultats comparables, en particulier sur l’ensemble de données IEMOCAP.