Detection and Extraction of Adverse Drug Reaction in Social Media Using Deep Learning

Un effet indésirable médicamenteux (EIM) peut être défini comme une réaction sensiblement nocive ou désagréable résultant d'une intervention liée à l'utilisation d'un médicament. D'après les services de santé, les EIM sont à l'origine de nombreuses hospitalisations et, dans certains cas graves, du décès des patients chaque année. En plus d'avoir un impact significatif sur la santé, les EIM ont également des effets économiques néfastes pour les personnes affectées. En raison de tous ces problèmes, la recherche en pharmacovigilance s'est popularisée pour détecter et extraire avec diligence et précision les effets secondaires des médicaments. La pharmacovigilance concerne les activités de surveillance de l'innocuité du médicament dans la phase post-commercialisation du médicament. Les sites de réseautage social comme Twitter ont fourni aux gens une plate-forme pour se connecter les uns aux autres, pour discuter et partager des informations et des nouvelles. L'identification et la collecte de tweets contenant des mentions d'expérience personnelle en matière de santé seraient l'une des sources de données les plus rapides et les plus importantes pour les chercheurs. La détection et l'extraction des mentions de médicaments indésirables dans les tweets peuvent compléter la liste des effets indésirables des médicaments résultant des essais de médicaments et peuvent aider à l'amélioration des médicaments. La détection et l'extraction d'EIM à partir de texte peuvent être considérées comme un problème d'extraction d'informations qui a connu une croissance significative ces dernières années en raison des progrès de l'apprentissage en profondeur et de l'apprentissage par transfert. Ce mémoire vise à étudier les performances de trois modèles différents de BiLSTM (Bidirectionnel Long-Short Term Memory), BERT (Bidirectionnel Encoder Representations from Transformers) et BERT+BiLSTM dans les tâches de détection et d'extraction EIM. Pour former et évaluer ces modèles, un ensemble de données de 2735 tweets qui sont étiquetés manuellement par certains étudiants en pharmacologie est utilisé. Dans l'étape suivante, pour vérifier la possibilité d'obtenir de meilleurs résultats dans la tâche de détection, la tentative consiste à agrandir l'ensemble de données en utilisant certaines techniques d'augmentation proposées avec Easy Data Augmentation (EDA) et back-translation et à former le meilleur modèle par l'ensemble de données augmenté.

Abstract

Adverse drug reaction (ADR) is an unwanted, uncomfortable, or dangerous effect that occurs after prescribing the drug and directly correlates with the drug. ADR occurs during 10 to 20% of hospitalizations, some of which are severe and lead to death [1]. In addition, it is also a substantial financial drain on the bottom line for taxpayers. However, early and accurate detection of ADRs will mitigate and prevent the number of ADR related potential issues. In addition, for detrimental reactions in patients caused by taking drugs, social media conversations may report ADRs more quickly and efficiently than other means. By knowing that, there is a clear need for automated ADR surveillance at the post-marketing phase of drugs. This study aims to use deep learning methods to accurately identify unreported drug side effects in reviews of twitter users. Utilizing a dataset of 2735 tweets manually labeled by some pharmacology students, this research conducts deep learning based and pre-trained transfer learning based approaches as a solution for detecting and extracting ADRs automatically. As a first deep learning approach, we apply Bidirectional Long-Short Term Memory Networks (BiLSTM), units that recurrently compute nonlinear transformations on the dataset. In the next step, we utilize the Bidirectional Encoder Representations from Transformers (BERT) model and different combinations of its encoder layers for ADR extraction. The study's final model is a combination of the best model from the previous BERT experiments, a BiLSTM, and a classifier layer. The experiments have shown that the hybrid BERT+BiLSTM model outperforms all others. In the final step, the eÿciency of some proposed data augmentation techniques along with Easy Data Augmentation (EDA) and back-translation for ADR detection tasks is explored. Ultimately, the experimental results show that using a di˙erent combination of these simple augmentation strategies to enlarge the training dataset boosts the model performance.