[2022-08-07] 오늘의 자연어처리

A Representation Modeling Based Language GAN with Completely Random Initialization

 

Text generative models trained via Maximum Likelihood Estimation (MLE) suffer from the notorious exposure bias problem, and Generative Adversarial Networks (GANs) are shown to have potential to tackle it. Existing language GANs adopt estimators like REINFORCE or continuous relaxations to model word distributions. The inherent limitations of such estimators lead current models to rely on pre-training techniques (MLE pre-training or pre-trained embeddings). Representation modeling methods which are free from those limitations, however, are seldom explored because of its poor performance in previous attempts. Our analyses reveal that invalid sampling method and unhealthy gradients are the main contributors to its unsatisfactory performance. In this work, we present two techniques to tackle these problems: dropout sampling and fully normalized LSTM. Based on these two techniques, we propose InitialGAN whose parameters are randomly initialized completely. Besides, we introduce a new evaluation metric, Least Coverage Rate, to better evaluate the quality of generated samples. The experimental results demonstrate that InitialGAN outperforms both MLE and other compared models. To the best of our knowledge, it is the first time a language GAN can outperform MLE without any pre-training techniques.

 

최대우도추정(MLE)을 통해 훈련된 텍스트 생성 모델이 어려움을 겪는다. 악명 높은 노출 편향 문제와 생성적 적대 네트워크로부터 (GANs)는 그것을 다룰 수 있는 잠재력을 가지고 있는 것으로 나타났다. 기존 언어 GAN 채택 모델 워드에 대한 보강 또는 연속 완화와 같은 추정기 분배 이러한 추정기의 고유한 한계로 인해 현재 모델은 사전 교육 기술(MLE 사전 교육 또는 사전 교육)에 의존하다 임베딩). 이러한 방법에서 자유로운 표현 모델링 방법 그러나 한계점은 거의 탐구되지 않는다. 왜냐하면 그것의 형편없는 성능 때문이다. 이전의 시도 우리의 분석은 유효하지 않은 샘플링 방법과 건강하지 못한 그레이디언트는 그것의 만족스럽지 못한 주요 원인이다. 성능. 본 연구에서는 이러한 문제를 해결하기 위한 두 가지 기술을 제시한다. 표본 추출 및 완전 정규화된 LSTM. 이 두 가지 기술을 바탕으로, 우리는 이니셜 제안매개변수가 랜덤하게 완전히 초기화되는 GAN. 게다가, 우리는 더 나은 평가를 위해 새로운 평가 지표인 최소 커버리지 레이트를 도입한다. 생성된 샘플의 품질을 평가한다. 실험 결과는 다음과 같다. 그 이니셜GAN은 MLE와 다른 비교 모델 모두를 능가한다. 의 최선을 다하여 우리의 지식, 이것은 언어 GAN이 없이 MLE를 능가할 수 있는 첫 번째이다. 모든 사전 교육 기술. 

 

 

Cross-lingual Approaches for the Detection of Adverse Drug Reactions in German from a Patient's Perspective

 

In this work, we present the first corpus for German Adverse Drug Reaction (ADR) detection in patient-generated content. The data consists of 4,169 binary annotated documents from a German patient forum, where users talk about health issues and get advice from medical doctors. As is common in social media data in this domain, the class labels of the corpus are very imbalanced. This and a high topic imbalance make it a very challenging dataset, since often, the same symptom can have several causes and is not always related to a medication intake. We aim to encourage further multi-lingual efforts in the domain of ADR detection and provide preliminary experiments for binary classification using different methods of zero- and few-shot learning based on a multi-lingual model. When fine-tuning XLM-RoBERTa first on English patient forum data and then on the new German data, we achieve an F1-score of 37.52 for the positive class. We make the dataset and models publicly available for the community.

 

이 연구에서, 우리는 독일 약물 부작용에 대한 첫 번째 말뭉치를 제시한다. 환자 생성 콘텐츠에서 ADR(ADR) 탐지. 데이터는 4,169개의 이진수로 구성된다. 사용자가 건강에 대해 이야기하는 독일 환자 포럼의 주석이 달린 문서 의사들에게 조언을 구한다. 소셜 미디어 데이터에서 흔히 볼 수 있는 것처럼 이 영역에서, 말뭉치의 클래스 라벨은 매우 불균형적이다. 이것과 a 높은 주제 불균형은 그것을 매우 어려운 데이터 집합으로 만든다, 왜냐하면, 종종, 증상은 여러 가지 원인이 있을 수 있으며 항상 약물치료와 관련이 있는 것은 아니다. 우리는 ADR 영역에서 더 많은 다국어 노력을 장려하는 것을 목표로 한다. 검출 및 이진 분류를 위한 예비 실험 제공 다국어에 기반한 제로샷 학습과 퓨샷 학습의 다른 방법들 영어 환자 포럼 데이터에서 XLM-Roberta를 먼저 미세 조정할 때 그리고 새로운 독일 데이터에 대해서, 우리는 양성에 대해 37.52의 F1 점수를 달성한다. class. 우리는 데이터 세트와 모델을 커뮤니티에 공개적으로 사용할 수 있도록 한다. 

 

 

ATP: A holistic attention integrated approach to enhance ABSA

 

Aspect based sentiment analysis (ABSA) deals with the identification of the sentiment polarity of a review sentence towards a given aspect. Deep Learning sequential models like RNN, LSTM, and GRU are current state-of-the-art methods for inferring the sentiment polarity. These methods work well to capture the contextual relationship between the words of a review sentence. However, these methods are insignificant in capturing long-term dependencies. Attention mechanism plays a significant role by focusing only on the most crucial part of the sentence. In the case of ABSA, aspect position plays a vital role. Words near to aspect contribute more while determining the sentiment towards the aspect. Therefore, we propose a method that captures the position based information using dependency parsing tree and helps attention mechanism. Using this type of position information over a simple word-distance-based position enhances the deep learning model's performance. We performed the experiments on SemEval'14 dataset to demonstrate the effect of dependency parsing relation-based attention for ABSA.