[2022-09-25] 오늘의 자연어처리

Scope of Pre-trained Language Models for Detecting Conflicting Health Information

 

An increasing number of people now rely on online platforms to meet their health information needs. Thus identifying inconsistent or conflicting textual health information has become a safety-critical task. Health advice data poses a unique challenge where information that is accurate in the context of one diagnosis can be conflicting in the context of another. For example, people suffering from diabetes and hypertension often receive conflicting health advice on diet. This motivates the need for technologies which can provide contextualized, user-specific health advice. A crucial step towards contextualized advice is the ability to compare health advice statements and detect if and how they are conflicting. This is the task of health conflict detection (HCD). Given two pieces of health advice, the goal of HCD is to detect and categorize the type of conflict. It is a challenging task, as (i) automatically identifying and categorizing conflicts requires a deeper understanding of the semantics of the text, and (ii) the amount of available data is quite limited. In this study, we are the first to explore HCD in the context of pre-trained language models. We find that DeBERTa-v3 performs best with a mean F1 score of 0.68 across all experiments. We additionally investigate the challenges posed by different conflict types and how synthetic data improves a model's understanding of conflict-specific semantics. Finally, we highlight the difficulty in collecting real health conflicts and propose a human-in-the-loop synthetic data augmentation approach to expand existing HCD datasets. Our HCD training dataset is over 2x bigger than the existing HCD dataset and is made publicly available on Github.

 

점점 더 많은 사람들이 그들의 요구를 충족시키기 위해 온라인 플랫폼에 의존한다. 건강 정보의 필요성 따라서 불일치하거나 충돌하는 텍스트를 식별한다. 건강 정보는 안전에 중요한 과제가 되었다. 건강 조언 데이터 포즈 한 사람의 맥락에 맞는 정보가 정확한 독특한 도전 진단은 다른 사람의 맥락에서 상충될 수 있습니다. 예를 들어, 사람들은 당뇨병과 고혈압으로 고통받는 것은 종종 상반된 건강을 얻는다. 식이요법에 관한 조언 이것은 다음을 제공할 수 있는 기술에 대한 필요성을 동기를 부여한다. 상황에 맞는 사용자별 건강 조언. 을 향한 중요한 발걸음 상황별 조언은 건강 조언 진술과 서로 상충하는지, 어떻게 상충하는지 탐지합니다. 이것은 건강 분쟁의 과제이다. 검출(HCD) 두 가지 건강 조언이 주어지면, HCD의 목표는 충돌 유형을 탐지하고 분류합니다. (i)와 같이 어려운 작업입니다. 자동으로 충돌을 식별하고 분류하려면 더 깊이 있는 작업이 필요합니다. 텍스트의 의미 이해 및 (ii) 이용 가능한 양 데이터가 상당히 제한적입니다. 이 연구에서, 우리는 사전 훈련의 맥락에서 HCD를 탐구하는 첫 번째 사람이다. 언어 모델 우리는 DeBERTa-v3가 평균 F1 점수로 가장 잘 수행된다는 것을 발견했다. 모든 실험에서 0.68. 제기된 문제를 추가로 조사합니다. 서로 다른 충돌 유형 및 합성 데이터가 모델의 성능을 향상시키는 방법 충돌 특정 의미론에 대한 이해. 마지막으로, 우리는 실제 건강 갈등을 수집하고 인간 인 더 루프(human-in-the-loop)를 제안하는 것의 어려움 기존 HCD 데이터 세트를 확장하기 위한 합성 데이터 확대 접근 방식. 우리 HCD 교육 데이터 세트는 기존 HCD 데이터 세트보다 2배 이상 크고 제작되었습니다. Github에서 공개적으로 사용할 수 있습니다. 

 

 

Adaptation of domain-specific transformer models with text oversampling for sentiment analysis of social media posts on Covid-19 vaccines

 

Covid-19 has spread across the world and several vaccines have been developed to counter its surge. To identify the correct sentiments associated with the vaccines from social media posts, we fine-tune various state-of-the-art pre-trained transformer models on tweets associated with Covid-19 vaccines. Specifically, we use the recently introduced state-of-the-art pre-trained transformer models RoBERTa, XLNet and BERT, and the domain-specific transformer models CT-BERT and BERTweet that are pre-trained on Covid-19 tweets. We further explore the option of text augmentation by oversampling using Language Model based Oversampling Technique (LMOTE) to improve the accuracies of these models, specifically, for small sample datasets where there is an imbalanced class distribution among the positive, negative and neutral sentiment classes. Our results summarize our findings on the suitability of text oversampling for imbalanced small sample datasets that are used to fine-tune state-of-the-art pre-trained transformer models, and the utility of domain-specific transformer models for the classification task.

 

COVID-19는 전 세계로 퍼졌고 여러 백신이 개발되었습니다. 그것의 급증에 대항하기 위해. 관련된 올바른 감정을 식별하기 위해 소셜 미디어 게시물의 백신, 우리는 다양한 최첨단 기술을 미세 조정한다. 코로나19 백신과 관련된 트윗에 대한 사전 훈련된 변압기 모델. 구체적으로, 우리는 최근에 도입된 최첨단 사전 교육을 사용한다. 변환기 모델 RoBERTa, XLNet 및 BERT 및 도메인별 변환기 Covid-19 트윗에 대해 사전 교육을 받은 CT-BERT 및 BERT 트윗 모델. 더 나아가서 언어 모델을 사용하여 오버샘플링을 통한 텍스트 확대 옵션 탐색 이러한 모델의 정확도를 개선하기 위한 LMOTE(오버샘플링 기법)를 기반으로 합니다. 특히, 불균형 클래스가 있는 소규모 샘플 데이터 세트의 경우 긍정적, 부정적, 중립적 정서 계층 간의 분포 우리들의 결과는 텍스트 오버샘플링의 적합성에 대한 우리의 발견을 요약한다. 최첨단 기술을 미세 조정하는 데 사용되는 불균형 소형 샘플 데이터 세트 사전 훈련된 변압기 모델 및 도메인별 변압기의 유용성 분류 작업에 대한 모델입니다. 

 

 

Improving Attention-Based Interpretability of Text Classification Transformers

 

Transformers are widely used in NLP, where they consistently achieve state-of-the-art performance. This is due to their attention-based architecture, which allows them to model rich linguistic relations between words. However, transformers are difficult to interpret. Being able to provide reasoning for its decisions is an important property for a model in domains where human lives are affected, such as hate speech detection and biomedicine. With transformers finding wide use in these fields, the need for interpretability techniques tailored to them arises. The effectiveness of attention-based interpretability techniques for transformers in text classification is studied in this work. Despite concerns about attention-based interpretations in the literature, we show that, with proper setup, attention may be used in such tasks with results comparable to state-of-the-art techniques, while also being faster and friendlier to the environment. We validate our claims with a series of experiments that employ a new feature importance metric.

 

변압기는 NLP에서 널리 사용되며, 여기서 지속적으로 달성된다. 최첨단의 공연 이것은 그들의 주의력 기반 때문이다. 건축, 그것은 그들이 사이의 풍부한 언어적 관계를 모델링할 수 있게 한다. 그러나 변압기는 해석하기 어렵다. 제공할 수 있는 능력 그것의 결정에 대한 추론은 도메인에서 모델의 중요한 속성이다. 혐오 발언 탐지 및 바이오의약품과 같은 인간의 삶이 영향을 받는 곳. 이러한 분야에서 변압기가 널리 사용됨에 따라, 그것들에 맞춘 해석성 기법이 생겨난다. 의 효과 텍스트 트랜스포머에 대한 주의 기반 해석성 기술 분류는 이 연구에서 연구된다. 주의력 기반에 대한 우려에도 불구하고 문헌의 해석은 적절한 설정으로, 우리는 주의를 기울인다는 것을 보여준다. 최첨단 기술에 필적하는 결과를 가진 이러한 작업에 사용될 수 있다. 기술은 환경에 더 빠르고 친숙합니다. 우리가 새로운 특징을 이용한 일련의 실험으로 우리의 주장을 입증하다. 중요도 측정법