[2023-03-31] 오늘의 자연어처리

LMExplainer: a Knowledge-Enhanced Explainer for Language Models

 

Large language models (LMs) such as GPT-4 are very powerful and can process different kinds of natural language processing (NLP) tasks. However, it can be difficult to interpret the results due to the multi-layer nonlinear model structure and millions of parameters. Lack of understanding of how the model works can make the model unreliable and dangerous for everyday users in real-world scenarios. Most recent works exploit the weights of attention to provide explanations for model predictions. However, pure attention-based explanation is unable to support the growing complexity of the models, and cannot reason about their decision-making processes. Thus, we propose LMExplainer, a knowledge-enhanced interpretation module for language models that can provide human-understandable explanations. We use a knowledge graph (KG) and a graph attention neural network to extract the key decision signals of the LM. We further explore whether interpretation can also help AI understand the task better. Our experimental results show that LMExplainer outperforms existing LM+KG methods on CommonsenseQA and OpenBookQA. We also compare the explanation results with generated explanation methods and human-annotated results. The comparison shows our method can provide more comprehensive and clearer explanations. LMExplainer demonstrates the potential to enhance model performance and furnish explanations for the reasoning processes of models in natural language.

 

GPT-4와 같은 대형 언어 모델(LM)은 매우 강력하며 처리할 수 있습니다 다양한 종류의 자연어 처리(NLP) 작업. 하지만, 그럴 수도 있다 다층 비선형 모델로 인해 결과를 해석하기 어렵다 구조 및 수백만 개의 매개 변수. 모델에 대한 이해 부족 작업은 모델을 신뢰할 수 없고 일상적인 사용자들에게 위험하게 만들 수 있다 실제 시나리오. 최근의 대부분의 작품들은 관심의 무게를 이용한다 모형 예측에 대한 설명을 제공합니다. 그러나, 순수한 주의력 기반 설명은 모델의 증가하는 복잡성을 지원할 수 없다 그들의 의사 결정 과정에 대해 추론할 수 없다. 그러므로, 우리는 제안한다 언어 모델을 위한 지식 향상된 해석 모듈인 LM 설명자 인간이 이해할 수 있는 설명을 제공할 수 있습니다. 우리는 지식 그래프를 사용한다 주요 의사결정 신호를 추출하기 위한 (KG) 및 그래프 주의 신경망 LM의. 우리는 더 나아가 해석이 AI에도 도움이 될 수 있는지 탐구한다 일을 더 잘 이해하다. 우리의 실험 결과는 LME 설명자가 Commonsense에서 기존 LM+KG 방법을 능가합니다QA 및 오픈북QA. 저희도 설명 결과를 생성된 설명 방법과 비교합니다 인간이 측정한 결과. 비교를 통해 우리의 방법이 더 많은 것을 제공할 수 있음을 알 수 있다 포괄적이고 명확한 설명. LM 설명자는 잠재력을 보여줍니다 모델 성능을 향상시키고 추론에 대한 설명을 제공하다 자연어로 된 모델의 과정. 

 

 

Not cool, calm or collected: Using emotional language to detect COVID-19 misinformation

 

COVID-19 misinformation on social media platforms such as twitter is a threat to effective pandemic management. Prior works on tweet COVID-19 misinformation negates the role of semantic features common to twitter such as charged emotions. Thus, we present a novel COVID-19 misinformation model, which uses both a tweet emotion encoder and COVID-19 misinformation encoder to predict whether a tweet contains COVID-19 misinformation. Our emotion encoder was fine-tuned on a novel annotated dataset and our COVID-19 misinformation encoder was fine-tuned on a subset of the COVID-HeRA dataset. Experimental results show superior results using the combination of emotion and misinformation encoders as opposed to a misinformation classifier alone. Furthermore, extensive result analysis was conducted, highlighting low quality labels and mismatched label distributions as key limitations to our study.

 

트위터와 같은 소셜 미디어 플랫폼의 코로나19 오보는 위협이다 효과적인 전염병 관리를 위해. 트윗 코로나19 잘못된 정보에 대한 이전 작업 충전된 것과 같은 트위터에 공통적인 의미론적 기능의 역할을 부정한다 감정들. 따라서, 우리는 새로운 COVID-19 오보 모델을 제시하는데, 이 모델은 다음을 사용한다 트윗 감정 인코더와 COVID-19 잘못된 정보 인코더 모두 예측할 수 있습니다 트윗에 COVID-19 잘못된 정보가 포함되어 있는지 여부. 감성 인코더가 새로운 주석이 달린 데이터 세트와 COVID-19 잘못된 정보 인코더에 미세 조정되었다 COVID-HeRA 데이터 세트의 하위 집합에서 미세 조정되었습니다. 실험 결과는 다음과 같다 감정 및 잘못된 정보 인코더의 조합을 사용한 우수한 결과 오보 분류기만 있는 것과는 대조적입니다. 게다가, 광범위한 결과 낮은 품질의 라벨과 일치하지 않는 라벨을 강조하여 분석을 수행했다 분포는 우리 연구의 주요 한계이다. 

 

 

Personalised Language Modelling of Screen Characters Using Rich Metadata Annotations

 

Personalisation of language models for dialogue sensitises them to better capture the speaking patterns of people of specific characteristics, and/or in specific environments. However, rich character annotations are difficult to come by and to successfully leverage. In this work, we release and describe a novel set of manual annotations for 863 speakers from the popular Cornell Movie Dialog Corpus, including features like characteristic quotes and character descriptions, and a set of six automatically extracted metadata for over 95% of the featured films. We perform extensive experiments on two corpora and show that such annotations can be effectively used to personalise language models, reducing perplexity by up to 8.5%. Our method can be applied even zero-shot for speakers for whom no prior training data is available, by relying on combinations of characters' demographic characteristics. Since collecting such metadata is costly, we also contribute a cost-benefit analysis to highlight which annotations were most cost-effective relative to the reduction in perplexity.

 

대화를 위한 언어 모델의 개인화는 그들을 더 잘 민감하게 만든다 특정 특성을 가진 사람들의 말하는 패턴을 포착한다 특정 환경. 그러나 풍부한 문자 주석은 어렵다 성공적으로 활용할 수 있습니다. 이 작업에서, 우리는 다음을 발표하고 설명한다 인기 있는 코넬 영화에 나오는 863명의 연사들을 위한 새로운 수동 주석 세트 특성 인용문 및 문자와 같은 기능을 포함하는 대화형 말뭉치 설명 및 95% 이상에 대해 자동으로 추출된 메타데이터 세트 6개 주연 영화들. 우리는 두 개의 말뭉치에 대한 광범위한 실험을 수행하고 보여준다 이러한 주석이 효과적으로 언어 모델을 개인화하는 데 사용될 수 있다는 것, 최대 8.5%의 복잡성 감소. 우리의 방법은 심지어 제로샷에도 적용될 수 있다 사용할 수 있는 사전 교육 데이터가 없는 연사들은 의존한다 등장인물의 인구통계학적 특성의 조합. 그런 것들을 수집한 이후로 메타데이터는 비용이 많이 들고, 우리는 또한 강조하기 위해 비용 편익 분석에 기여한다 어떤 주석이 감소와 관련하여 가장 비용 효율적이었다 난감한 일색.