[2023-01-25] 오늘의 자연어처리

Blacks is to Anger as Whites is to Joy? Understanding Latent Affective Bias in Large Pre-trained Neural Language Models

 

Groundbreaking inventions and highly significant performance improvements in deep learning based Natural Language Processing are witnessed through the development of transformer based large Pre-trained Language Models (PLMs). The wide availability of unlabeled data within human generated data deluge along with self-supervised learning strategy helps to accelerate the success of large PLMs in language generation, language understanding, etc. But at the same time, latent historical bias/unfairness in human minds towards a particular gender, race, etc., encoded unintentionally/intentionally into the corpora harms and questions the utility and efficacy of large PLMs in many real-world applications, particularly for the protected groups. In this paper, we present an extensive investigation towards understanding the existence of "Affective Bias" in large PLMs to unveil any biased association of emotions such as anger, fear, joy, etc., towards a particular gender, race or religion with respect to the downstream task of textual emotion detection. We conduct our exploration of affective bias from the very initial stage of corpus level affective bias analysis by searching for imbalanced distribution of affective words within a domain, in large scale corpora that are used to pre-train and fine-tune PLMs. Later, to quantify affective bias in model predictions, we perform an extensive set of class-based and intensity-based evaluations using various bias evaluation corpora. Our results show the existence of statistically significant affective bias in the PLM based emotion detection systems, indicating biased association of certain emotions towards a particular gender, race, and religion.

 

혁신적인 발명품과 매우 중요한 성능 향상 딥 러닝 기반의 자연어 처리는 다음을 통해 목격된다 대형 사전 훈련 언어 모델(PLM) 기반 변압기 개발. 그 인간이 생성한 데이터 내에서 레이블이 지정되지 않은 데이터의 광범위한 가용성이 급증하고 있다 자체 지도 학습 전략을 통해 대규모의 성공을 가속화하는 데 도움이 됩니다 언어 생성, 언어 이해 등의 PLM. 하지만 동시에, 특정 성별에 대한 인간 마음의 잠재적인 역사적 편견/부정성, 의도치 않게 말뭉치에 암호화된 인종 등 많은 실제 세계에서 대형 PLM의 유용성과 효율성에 의문을 제기한다 응용 프로그램, 특히 보호된 그룹에 대한 응용 프로그램. 이 논문에서 우리는 발표한다 "Affective"의 존재를 이해하기 위한 광범위한 조사 큰 PLM에서 "편향"은 분노와 같은 감정의 편향된 연관성을 드러낸다, 특정 성별, 인종 또는 종교에 대한 두려움, 기쁨 등 텍스트 감정 감지라는 하위 작업. 우리는 우리의 탐사를 수행한다 말뭉치 수준 정서적 편견의 가장 초기 단계부터의 정서적 편견 a 내에서 감정적인 단어의 불균형한 분포를 검색함으로써 분석 PLM을 사전 훈련하고 미세 조정하는 데 사용되는 대규모 말뭉치입니다. 나중에 모델 예측에서 정서적 편향을 정량화하기 위해 광범위한 작업을 수행한다 다양한 편향을 이용한 클래스 기반 및 강도 기반 평가 세트 평가 말뭉치. 우리의 결과는 통계적으로 유의한 존재를 보여준다 PLM 기반 감정 감지 시스템의 정서적 편향, 편향됨을 나타낸다 특정 성별, 인종, 그리고 특정한 감정의 연관성 종교. 

 

 

REDAffectiveLM: Leveraging Affect Enriched Embedding and Transformer-based Neural Language Model for Readers' Emotion Detection

 

Technological advancements in web platforms allow people to express and share emotions towards textual write-ups written and shared by others. This brings about different interesting domains for analysis; emotion expressed by the writer and emotion elicited from the readers. In this paper, we propose a novel approach for Readers' Emotion Detection from short-text documents using a deep learning model called REDAffectiveLM. Within state-of-the-art NLP tasks, it is well understood that utilizing context-specific representations from transformer-based pre-trained language models helps achieve improved performance. Within this affective computing task, we explore how incorporating affective information can further enhance performance. Towards this, we leverage context-specific and affect enriched representations by using a transformer-based pre-trained language model in tandem with affect enriched Bi-LSTM+Attention. For empirical evaluation, we procure a new dataset REN-20k, besides using RENh-4k and SemEval-2007. We evaluate the performance of our REDAffectiveLM rigorously across these datasets, against a vast set of state-of-the-art baselines, where our model consistently outperforms baselines and obtains statistically significant results. Our results establish that utilizing affect enriched representation along with context-specific representation within a neural architecture can considerably enhance readers' emotion detection. Since the impact of affect enrichment specifically in readers' emotion detection isn't well explored, we conduct a detailed analysis over affect enriched Bi-LSTM+Attention using qualitative and quantitative model behavior evaluation techniques. We observe that compared to conventional semantic embedding, affect enriched embedding increases ability of the network to effectively identify and assign weightage to key terms responsible for readers' emotion detection.

 

웹 플랫폼의 기술적 발전은 사람들이 표현하고 공유할 수 있게 한다 다른 사람들이 쓰고 공유하는 텍스트 글에 대한 감정. 이것이 가져올 것이다 분석을 위한 다른 흥미로운 영역에 대해; 감정에 의해 표현된다 독자들로부터 끌어낸 작가와 감정. 이 논문에서, 우리는 소설을 제안한다 딥을 이용한 짧은 텍스트 문서에서 독자의 감정 감지를 위한 접근법 REDEffectiveLM이라는 학습 모델입니다. 최첨단 NLP 작업 내에서 다음과 같다 상황별 표현을 활용한다는 것을 잘 이해했다 트랜스포머 기반의 사전 훈련된 언어 모델을 통해 향상된 성능을 달성할 수 있습니다 성능. 이 감성적인 컴퓨팅 작업 내에서, 우리는 어떻게 통합할 것인가를 탐구한다 감성적인 정보는 성능을 더욱 향상시킬 수 있다. 이 방향으로 저희가 상황별 활용을 통해 풍부한 표현에 영향을 미칩니다 효과 강화와 함께 변압기 기반 사전 훈련된 언어 모델 Bi-LSTM+주의. 경험적 평가를 위해, 우리는 새로운 데이터 세트 REN-20k를 조달한다, RENh-4k와 SemEval-2007을 사용하는 것 외에도. 우리는 우리의 성과를 평가한다 효과적인LM은 이러한 데이터 세트 전반에 걸쳐 광범위한 데이터 세트에 대해 엄격하게 적용됩니다 우리의 모델이 지속적으로 기준선을 능가하는 최첨단 기준선 통계적으로 유의미한 결과를 얻는다. 우리의 결과는 다음과 같다 상황별 효과와 함께 풍부한 표현을 활용한다 신경 구조 내의 표현은 독자들의 것을 상당히 향상시킬 수 있다 감정 감지. 특히 농축에 영향을 미치기 때문에 독자들의 감정 감지가 잘 탐구되지 않고, 우리는 상세한 분석을 수행한다 농축 Bi-LSTM+질적 및 정량적 모델을 사용한 주의력 과잉 영향 행동 평가 기법. 우리는 그것을 전통적인 것과 비교하여 관찰한다 의미론적 임베딩, 네트워크의 강화된 임베딩 능력 향상에 영향을 미칩니다 효과적으로 체중을 식별하고 주요 용어에 할당하다 독자의 감정 감지. 

 

 

Transfer Knowledge from Natural Language to Electrocardiography: Can We Detect Cardiovascular Disease Through Language Models?

 

Recent advancements in Large Language Models (LLMs) have drawn increasing attention since the learned embeddings pretrained on large-scale datasets have shown powerful ability in various downstream applications. However, whether the learned knowledge by LLMs can be transferred to clinical cardiology remains unknown. In this work, we aim to bridge this gap by transferring the knowledge of LLMs to clinical Electrocardiography (ECG). We propose an approach for cardiovascular disease diagnosis and automatic ECG diagnosis report generation. We also introduce an additional loss function by Optimal Transport (OT) to align the distribution between ECG and language embedding. The learned embeddings are evaluated on two downstream tasks: (1) automatic ECG diagnosis report generation, and (2) zero-shot cardiovascular disease detection. Our approach is able to generate high-quality cardiac diagnosis reports and also achieves competitive zero-shot classification performance even compared with supervised baselines, which proves the feasibility of transferring knowledge from LLMs to the cardiac domain.

 

LLM(Large Language Model)의 최근 발전은 증가하고 있다 대규모 데이터 세트에 대해 사전 훈련된 학습된 임베딩 이후 주의 다양한 다운스트림 애플리케이션에서 강력한 능력을 보여주었다. 그러나, 그것이 LLM에 의해 학습된 지식이 임상 심장학 잔재로 이전될 수 있다 알 수 없는. 이 작업에서, 우리는 지식을 이전함으로써 이 격차를 메우는 것을 목표로 한다 임상 심전도(ECG)에 대한 LLM. 우리는 다음을 위한 접근법을 제안한다 심혈관 질환 진단 및 심전도 자동 진단 보고서 생성. 우리는 또한 OT(Optimal Transport)에 의한 추가 손실 함수를 도입한다 ECG와 언어 임베딩 사이의 분포를 정렬한다. 학식이 임베딩은 (1) 자동 심전도 진단의 두 가지 다운스트림 작업에서 평가된다 생성 및 (2) 제로샷 심혈관 질환 검출을 보고한다. 우리들의 접근 방식은 고품질 심장 진단 보고서를 생성할 수 있으며 또한 와 비교해도 경쟁력 있는 제로샷 분류 성능을 달성한다 지식 이전의 실현 가능성을 증명하는 감독된 기준선 LLM에서 심장 영역으로 이동합니다.