[2023-03-07] 오늘의 자연어처리

NCL: Textual Backdoor Defense Using Noise-augmented Contrastive Learning

 

At present, backdoor attacks attract attention as they do great harm to deep learning models. The adversary poisons the training data making the model being injected with a backdoor after being trained unconsciously by victims using the poisoned dataset. In the field of text, however, existing works do not provide sufficient defense against backdoor attacks. In this paper, we propose a Noise-augmented Contrastive Learning (NCL) framework to defend against textual backdoor attacks when training models with untrustworthy data. With the aim of mitigating the mapping between triggers and the target label, we add appropriate noise perturbing possible backdoor triggers, augment the training dataset, and then pull homology samples in the feature space utilizing contrastive learning objective. Experiments demonstrate the effectiveness of our method in defending three types of textual backdoor attacks, outperforming the prior works.

 

현재, 백도어 공격은 깊은 곳에 큰 해를 끼치기 때문에 관심을 끈다 학습 모델. 상대는 훈련 데이터를 독살하여 모델을 다음과 같이 만든다 피해자들에 의해 무의식적으로 훈련을 받은 후 백도어가 주입되었다 포이즈닝된 데이터 집합입니다. 그러나 텍스트 분야에서는 기존 작품이 제공하지 않는다 백도어 공격에 대한 충분한 방어. 이 논문에서, 우리는 다음을 제안한다 텍스트로부터 방어하기 위한 노이즈 증강 대조 학습(NCL) 프레임워크 신뢰할 수 없는 데이터로 모델을 교육할 때 백도어 공격이 발생합니다. 을 목적으로 트리거와 대상 레이블 사이의 매핑 완화, 우리는 추가한다 가능한 백도어 트리거를 교란하는 적절한 소음, 교육 강화 데이터 세트, 그리고 나서 기능 공간에서 호몰로지 샘플을 끌어옵니다 대조 학습 목표. 실험은 의 효과를 입증한다 세 가지 유형의 텍스트 백도어 공격을 방어하는 우리의 방법은 성능이 뛰어나다 전편. 

 

 

PAGE: A Position-Aware Graph-Based Model for Emotion Cause Entailment in Conversation

 

Conversational Causal Emotion Entailment (C2E2) is a task that aims at recognizing the causes corresponding to a target emotion in a conversation. The order of utterances in the conversation affects the causal inference. However, most current position encoding strategies ignore the order relation among utterances and speakers. To address the issue, we devise a novel position-aware graph to encode the entire conversation, fully modeling causal relations among utterances. The comprehensive experiments show that our method consistently achieves state-of-the-art performance on two challenging test sets, proving the effectiveness of our model. Our source code is available on Github: this https URL.

 

대화적 인과 감정 수반(C2E2)은 다음을 목표로 하는 작업이다 대화에서 대상 감정에 해당하는 원인을 인식하는 것. 그 대화에서 말하는 순서는 인과적 추론에 영향을 미친다. 하지만, 대부분의 현재 위치 인코딩 전략은 순서 관계를 무시한다 발언과 연설. 이 문제를 해결하기 위해, 우리는 새로운 위치 인식을 고안한다 그래프는 전체 대화를 인코딩하고, 사이의 인과 관계를 완전히 모델링한다 언사. 포괄적인 실험은 우리의 방법이 일관되게 두 개의 까다로운 테스트 세트에서 최첨단 성능을 달성하여 다음을 입증한다 우리 모델의 효과. 우리의 소스 코드는 Github에서 이용할 수 있다: 이 https URL. 

 

 

DWFormer: Dynamic Window transFormer for Speech Emotion Recognition

 

Speech emotion recognition is crucial to human-computer interaction. The temporal regions that represent different emotions scatter in different parts of the speech locally. Moreover, the temporal scales of important information may vary over a large range within and across speech segments. Although transformer-based models have made progress in this field, the existing models could not precisely locate important regions at different temporal scales. To address the issue, we propose Dynamic Window transFormer (DWFormer), a new architecture that leverages temporal importance by dynamically splitting samples into windows. Self-attention mechanism is applied within windows for capturing temporal important information locally in a fine-grained way. Cross-window information interaction is also taken into account for global communication. DWFormer is evaluated on both the IEMOCAP and the MELD datasets. Experimental results show that the proposed model achieves better performance than the previous state-of-the-art methods.

 

음성 감정 인식은 인간과 컴퓨터의 상호 작용에 중요하다. 그 다른 감정을 나타내는 시간적 영역은 다른 부분으로 흩어진다 그 연설의 지역. 게다가, 중요한 정보의 시간적 척도는 음성 세그먼트 내 및 음성 세그먼트 전반에 걸쳐 다양할 수 있습니다. 비록 ~일지라도 변압기 기반 모델은 이 분야, 즉 기존 모델에서 진전을 이루었다 서로 다른 시간 척도에서 중요한 영역을 정확하게 찾을 수 없었다. 로. 문제를 해결하고, 우리는 새로운 DWFormer(Dynamic Window Transformer)를 제안한다 동적으로 분할하여 시간적 중요성을 활용하는 아키텍처 견본을 창에 끼워 넣다. 자기 주의 메커니즘은 다음을 위해 윈도우 내에 적용됩니다 시간적으로 중요한 정보를 세밀한 방식으로 국소적으로 캡처합니다. 교차 창 정보 상호작용도 전체적으로 고려된다 의사소통. DWFormer는 IEMOCAP 및 MELD 데이터 세트 모두에서 평가된다. 실험 결과는 제안된 모델이 더 나은 성능을 달성한다는 것을 보여준다 이전의 최첨단 방법들보다.