[2022-09-13] 오늘의 자연어처리

Joint Alignment of Multi-Task Feature and Label Spaces for Emotion Cause Pair Extraction

 

Emotion cause pair extraction (ECPE), as one of the derived subtasks of emotion cause analysis (ECA), shares rich inter-related features with emotion extraction (EE) and cause extraction (CE). Therefore EE and CE are frequently utilized as auxiliary tasks for better feature learning, modeled via multi-task learning (MTL) framework by prior works to achieve state-of-the-art (SoTA) ECPE results. However, existing MTL-based methods either fail to simultaneously model the specific features and the interactive feature in between, or suffer from the inconsistency of label prediction. In this work, we consider addressing the above challenges for improving ECPE by performing two alignment mechanisms with a novel A^2Net model. We first propose a feature-task alignment to explicitly model the specific emotion-&cause-specific features and the shared interactive feature. Besides, an inter-task alignment is implemented, in which the label distance between the ECPE and the combinations of EE&CE are learned to be narrowed for better label consistency. Evaluations of benchmarks show that our methods outperform current best-performing systems on all ECA subtasks. Further analysis proves the importance of our proposed alignment mechanisms for the task.

 

감정 원인 쌍 추출(ECPE)은 다음과 같은 파생된 하위 작업 중 하나입니다. 감정 원인 분석(ECA), 감정과 풍부한 상호 관련 기능 공유 추출(EE) 및 원인 추출(CE)입니다. 그러므로 EE와 CE는 자주 다중 작업을 통해 모델링된 더 나은 기능 학습을 위한 보조 작업으로 활용 최첨단(SoTA) ECPE 달성을 위한 선행 연구별 학습(MTL) 프레임워크 결과. 그러나 기존의 MTL 기반 방법들은 동시에 실패한다. 특정 특징과 그 사이의 상호 작용 특징을 모델링하거나, 또는 어려움을 겪는다. 레이블 예측의 불일치로 인해. 이 작업에서 우리는 다음을 고려한다. 두 가지 정렬을 수행하여 ECPE를 개선하기 위한 위의 과제를 해결합니다. 새로운 A^2Net 모델을 사용하는 메커니즘. 먼저 기능-태스크 정렬을 제안한다. 특정 감정과 원인별 특징을 명시적으로 모델링하다 공유된 대화형 기능 또한 작업 간 정렬이 구현됩니다. ECPE와 EE&CE의 조합 사이의 레이블 거리는? 더 나은 라벨 일관성을 위해 좁혀지는 법을 배웠다. 벤치마크 평가 우리의 방법이 모든 ECA에서 현재 최고의 성능을 발휘하는 시스템을 능가한다는 것을 보여준다. 하위 작업 추가 분석을 통해 제안된 정렬의 중요성 입증 작업을 위한 메커니즘. 

 

 

Non-autoregressive Error Correction for CTC-based ASR with Phone-conditioned Masked LM

 

Connectionist temporal classification (CTC) -based models are attractive in automatic speech recognition (ASR) because of their non-autoregressive nature. To take advantage of text-only data, language model (LM) integration approaches such as rescoring and shallow fusion have been widely used for CTC. However, they lose CTC's non-autoregressive nature because of the need for beam search, which slows down the inference speed. In this study, we propose an error correction method with phone-conditioned masked LM (PC-MLM). In the proposed method, less confident word tokens in a greedy decoded output from CTC are masked. PC-MLM then predicts these masked word tokens given unmasked words and phones supplementally predicted from CTC. We further extend it to Deletable PC-MLM in order to address insertion errors. Since both CTC and PC-MLM are non-autoregressive models, the method enables fast LM integration. Experimental evaluations on the Corpus of Spontaneous Japanese (CSJ) and TED-LIUM2 in domain adaptation setting shows that our proposed method outperformed rescoring and shallow fusion in terms of inference speed, and also in terms of recognition accuracy on CSJ.

 

연결주의 시간 분류(CTC) 기반 모델은 다음과 같은 점에서 매력적이다. 자동 음성 인식(ASR)은 비자기 회귀 특성으로 인해 사용됩니다. 텍스트 전용 데이터를 활용하기 위해 언어 모델(LM) 통합 접근 방식 재평가와 얕은 융합과 같은 것이 CTC에 널리 사용되어 왔다. 하지만, 빔 탐색의 필요성 때문에 CTC의 비자기회귀적 특성을 잃는다. 그러면 추론 속도가 느려집니다. 이 연구에서, 우리는 오류를 제안한다. 전화 조건 마스크 LM(PC-MLM)을 사용한 수정 방법. 제안된 것 중 방법, CTC의 탐욕스러운 디코딩된 출력에서 덜 자신감 있는 단어 토큰은 PC-MLM은 마스크되지 않은 단어가 주어지면 이 마스크된 단어 토큰을 예측한다. CTC에서 추가로 예측된 전화들. Deletable로 확장합니다. 삽입 오류를 해결하기 위한 PC-MLM. CTC와 PC-MLM 둘 다이기 때문에 비자기 회귀 모델, 이 방법은 빠른 LM 통합을 가능하게 한다. 실험 도메인 내 자발적 일본어 코퍼스(CSJ) 및 TED-LIUM2에 대한 평가 적응 설정은 우리가 제안한 방법이 재채점 및 추론 속도 및 인식의 측면에서 얕은 융합 CSJ의 정확성 

 

 

Trigger Warnings: Bootstrapping a Violence Detector for FanFiction

 

We present the first dataset and evaluation results on a newly defined computational task of trigger warning assignment. Labeled corpus data has been compiled from narrative works hosted on Archive of Our Own (AO3), a well-known fanfiction site. In this paper, we focus on the most frequently assigned trigger type--violence--and define a document-level binary classification task of whether or not to assign a violence trigger warning to a fanfiction, exploiting warning labels provided by AO3 authors. SVM and BERT models trained in four evaluation setups on the corpora we compiled yield $F_1$ results ranging from 0.585 to 0.798, proving the violence trigger warning assignment to be a doable, however, non-trivial task.

 

우리는 새롭게 정의된 첫 번째 데이터 세트 및 평가 결과를 제시한다. 트리거 경고 할당의 계산 작업. 레이블링된 말뭉치 데이터는 잘 알려진 AO3(Archive of Ower Own)에 호스팅된 서사 작품에서 편집되었다. 팬픽션 사이트 이 백서에서는 가장 자주 할당되는 항목에 초점을 맞춥니다. 트리거 유형--varget--문서 수준 이진 분류 태스크 정의 팬픽션에 폭력 촉발 경고를 부여할 것인지 아닌지에 대해. AO3 작성자가 제공한 경고 레이블을 공격합니다. SVM 및 BERT 모델 교육 코퍼스에 대한 네 가지 평가 설정에서 수익률 $F_1$ 결과를 컴파일했습니다. 0.585에서 0.798 사이의 범위, 폭력 유발 경고 할당을 증명합니다. 그러나 실행 가능하지만 실행 불가능한 작업이다.