[2023-09-19] 오늘의 자연어처리

Self-Consistent Narrative Prompts on Abductive Natural Language Inference

 

Abstract:Abduction has long been seen as crucial for narrative comprehension and reasoning about everyday situations. The abductive natural language inference ($\alpha$NLI) task has been proposed, and this narrative text-based task aims to infer the most plausible hypothesis from the candidates given two observations. However, the inter-sentential coherence and the model consistency have not been well exploited in the previous works on this task. In this work, we propose a prompt tuning model $\alpha$-PACE, which takes self-consistency and inter-sentential coherence into consideration. Besides, we propose a general self-consistent framework that considers various narrative sequences (e.g., linear narrative and reverse chronology) for guiding the pre-trained language model in understanding the narrative context of input. We conduct extensive experiments and thorough ablation studies to illustrate the necessity and effectiveness of $\alpha$-PACE. The performance of our method shows significant improvement against extensive competitive baselines.

 

초록:납치는 오랫동안 일상적인 상황에 대한 서술적 이해와 추론을 위해 중요하게 여겨져 왔다. 납북 자연어 추론($\alpha$NLI) 과제가 제안되었으며, 이 서술형 텍스트 기반 과제는 두 가지 관측치가 주어진 후보로부터 가장 그럴듯한 가설을 추론하는 것을 목표로 한다. 그러나 이 작업에 대한 이전 작업에서는 상호 감성적 일관성과 모델 일관성이 잘 활용되지 않았다. 본 연구에서, 우리는 자기 일관성과 정서 간 일관성을 고려한 신속한 튜닝 모델 $\alpha$-PACE를 제안한다. 또한 입력의 내러티브 맥락을 이해함에 있어 사전 훈련된 언어 모델을 안내하기 위한 다양한 내러티브 시퀀스(예: 선형 내러티브 및 역연표)를 고려하는 일반적인 자기 일관 프레임워크를 제안한다. 우리는 $\alpha$-PACE의 필요성과 효과를 설명하기 위해 광범위한 실험과 철저한 절제 연구를 수행한다. 우리 방법의 성능은 광범위한 경쟁 기준선에 비해 크게 향상되었다. 

 

 

Structural Self-Supervised Objectives for Transformers

 

Abstract:This thesis focuses on improving the pre-training of natural language models using unsupervised raw data to make them more efficient and aligned with downstream applications. In the first part, we introduce three alternative pre-training objectives to BERT's Masked Language Modeling (MLM), namely Random Token Substitution (RTS), Cluster-based Random Token Substitution (C-RTS), and Swapped Language Modeling (SLM). These objectives involve token swapping instead of masking, with RTS and C-RTS aiming to predict token originality and SLM predicting the original token values. Results show that RTS and C-RTS require less pre-training time while maintaining performance comparable to MLM. Surprisingly, SLM outperforms MLM on certain tasks despite using the same computational budget. In the second part, we proposes self-supervised pre-training tasks that align structurally with downstream applications, reducing the need for labeled data. We use large corpora like Wikipedia and CC-News to train models to recognize if text spans originate from the same paragraph or document in several ways. By doing continuous pre-training, starting from existing models like RoBERTa, ELECTRA, DeBERTa, BART, and T5, we demonstrate significant performance improvements in tasks like Fact Verification, Answer Sentence Selection, and Summarization. These improvements are especially pronounced when limited annotation data is available. The proposed objectives also achieve state-of-the-art results on various benchmark datasets, including FEVER (dev set), ASNQ, WikiQA, and TREC-QA, as well as enhancing the quality of summaries. Importantly, these techniques can be easily integrated with other methods without altering the internal structure of Transformer models, making them versatile for various NLP applications.

 

초록:본 논문은 감독되지 않은 원시 데이터를 사용하여 자연어 모델의 사전 훈련을 개선하여 보다 효율적이고 다운스트림 애플리케이션에 정렬하는 데 초점을 맞추고 있다. 첫 번째 부분에서는 BERT의 Masked Language Modeling(MLM), RTS(Random Token Substitution), C-RTS(Cluster-Based Random Token Substitution), SLM(Swaped Language Modeling)의 세 가지 대안적인 사전 훈련 목표를 소개한다. 이러한 목표는 마스킹 대신 토큰 스와핑을 포함하며, RTS와 C-RTS는 토큰 독창성을 예측하고 SLM은 원래 토큰 값을 예측한다. 결과는 RTS와 C-RTS가 MLM에 필적하는 성능을 유지하면서도 사전 훈련 시간을 적게 요구한다는 것을 보여준다. 놀랍게도, SLM은 동일한 계산 예산을 사용함에도 불구하고 특정 작업에서 MLM을 능가한다. 두 번째 부분에서는 구조적으로 다운스트림 애플리케이션과 일치하는 자체 감독 사전 훈련 작업을 제안하여 레이블링된 데이터의 필요성을 줄인다. 우리는 위키피디아나 CC-News와 같은 대규모 기업체를 사용하여 텍스트 범위가 동일한 문단이나 문서에서 비롯되는지 여러 가지 방법으로 인식하도록 모델을 훈련시킨다. RobERTA, ELECTRA, DeBERTA, BART 및 T5와 같은 기존 모델에서 시작하여 지속적인 사전 교육을 수행함으로써 사실 검증, 답변 문장 선택 및 요약과 같은 작업에서 상당한 성능 향상을 보여준다. 이러한 개선은 특히 제한된 주석 데이터를 이용할 수 있을 때 두드러진다. 제안된 목표는 또한 요약의 품질을 향상시킬 뿐만 아니라 FEVER(개발 집합), ASNQ, WikiQA 및 TREC-QA를 포함한 다양한 벤치마크 데이터 세트에서 최첨단 결과를 달성한다. 중요한 것은, 이러한 기법들은 트랜스포머 모델들의 내부 구조를 변경하지 않고 다른 방법들과 쉽게 통합될 수 있기 때문에, 다양한 NLP 응용들에 대해 다재다능하게 만든다. 

 

 

Self-Consistent Narrative Prompts on Abductive Natural Language Inference

 

Abstract:Abduction has long been seen as crucial for narrative comprehension and reasoning about everyday situations. The abductive natural language inference ($\alpha$NLI) task has been proposed, and this narrative text-based task aims to infer the most plausible hypothesis from the candidates given two observations. However, the inter-sentential coherence and the model consistency have not been well exploited in the previous works on this task. In this work, we propose a prompt tuning model $\alpha$-PACE, which takes self-consistency and inter-sentential coherence into consideration. Besides, we propose a general self-consistent framework that considers various narrative sequences (e.g., linear narrative and reverse chronology) for guiding the pre-trained language model in understanding the narrative context of input. We conduct extensive experiments and thorough ablation studies to illustrate the necessity and effectiveness of $\alpha$-PACE. The performance of our method shows significant improvement against extensive competitive baselines.

 

초록:납치는 오랫동안 일상적인 상황에 대한 서술적 이해와 추론을 위해 중요하게 여겨져 왔다. 납북 자연어 추론($\alpha$NLI) 과제가 제안되었으며, 이 서술형 텍스트 기반 과제는 두 가지 관측치가 주어진 후보로부터 가장 그럴듯한 가설을 추론하는 것을 목표로 한다. 그러나 이 작업에 대한 이전 작업에서는 상호 감성적 일관성과 모델 일관성이 잘 활용되지 않았다. 본 연구에서, 우리는 자기 일관성과 정서 간 일관성을 고려한 신속한 튜닝 모델 $\alpha$-PACE를 제안한다. 또한 입력의 내러티브 맥락을 이해함에 있어 사전 훈련된 언어 모델을 안내하기 위한 다양한 내러티브 시퀀스(예: 선형 내러티브 및 역연표)를 고려하는 일반적인 자기 일관 프레임워크를 제안한다. 우리는 $\alpha$-PACE의 필요성과 효과를 설명하기 위해 광범위한 실험과 철저한 절제 연구를 수행한다. 우리 방법의 성능은 광범위한 경쟁 기준선에 비해 크게 향상되었다.