[2022-10-10] 오늘의 자연어처리

Detecting Narrative Elements in Informational Text

 

Automatic extraction of narrative elements from text, combining narrative theories with computational models, has been receiving increasing attention over the last few years. Previous works have utilized the oral narrative theory by Labov and Waletzky to identify various narrative elements in personal stories texts. Instead, we direct our focus to informational texts, specifically news stories. We introduce NEAT (Narrative Elements AnnoTation) - a novel NLP task for detecting narrative elements in raw text. For this purpose, we designed a new multi-label narrative annotation scheme, better suited for informational text (e.g. news media), by adapting elements from the narrative theory of Labov and Waletzky (Complication and Resolution) and adding a new narrative element of our own (Success). We then used this scheme to annotate a new dataset of 2,209 sentences, compiled from 46 news articles from various category domains. We trained a number of supervised models in several different setups over the annotated dataset to identify the different narrative elements, achieving an average F1 score of up to 0.77. The results demonstrate the holistic nature of our annotation scheme as well as its robustness to domain category.

 

텍스트에서 서술 요소 자동 추출, 서술 결합 계산 모델을 가진 이론들은 점점 더 많은 관심을 받고 있다. 요 몇 년 동안 이전 작품들은 구술 서술 이론을 사용했다. 라보프와 왈레츠키가 개인적으로 다양한 서사적 요소를 식별하기 위해 이야기 본문 대신, 우리는 정보 텍스트에 초점을 맞추고, 특히 뉴스 기사입니다. NEAT(내레이션 요소 주석)를 소개합니다. 원시 텍스트의 서술적 요소를 감지하기 위한 새로운 NLP 작업 이를 위해 목적상, 우리는 새로운 다중 레이블 서술 주석 체계를 설계했고, 더 나은. 정보 텍스트(예: 뉴스 미디어)에 적합하며, 요소들의 적응을 통해 라보프와 왈츠키(복잡화와 해결)의 서술 이론과 추가 우리 자신의 새로운 이야기 요소 그리고 나서 우리는 이 계획을 사용했다. 46개의 뉴스 기사에서 편집된 2,183개의 문장으로 이루어진 새로운 데이터 세트에 주석을 달다. 다양한 범주 도메인 우리는 여러 개의 감독 모델을 훈련시켰다. 주석이 달린 데이터 세트에 대한 다른 설정을 통해 다른 설명을 식별할 수 있습니다. 요소, 평균 F1 점수 0.77을 달성한다. 결과는 다음과 같다. 우리의 주석 계획의 전체론적 성격과 그것의 견고성. 도메인 범주 

 

 

Guess the Instruction! Making Language Models Stronger Zero-Shot Learners

 

Meta-training, which fine-tunes the language model (LM) on various downstream tasks by maximizing the likelihood of the target label given the task instruction and input instance, has improved the zero-shot task generalization performance. However, meta-trained LMs still struggle to generalize to challenging tasks containing novel labels unseen during meta-training. In this paper, we propose Flipped Learning, an alternative method of meta-training which trains the LM to generate the task instruction given the input instance and label. During inference, the LM trained with Flipped Learning, referred to as Flipped, selects the label option that is most likely to generate the task instruction. On 14 tasks of the BIG-bench benchmark, the 3B-sized Flipped outperforms 4 times larger zero-shot T0-11B and even a 60 times larger 3-shot GPT-3 (175B) on average by 1.8% and 3.1%, respectively. Flipped gives particularly large improvements on unseen labels, outperforming T0-11B by up to +20% average F1 score. This indicates that the strong task generalization of Flipped comes from improved generalization to novel labels. We release our code at this https URL.

 

다양한 다운스트림에서 언어 모델(LM)을 미세 조정하는 메타 트레이닝 지정된 태스크의 대상 레이블 가능성을 최대화하여 태스크 명령 및 입력 인스턴스는 제로샷 작업 일반화를 개선했습니다. 성능. 그러나, 메타 훈련 LM은 여전히 일반화하기 어렵다. 메타 훈련 중에 보이지 않는 새로운 레이블을 포함하는 어려운 작업. 이 점에서. 논문, 우리는 메타 훈련의 대안적인 방법인 플립드 러닝을 제안한다. 입력 인스턴스가 주어진 작업 명령을 생성하도록 LM을 교육합니다. 라벨을 붙입니다. 추론하는 동안, 플립드 러닝으로 훈련된 LM은 다음과 같이 언급된다. Flipped로 작업을 생성할 가능성이 가장 높은 레이블 옵션을 선택합니다. 설명. BIG-벤치 벤치마크의 14개 작업에서 3B 크기의 플립드 4배 더 큰 제로샷 T0-11B와 60배 더 큰 3샷을 능가합니다. GPT-3(175B)는 평균 1.8%, 3.1% 증가했다. 플립드 기브 보이지 않는 레이블에 대한 특히 큰 개선 사항, T0-11B보다 최대 최대 5배 더 성능이 우수합니다. +20% 평균 F1 점수. 이것은 강력한 작업 일반화를 나타냅니다. 플립은 개선된 일반화에서 새로운 레이블로 이어진다. 코드를 공개합니다. 이 https URL에서. 

 

 

Improving the Sample Efficiency of Prompt Tuning with Domain Adaptation

 

Prompt tuning, or the conditioning of a frozen pretrained language model (PLM) with soft prompts learned from data, has demonstrated impressive performance on a wide range of NLP tasks. However, prompt tuning requires a large training dataset to be effective and is outperformed by finetuning the entire PLM in data-scarce regimes. Previous work \citep{gu-etal-2022-ppt,vu-etal-2022-spot} proposed to transfer soft prompts pretrained on the source domain to the target domain. In this paper, we explore domain adaptation for prompt tuning, a problem setting where unlabeled data from the target domain are available during pretraining. We propose bOosting Prompt TunIng with doMain Adaptation (OPTIMA), which regularizes the decision boundary to be smooth around regions where source and target data distributions are similar. Extensive experiments demonstrate that OPTIMA significantly enhances the transferability and sample-efficiency of prompt tuning compared to strong baselines. Moreover, in few-shot settings, OPTIMA exceeds full-model tuning by a large margin.

 

즉각적인 튜닝 또는 동결된 사전 교육 언어 모델의 컨디셔닝 (PLM)은 데이터에서 학습한 소프트 프롬프트를 통해 인상적인 성능을 입증했습니다. 다양한 NLP 작업에서 성능을 제공합니다. 그러나 즉각적인 튜닝에는 다음이 필요합니다. 대규모 교육 데이터 세트가 효과적이며 미세 조정으로 인해 성능이 우수합니다. 데이터 부족 체제에서 전체 PLM. 전작 소프트 프롬프트를 전송하기 위해 제안된 \ngu-et al-blash-pot, et al-blash-spot} 소스 도메인에서 대상 도메인으로 사전 교육되었습니다. 이 논문에서, 우리는 신속한 조정을 위한 도메인 적응, 레이블이 지정되지 않은 데이터가 있는 문제 설정 대상 도메인에서 사전 교육 중에 사용할 수 있습니다. 우리는 boosting을 제안한다. 결정을 정규화하는 DoMain Adaptation(OPTIMA)을 사용한 프롬프트 튜닝 소스 및 대상 데이터 분포가 있는 지역 주변에서 원활한 경계 비슷합니다. 광범위한 실험을 통해 OPTIMA가 유의하게 입증되었습니다. 보다 신속한 튜닝의 전송성과 샘플 효율성을 향상시킵니다. 강한 기준선 또한, 퓨샷 설정에서 OPTIMA는 전체 모델을 능가합니다. 큰 차이로 조정.