[2022-10-08] 오늘의 자연어처리

Detecting Narrative Elements in Informational Text

 

Automatic extraction of narrative elements from text, combining narrative theories with computational models, has been receiving increasing attention over the last few years. Previous works have utilized the oral narrative theory by Labov and Waletzky to identify various narrative elements in personal stories texts. Instead, we direct our focus to informational texts, specifically news stories. We introduce NEAT (Narrative Elements AnnoTation) - a novel NLP task for detecting narrative elements in raw text. For this purpose, we designed a new multi-label narrative annotation scheme, better suited for informational text (e.g. news media), by adapting elements from the narrative theory of Labov and Waletzky (Complication and Resolution) and adding a new narrative element of our own (Success). We then used this scheme to annotate a new dataset of 2,209 sentences, compiled from 46 news articles from various category domains. We trained a number of supervised models in several different setups over the annotated dataset to identify the different narrative elements, achieving an average F1 score of up to 0.77. The results demonstrate the holistic nature of our annotation scheme as well as its robustness to domain category.

 

텍스트에서 서술 요소 자동 추출, 서술 결합 계산 모델을 가진 이론들은 점점 더 많은 관심을 받고 있다. 요 몇 년 동안 이전 작품들은 구술 서술 이론을 사용했다. 라보프와 왈레츠키가 개인적으로 다양한 서사적 요소를 식별하기 위해 이야기 본문 대신, 우리는 정보 텍스트에 초점을 맞추고, 특히 뉴스 기사입니다. NEAT(내레이션 요소 주석)를 소개합니다. 원시 텍스트의 서술적 요소를 감지하기 위한 새로운 NLP 작업 이를 위해 목적상, 우리는 새로운 다중 레이블 서술 주석 체계를 설계했고, 더 나은. 정보 텍스트(예: 뉴스 미디어)에 적합하며, 요소들의 적응을 통해 라보프와 왈츠키(복잡화와 해결)의 서술 이론과 추가 우리 자신의 새로운 이야기 요소 그리고 나서 우리는 이 계획을 사용했다. 46개의 뉴스 기사에서 편집된 2,183개의 문장으로 이루어진 새로운 데이터 세트에 주석을 달다. 다양한 범주 도메인 우리는 여러 개의 감독 모델을 훈련시켰다. 주석이 달린 데이터 세트에 대한 다른 설정을 통해 다른 설명을 식별할 수 있습니다. 요소, 평균 F1 점수 0.77을 달성한다. 결과는 다음과 같다. 우리의 주석 계획의 전체론적 성격과 그것의 견고성. 도메인 범주 

 

 

Retrieval of Soft Prompt Enhances Zero-Shot Task Generalization

 

During zero-shot inference with language models (LMs), using hard prompts alone may not be able to fully describe the target task. In this paper, we explore how the retrieval of soft prompts obtained through prompt tuning can assist hard prompts in zero-shot task generalization. Specifically, we train soft prompt embeddings for each prompt through prompt tuning, store the samples of the training instances (hard prompt + input instances) mapped with the prompt embeddings, and retrieve the corresponding prompt embedding of the training instance closest to the query instance during inference. Results show this simple approach enhances the performance of T0 on unseen tasks by outperforming it on 10 out of 11 datasets as well as improving the mean accuracy of T0 on BIG-bench benchmark by 2.39% points while adding only 0.007% additional parameters. Also, using interpolation of multiple embeddings and variance-based ranking further improve accuracy and robustness to different evaluation prompts, widening the performance gap. Finally, we find that retrieving source embeddings trained on similar answer choice formats is more important than those on similar task types. Model checkpoints and code implementation are available at this https URL.

 

언어 모델(LM)을 사용한 제로샷 추론 중, 하드 프롬프트 사용 단독으로 대상 작업을 완전히 설명할 수 없을 수도 있습니다. 이 논문에서, 우리는 신속한 조정을 통해 얻은 소프트 프롬프트의 검색이 어떻게 할 수 있는지 탐구한다. 제로샷 작업 일반화의 하드 프롬프트를 지원합니다. 구체적으로, 우리는 훈련한다. 프롬프트 조정을 통해 각 프롬프트에 대한 소프트 프롬프트 임베딩, 샘플 저장 교육 인스턴스(하드 프롬프트 + 입력 인스턴스) 중 신속한 임베딩 및 해당 신속한 임베딩 검색 추론 중에 쿼리 인스턴스에 가장 가까운 교육 인스턴스입니다. 결과 표시 이 간단한 접근법은 보이지 않는 작업에서 T0의 성능을 향상시킨다. 데이터 세트 11개 중 10개에서 성능 향상 및 평균 향상 BIG-벤치 벤치마크에서 T0의 정확도 2.39% 포인트 향상, 단 0.007% 추가 추가 매개 변수 또한 여러 임베딩의 보간법을 사용하여 분산 기반 랭킹은 정확성과 견고성을 더욱 향상시킵니다. 평가 프롬프트를 통해 성능 격차를 벌릴 수 있습니다. 마침내, 우리는 그것을 발견한다. 유사한 답변 선택 형식에서 훈련된 소스 임베딩 검색은 더 많습니다. 유사한 작업 유형의 작업보다 중요합니다. 모델 체크포인트 및 코드 구현은 이 https URL에서 사용할 수 있습니다. 

 

 

Conversational Semantic Role Labeling with Predicate-Oriented Latent Graph

 

Conversational semantic role labeling (CSRL) is a newly proposed task that uncovers the shallow semantic structures in a dialogue text. Unfortunately several important characteristics of the CSRL task have been overlooked by the existing works, such as the structural information integration, near-neighbor influence. In this work, we investigate the integration of a latent graph for CSRL. We propose to automatically induce a predicate-oriented latent graph (POLar) with a predicate-centered Gaussian mechanism, by which the nearer and informative words to the predicate will be allocated with more attention. The POLar structure is then dynamically pruned and refined so as to best fit the task need. We additionally introduce an effective dialogue-level pre-trained language model, CoDiaBERT, for better supporting multiple utterance sentences and handling the speaker coreference issue in CSRL. Our system outperforms best-performing baselines on three benchmark CSRL datasets with big margins, especially achieving over 4% F1 score improvements on the cross-utterance argument detection. Further analyses are presented to better understand the effectiveness of our proposed methods.

 

대화 의미 역할 레이블링(CSRL)은 새롭게 제안된 작업이다. 대화 텍스트에서 얕은 의미 구조를 밝혀냅니다. 불행하게도 CSRL 과제의 몇 가지 중요한 특징들이 간과되어 왔다. 구조 정보 통합과 같은 기존 작업들, 거의 비슷한 것. 영향을 주다. 이 연구에서, 우리는 잠재 그래프의 통합을 조사한다. CSRL. 술어 중심의 잠재 그래프를 자동으로 유도할 것을 제안한다. (POLAR) 술어 중심의 가우스 메커니즘으로, 더 가깝고 더 가깝습니다. 서술어에 대한 유익한 단어들은 더 많은 주의를 기울여 할당될 것이다. 그 그런 다음 POLar 구조는 가장 잘 적합하도록 동적으로 제거되고 정제된다. 작업의 필요성 우리는 또한 효과적인 대화 수준 사전 교육을 도입한다. 언어 모델인 CoDiaBERT는 여러 발성 문장을 더 잘 지원하기 위한 것입니다. 그리고 CSRL에서 화자 상호 참조 문제를 처리합니다. 우리 시스템은 성능이 우수하다. 3가지 벤치마크 CSRL 데이터셋에 대한 최고의 성능 기준(마진이 큰) 특히 교차 발언에서 4% 이상의 F1 점수 개선 달성 인수 탐지 더 나은 이해를 위해 추가 분석이 제시된다. 우리가 제안한 방법의 효과