[2022-12-22] 오늘의 자연어처리

Semantically-informed Hierarchical Event Modeling

 

Prior work has shown that coupling sequential latent variable models with semantic ontological knowledge can improve the representational capabilities of event modeling approaches. In this work, we present a novel, doubly hierarchical, semi-supervised event modeling framework that provides structural hierarchy while also accounting for ontological hierarchy. Our approach consists of multiple layers of structured latent variables, where each successive layer compresses and abstracts the previous layers. We guide this compression through the injection of structured ontological knowledge that is defined at the type level of events: importantly, our model allows for partial injection of semantic knowledge and it does not depend on observing instances at any particular level of the semantic ontology. Across two different datasets and four different evaluation metrics, we demonstrate that our approach is able to out-perform the previous state-of-the-art approaches, demonstrating the benefits of structured and semantic hierarchical knowledge for event modeling.

 

이전 연구는 순차적 잠재 변수 모델을 다음과 결합하는 것을 보여주었다. 의미론적 존재론적 지식은 표현 능력을 향상시킬 수 있다. 이벤트 모델링 접근법. 이 작품에서 우리는 소설을 두 배로 발표한다. 구조적인 기능을 제공하는 계층적, 준지도 이벤트 모델링 프레임워크 존재론적 계층을 고려하는 동시에 계층. 우리의 접근 방식 구조화된 잠재 변수의 여러 레이어로 구성됩니다. 여기서 각각은 연속 레이어는 이전 레이어를 압축하고 추상화합니다. 우리는 이것을 안내한다. 구조화된 존재론적 지식의 주입을 통한 압축. 이벤트 유형 수준에서 정의: 중요한 것은, 우리의 모델이 부분적으로 허용한다는 것이다. 의미론적 지식의 주입 그리고 그것은 사례를 관찰하는 것에 의존하지 않는다. 의미론적 존재론의 특정 수준에서. 두 개의 서로 다른 데이터셋에 걸쳐 그리고 네 가지 다른 평가 지표, 우리의 접근 방식이 가능하다는 것을 보여준다. 이전의 최첨단 접근 방식을 능가하여 이벤트 모델링을 위한 구조화되고 의미론적인 계층적 지식의 이점. 

 

 

PairReranker: Pairwise Reranking for Natural Language Generation

 

Pre-trained language models have been successful in natural language generation (NLG) tasks. While various decoding methods have been employed, they often produce suboptimal results. We first present an empirical analysis of three NLG tasks: summarization, machine translation, and constrained text generation. We found that selecting the best output from the results of multiple decoding methods can significantly improve performance. To further improve reranking for NLG tasks, we proposed a novel method, \textsc{PairReranker}, which uses a single encoder and a pairwise loss function to jointly encode a source input and a pair of candidates and compare them. Experiments on three NLG tasks demonstrated the effectiveness and flexibility of \textsc{PairReranker}, showing strong results, compared with previous baselines. In addition, our \textsc{PairReranker} can generalize to significantly improve GPT-3 (text-davinci-003) results (e.g., 24.55\% on CommonGen and 11.35\% on WMT18 zh-en), even though our rerankers are not trained with any GPT-3 candidates.

 

사전 훈련된 언어 모델은 자연어에서 성공적이었다. 생성(NLG) 작업. 다양한 디코딩 방법이 사용되었지만, 그들은 종종 차선의 결과를 생성합니다. 우리는 먼저 에 대한 경험적 분석을 제시한다. 요약, 기계 번역 및 제한된 텍스트의 세 가지 NLG 작업 시대. 우리는 다음과 같은 결과로부터 최상의 결과를 선택하는 것을 발견했다. 다중 디코딩 방법은 성능을 크게 향상시킬 수 있다. 더 나아가서 NLG 작업에 대한 순위 조정을 개선하고, 새로운 방법을 제안했다. 단일 인코더와 쌍별 손실 함수를 사용하는 \textsc{PairRranker} 소스 입력과 후보 쌍을 공동으로 인코딩하고 비교합니다. 세 가지 NLG 과제에 대한 실험은 효과와 유연성을 입증했다. 이전과 비교하여 \textsc{PairRranker}의 강력한 결과를 보여줍니다. 기선 또한 \textsc{PairRranker}는 다음과 같이 일반화할 수 있다. GPT-3(text-davinci-003) 결과를 크게 개선합니다(예: 24.55\%). WMT18 zh-en에서 공통 Gen 및 11.35\%), 리랭커가 아님에도 불구하고 GPT-3 후보자들과 함께 훈련을 받았습니다. 

 

 

Measure More, Question More: Experimental Studies on Transformer-based Language Models and Complement Coercion

 

Transformer-based language models have shown strong performance on an array of natural language understanding tasks. However, the question of how these models react to implicit meaning has been largely unexplored. We investigate this using the complement coercion phenomenon, which involves sentences like "The student finished the book about sailing" where the action "reading" is implicit. We compare LMs' surprisal estimates at various critical sentence regions in sentences with and without implicit meaning. Effects associated with recovering implicit meaning were found at a critical region other than where sentences minimally differ. We then use follow-up experiments to factor out potential confounds, revealing different perspectives that offer a richer and more accurate picture.

 

트랜스포머 기반 언어 모델은 어레이에서 강력한 성능을 보여주었습니다. 자연어 이해 과제를 수행합니다. 하지만, 어떻게 이것들이 암묵적 의미에 반응하는 모델은 대부분 탐구되지 않았다. 우리는 조사한다. 이것은 다음과 같은 문장을 포함하는 보완 강제 현상을 사용한다. "학생은 항해에 관한 책을 다 읽었다"는 액션 "읽기"가 있는 곳에서 은연중의 우리는 다양한 임계 문장에서 LMs의 놀라운 추정치를 비교한다. 암묵적인 의미가 있는 문장과 없는 문장의 영역. 관련된 효과 암묵적 의미를 회복하는 것은 다음과 같은 다른 중요한 영역에서 발견되었습니다. 문장들은 최소한으로 다르다. 그런 다음 후속 실험을 사용하여 다음과 같이 계산합니다. 잠재적인 혼란, 더 풍부한 그리고 더 많은 것을 제공하는 다른 관점을 드러낸다. 더 정확한 사진