[2022-09-05] 오늘의 자연어처리

Less is More: Rethinking State-of-the-art Continual Relation Extraction Models with a Frustratingly Easy but Effective Approach

 

Continual relation extraction (CRE) requires the model to continually learn new relations from class-incremental data streams. In this paper, we propose a Frustratingly easy but Effective Approach (FEA) method with two learning stages for CRE: 1) Fast Adaption (FA) warms up the model with only new data. 2) Balanced Tuning (BT) finetunes the model on the balanced memory data. Despite its simplicity, FEA achieves comparable (on TACRED or superior (on FewRel) performance compared with the state-of-the-art baselines. With careful examinations, we find that the data imbalance between new and old relations leads to a skewed decision boundary in the head classifiers over the pretrained encoders, thus hurting the overall performance. In FEA, the FA stage unleashes the potential of memory data for the subsequent finetuning, while the BT stage helps establish a more balanced decision boundary. With a unified view, we find that two strong CRE baselines can be subsumed into the proposed training pipeline. The success of FEA also provides actionable insights and suggestions for future model designing in CRE.

 

연속 관계 추출(CRE)을 위해서는 모델이 지속적으로 학습해야 합니다. 클래스 증분 데이터 스트림의 새로운 관계. 이 논문에서, 우리는 다음을 제안한다. 두 가지 학습 단계가 있는 실망스러울 정도로 쉽지만 효과적인 접근(FEA) 방법 CRE: 1) 빠른 적응(FA)은 새 데이터만 사용하여 모델을 예열합니다. 2) 균형 조정(BT)은 균형 잡힌 메모리 데이터에서 모델을 미세 조정한다. 불구하고 단순성, FEA는 동등(TACRED 이상(FewRel)에서) 달성 최신 기준선과 비교한 성능입니다. 조심해서 검사, 우리는 새로운 관계와 오래된 관계 사이의 데이터 불균형을 발견한다. 사전 훈련된 머리 분류기에서 왜곡된 결정 경계로 이어집니다. 인코더로 인해 전체 성능이 저하됩니다. FEA에서는 FA 단계가 해제됩니다. BT 단계에서 후속 미세 조정을 위한 메모리 데이터의 잠재력 보다 균형 잡힌 의사 결정 경계를 설정하는 데 도움이 됩니다. 통합된 뷰를 통해 제안된 교육에 두 개의 강력한 CRE 기준선이 포함될 수 있다. 파이프라인 FEA의 성공은 또한 실행 가능한 통찰력과 제안을 제공한다. CRE에서 미래 모델 설계를 위해. 

 

 

An Ion Exchange Mechanism Inspired Story Ending Generator for Different Characters

 

Story ending generation aims at generating reasonable endings for a given story context. Most existing studies in this area focus on generating coherent or diversified story endings, while they ignore that different characters may lead to different endings for a given story. In this paper, we propose a Character-oriented Story Ending Generator (CoSEG) to customize an ending for each character in a story. Specifically, we first propose a character modeling module to learn the personalities of characters from their descriptive experiences extracted from the story context. Then, inspired by the ion exchange mechanism in chemical reactions, we design a novel vector breaking/forming module to learn the intrinsic interactions between each character and the corresponding context through an analogical information exchange procedure. Finally, we leverage the attention mechanism to learn effective character-specific interactions and feed each interaction into a decoder to generate character-orient endings. Extensive experimental results and case studies demonstrate that CoSEG achieves significant improvements in the quality of generated endings compared with state-of-the-art methods, and it effectively customizes the endings for different characters.

 

스토리 엔딩 생성은 주어진 것에 대해 합리적인 엔딩을 생성하는 것을 목표로 합니다. 이야기의 맥락 이 분야의 대부분의 기존 연구는 일관성 있는 생성에 초점을 맞추고 있다. 또는 다양한 이야기의 결말을, 그들은 다른 등장인물들이 할 수 있다는 것을 무시한다. 어떤 이야기의 결말을 바꾸다 이 논문에서, 우리는 다음을 제안한다. CoSEG(캐릭터 지향 스토리 엔딩 생성기)를 사용하여 엔딩을 사용자 정의합니다. 이야기 속의 각 인물 구체적으로, 우리는 먼저 캐릭터 모델링을 제안한다. 설명에서 인물의 성격을 학습하기 위한 모듈 이야기의 맥락에서 추출된 경험들 그리고 이온에서 영감을 받아 화학 반응에서 교환 메커니즘, 우리는 새로운 벡터를 설계한다. 각 모듈 간의 고유한 상호 작용을 학습하기 위한 모듈 분리/형성 유사 정보를 통한 캐릭터 및 해당 컨텍스트 교환 절차 마지막으로, 우리는 주의 메커니즘을 활용하여 학습합니다. 효과적인 캐릭터별 상호 작용과 각 상호 작용을 a에 공급한다. 문자 지향 엔딩을 생성하는 디코더입니다. 광범위한 실험 결과 그리고 사례 연구는 CoSEG가 상당한 개선을 달성한다는 것을 보여준다. 최첨단 방법과 비교하여 생성된 엔딩의 품질, 그리고 그것. 다양한 캐릭터의 엔딩을 효과적으로 사용자 지정합니다. 

 

 

The Fellowship of the Authors: Disambiguating Names from Social Network Context

 

Most NLP approaches to entity linking and coreference resolution focus on retrieving similar mentions using sparse or dense text representations. The common "Wikification" task, for instance, retrieves candidate Wikipedia articles for each entity mention. For many domains, such as bibliographic citations, authority lists with extensive textual descriptions for each entity are lacking and ambiguous named entities mostly occur in the context of other named entities. Unlike prior work, therefore, we seek to leverage the information that can be gained from looking at association networks of individuals derived from textual evidence in order to disambiguate names. We combine BERT-based mention representations with a variety of graph induction strategies and experiment with supervised and unsupervised cluster inference methods. We experiment with data consisting of lists of names from two domains: bibliographic citations from CrossRef and chains of transmission (isnads) from classical Arabic histories. We find that in-domain language model pretraining can significantly improve mention representations, especially for larger corpora, and that the availability of bibliographic information, such as publication venue or title, can also increase performance on this task. We also present a novel supervised cluster inference model which gives competitive performance for little computational effort, making it ideal for situations where individuals must be identified without relying on an exhaustive authority list.

 

엔티티 링크 및 상호 참조 해결에 대한 대부분의 NLP 접근 방식은 다음과 같다. 희소하거나 조밀한 텍스트 표현을 사용하여 유사한 멘션을 검색합니다. 그 예를 들어, 일반적인 "위키피케이션" 작업은 후보 위키피디아를 검색합니다. 각 주체의 물품 서지 등 많은 도메인의 경우 인용문, 각 실체에 대한 광범위한 텍스트 설명이 있는 권위 목록 부족하고 모호한 명명된 실체는 대부분 다른 실체의 맥락에서 발생한다. 명명된 엔티티. 따라서 이전 작업과 달리, 우리는 그것을 활용하고자 한다. 의 연관 네트워크를 통해 얻을 수 있는 정보. 이름을 명확히 하기 위해 텍스트 증거에서 파생된 개인들 우리가 BERT 기반 언급 표현을 다양한 그래프 유도와 결합한다. 지도 및 비지도 클러스터 추론을 통한 전략 및 실험 방법들. 우리는 두 도메인의 이름 목록으로 구성된 데이터로 실험한다. CrossRef로부터의 서지 인용과로부터의 전송 체인(isnads) 아랍 고전사 도메인 내 언어 모델 사전 교육을 통해 특히 더 큰 경우 멘션 표현을 크게 개선할 수 있습니다. 말뭉치, 그리고 다음과 같은 서지 정보의 가용성. 게시 장소 또는 제목도 이 작업의 성능을 향상시킬 수 있습니다. 저희도. 경쟁력을 제공하는 새로운 감독 클러스터 추론 모델을 제시합니다. 적은 계산 작업에도 불구하고 성능을 제공하여 상황에 이상적입니다. 철저한 권위에 의존하지 않고 개인을 식별해야 하는 곳 목록.