[2023-09-27] 오늘의 자연어처리

PRiSM: Enhancing Low-Resource Document-Level Relation Extraction with Relation-Aware Score Calibration

 

Abstract:Document-level relation extraction (DocRE) aims to extract relations of all entity pairs in a document. A key challenge in DocRE is the cost of annotating such data which requires intensive human effort. Thus, we investigate the case of DocRE in a low-resource setting, and we find that existing models trained on low data overestimate the NA ("no relation") label, causing limited performance. In this work, we approach the problem from a calibration perspective and propose PRiSM, which learns to adapt logits based on relation semantic information. We evaluate our method on three DocRE datasets and demonstrate that integrating existing models with PRiSM improves performance by as much as 26.38 F1 score, while the calibration error drops as much as 36 times when trained with about 3% of data. The code is publicly available at this https URL.

 

초록:문서 수준 관계 추출(DocRE)은 문서의 모든 개체 쌍의 관계를 추출하는 것을 목표로 한다. DocRE의 핵심 과제는 집중적인 인간의 노력이 필요한 그러한 데이터에 주석을 다는 비용이다. 따라서 낮은 리소스 환경에서 DocRE의 사례를 조사하고, 낮은 데이터에 대해 훈련된 기존 모델이 NA("관계 없음") 레이블을 과대평가하여 제한된 성능을 유발한다는 것을 발견했다. 본 연구에서는 교정 관점에서 문제에 접근하고 관계 시맨틱 정보를 기반으로 로짓을 적응하는 학습을 하는 PRiSM을 제안한다. 우리는 3개의 DocRE 데이터 세트에 대한 우리의 방법을 평가하고 기존 모델을 PRiSM과 통합하면 성능이 최대 26.38 F1 점수 향상되는 반면 약 3%의 데이터로 교육했을 때 교정 오류는 최대 36배 감소한다는 것을 입증한다. 코드는 이 https URL에서 공개적으로 사용할 수 있습니다. 

 

 

Physics of Language Models: Part 3.1, Knowledge Storage and Extraction

 

Abstract:Large language models can store extensive world knowledge, often extractable through question-answering (e.g., "What is Abraham Lincoln's birthday?"). However, it's unclear whether the model answers questions based on exposure to exact/similar questions during training, or if it genuinely extracts knowledge from the source (e.g., Wikipedia biographies). In this paper, we conduct an in-depth study of this problem using a controlled set of semi-synthetic biography data. We uncover a relationship between the model's knowledge extraction ability and different diversity measures of the training data. We conduct (nearly) linear probing, revealing a strong correlation between this relationship and whether the model (nearly) linearly encodes the knowledge attributes at the hidden embedding of the entity names, or across the embeddings of other tokens in the training text.

 

초록:대형 언어 모델은 광범위한 세계 지식을 저장할 수 있으며, 종종 질문-응답(예: "에이브러햄 링컨의 생일은?")을 통해 추출할 수 있다. 그러나 모델이 훈련 중에 정확한/유사한 질문에 대한 노출을 기반으로 질문에 대답하는지, 아니면 정말로 출처(예: 위키피디아 전기)에서 지식을 추출하는지는 불분명하다. 본 논문에서는 통제된 반합성 전기 데이터 집합을 사용하여 이 문제에 대한 심층적인 연구를 수행한다. 우리는 모델의 지식 추출 능력과 훈련 데이터의 다양성 측정 간의 관계를 알아낸다. 우리는 (거의) 선형 탐색을 수행하여 이 관계와 모델이 (거의) 엔티티 이름의 숨겨진 임베딩에서 지식 속성을 선형으로 인코딩하는지 또는 훈련 텍스트의 다른 토큰 임베딩 전반에 걸쳐 선형으로 인코딩하는지 여부 사이의 강한 상관 관계를 밝혀낸다. 

 

 

PRiSM: Enhancing Low-Resource Document-Level Relation Extraction with Relation-Aware Score Calibration

 

Abstract:Document-level relation extraction (DocRE) aims to extract relations of all entity pairs in a document. A key challenge in DocRE is the cost of annotating such data which requires intensive human effort. Thus, we investigate the case of DocRE in a low-resource setting, and we find that existing models trained on low data overestimate the NA ("no relation") label, causing limited performance. In this work, we approach the problem from a calibration perspective and propose PRiSM, which learns to adapt logits based on relation semantic information. We evaluate our method on three DocRE datasets and demonstrate that integrating existing models with PRiSM improves performance by as much as 26.38 F1 score, while the calibration error drops as much as 36 times when trained with about 3% of data. The code is publicly available at this https URL.

 

초록:문서 수준 관계 추출(DocRE)은 문서의 모든 개체 쌍의 관계를 추출하는 것을 목표로 한다. DocRE의 핵심 과제는 집중적인 인간의 노력이 필요한 그러한 데이터에 주석을 다는 비용이다. 따라서 낮은 리소스 환경에서 DocRE의 사례를 조사하고, 낮은 데이터에 대해 훈련된 기존 모델이 NA("관계 없음") 레이블을 과대평가하여 제한된 성능을 유발한다는 것을 발견했다. 본 연구에서는 교정 관점에서 문제에 접근하고 관계 시맨틱 정보를 기반으로 로짓을 적응하는 학습을 하는 PRiSM을 제안한다. 우리는 3개의 DocRE 데이터 세트에 대한 우리의 방법을 평가하고 기존 모델을 PRiSM과 통합하면 성능이 최대 26.38 F1 점수 향상되는 반면 약 3%의 데이터로 교육했을 때 교정 오류는 최대 36배 감소한다는 것을 입증한다. 코드는 이 https URL에서 공개적으로 사용할 수 있습니다.