[2022-09-01] 오늘의 자연어처리

Efficient and Interpretable Neural Models for Entity Tracking

 

What would it take for a natural language model to understand a novel, such as The Lord of the Rings? Among other things, such a model must be able to: (a) identify and record new characters (entities) and their attributes as they are introduced in the text, and (b) identify subsequent references to the characters previously introduced and update their attributes. This problem of entity tracking is essential for language understanding, and thus, useful for a wide array of downstream applications in NLP such as question-answering, summarization. In this thesis, we focus on two key problems in relation to facilitating the use of entity tracking models: (i) scaling entity tracking models to long documents, such as a novel, and (ii) integrating entity tracking into language models. Applying language technologies to long documents has garnered interest recently, but computational constraints are a significant bottleneck in scaling up current methods. In this thesis, we argue that computationally efficient entity tracking models can be developed by representing entities with rich, fixed-dimensional vector representations derived from pretrained language models, and by exploiting the ephemeral nature of entities. We also argue for the integration of entity tracking into language models as it will allow for: (i) wider application given the current ubiquitous use of pretrained language models in NLP applications, and (ii) easier adoption since it is much easier to swap in a new pretrained language model than to integrate a separate standalone entity tracking model.

 

자연어 모델이 소설을 이해하기 위해서는 무엇이 필요할까? 반지의 제왕으로서? 무엇보다도, 그러한 모델은 다음을 할 수 있어야 한다: (a) 새로운 문자(어떤 문자)와 그 속성을 있는 그대로 식별하고 기록한다. 본문에 소개되고, (b) 다음에 대한 참조를 식별한다. 이전에 소개된 문자를 사용하여 속성을 업데이트합니다. 이 문제는 엔티티 추적은 언어 이해에 필수적이며, 따라서, a에 유용하다. 질의응답과 같은 NLP의 광범위한 다운스트림 애플리케이션 요약 이 논문에서, 우리는 촉진과 관련하여 두 가지 핵심 문제에 초점을 맞춘다. 엔티티 추적 모델 사용: (i) 엔티티 추적 모델을 길이로 확장 소설과 같은 문서 및 (ii) 엔티티 추적을 언어로 통합합니다. 모델. 긴 문서에 언어 기술을 적용하는 것은 관심을 끌었다. 최근, 그러나 컴퓨팅 제약은 확장에 있어 중요한 병목 현상입니다. 최신의 방법 이 논문에서, 우리는 계산적으로 효율적이라고 주장한다. 실체 추적 모델은 풍부한 실체를 표현함으로써 개발될 수 있다. 사전 훈련된 언어에서 파생된 고정 차원 벡터 표현 모델 및 엔티티의 일시적 특성을 활용합니다. 우리는 또한 을 주장한다. 엔티티 추적을 언어 모델에 통합하면 다음과 같은 이점이 있습니다. (i) 사전 훈련된 언어의 현재 유비쿼터스 사용을 고려할 때 더 광범위한 적용. NLP 애플리케이션의 모델, 그리고 (ii) 훨씬 더 쉬우므로 채택이 더 쉽다. 별도의 독립 실행형 통합보다 사전 훈련된 새로운 언어 모델을 스왑합니다. 엔티티 추적 모델. 

 

 

Expressions Causing Differences in Emotion Recognition in Social Networking Service Documents

 

It is often difficult to correctly infer a writer's emotion from text exchanged online, and differences in recognition between writers and readers can be problematic. In this paper, we propose a new framework for detecting sentences that create differences in emotion recognition between the writer and the reader and for detecting the kinds of expressions that cause such differences. The proposed framework consists of a bidirectional encoder representations from transformers (BERT)-based detector that detects sentences causing differences in emotion recognition and an analysis that acquires expressions that characteristically appear in such sentences. The detector, based on a Japanese SNS-document dataset with emotion labels annotated by both the writer and three readers of the social networking service (SNS) documents, detected "hidden-anger sentences" with AUC = 0.772; these sentences gave rise to differences in the recognition of anger. Because SNS documents contain many sentences whose meaning is extremely difficult to interpret, by analyzing the sentences detected by this detector, we obtained several expressions that appear characteristically in hidden-anger sentences. The detected sentences and expressions do not convey anger explicitly, and it is difficult to infer the writer's anger, but if the implicit anger is pointed out, it becomes possible to guess why the writer is angry. Put into practical use, this framework would likely have the ability to mitigate problems based on misunderstandings.

 

텍스트에서 작가의 감정을 정확하게 추론하는 것은 종종 어렵다. 온라인으로 교환하고, 작가와 독자 사이의 인식의 차이. 문제가 될 수 있습니다. 본 논문에서, 우리는 검출을 위한 새로운 프레임워크를 제안한다. 작가와 작가 사이에 감정 인식의 차이를 만드는 문장들 독자와 그것을 유발하는 표현의 종류를 감지하기 위한. 차이점. 제안된 프레임워크는 양방향 인코더로 구성된다. 문장을 감지하는 변압기(BERT) 기반 검출기의 표현 감정 인식 및 분석에서 차이를 유발합니다. 이러한 문장에서 특징적으로 나타나는 표현들 탐지기, 일본 SNS 문서 데이터 세트에 기반하여 두 사람 모두 주석을 달았다. 사회관계망서비스(SNS) 문서 작성자와 독자 3명, AUC = 0.772로 "숨겨진 분노 문장"을 감지했다. 이러한 문장은 발생시켰다. 분노에 대한 인식의 차이까지. 왜냐하면 SNS 문서는 많은 내용을 담고 있기 때문이다. 해석하기 매우 어려운 의미를 가진 문장들, 분석함으로써. 이 탐지기에 의해 감지된 문장, 우리는 다음과 같은 몇 가지 표현을 얻었다. 특징적으로 화풀이 문장에 나타나다 검출된 문장과 표현은 분노를 명시적으로 전달하지 않으며, 추론하기 어렵다. 작가의 분노, 하지만 암묵적인 분노가 지적되면 가능해진다. 작가가 왜 화가 났는지 알아맞혀보세요. 실제로 사용한다면, 이 프레임워크는 오해를 바탕으로 문제를 완화할 수 있는 능력이 있을 수 있습니다. 

 

 

Debiasing Word Embeddings with Nonlinear Geometry

 

Debiasing word embeddings has been largely limited to individual and independent social categories. However, real-world corpora typically present multiple social categories that possibly correlate or intersect with each other. For instance, "hair weaves" is stereotypically associated with African American females, but neither African American nor females alone. Therefore, this work studies biases associated with multiple social categories: joint biases induced by the union of different categories and intersectional biases that do not overlap with the biases of the constituent categories. We first empirically observe that individual biases intersect non-trivially (i.e., over a one-dimensional subspace). Drawing from the intersectional theory in social science and the linguistic theory, we then construct an intersectional subspace to debias for multiple social categories using the nonlinear geometry of individual biases. Empirical evaluations corroborate the efficacy of our approach. Data and implementation code can be downloaded at this https URL.

 

단어 임베딩의 편향을 줄이는 것은 주로 개인과 개인으로 제한되었다. 독립된 사회 범주 그러나 실제 말뭉치는 일반적으로 존재한다. 서로 연관되거나 교차할 수 있는 여러 사회적 범주 기타. 예를 들어, "헤어웨이브"는 전형적인 아프리카인과 관련이 있다. 미국 여성들, 그러나 아프리카계 미국인이나 여성들만이 아니다. 그러므로, 이 연구는 여러 사회적 범주와 관련된 편견을 연구한다: 공동. 다른 범주의 결합과 교차 편향에 의해 유도된 편향 구성 범주의 편견과 겹치지 않습니다. 우리 먼저 개별 편향이 사소하지 않게 교차한다는 것을 경험적으로 관찰한다(즉, 에 대한). 1차원 부분 공간). 사회에서의 교차이론으로부터 도출. 과학과 언어 이론, 그리고 나서 우리는 교차 부분 공간을 구성한다. 비선형 기하학을 사용하여 여러 사회적 범주에 대한 편향을 제거하다 개인의 편견 경험적 평가는 우리의 효능을 확증한다. 접근. 데이터 및 구현 코드는 다음 위치에서 다운로드할 수 있습니다. 이 https URL.