[2022-10-07] 오늘의 자연어처리

COMPS: Conceptual Minimal Pair Sentences for testing Property Knowledge and Inheritance in Pre-trained Language Models

 

A characteristic feature of human semantic memory is its ability to not only store and retrieve the properties of concepts observed through experience, but to also facilitate the inheritance of properties (can breathe) from superordinate concepts (animal) to their subordinates (dog) -- i.e. demonstrate property inheritance. In this paper, we present COMPS, a collection of minimal pair sentences that jointly tests pre-trained language models (PLMs) on their ability to attribute properties to concepts and their ability to demonstrate property inheritance behavior. Analyses of 22 different PLMs on COMPS reveal that they can easily distinguish between concepts on the basis of a property when they are trivially different, but find it relatively difficult when concepts are related on the basis of nuanced knowledge representations. Furthermore, we find that PLMs can demonstrate behavior consistent with property inheritance to a great extent, but fail in the presence of distracting information, which decreases the performance of many models, sometimes even below chance. This lack of robustness in demonstrating simple reasoning raises important questions about PLMs' capacity to make correct inferences even when they appear to possess the prerequisite knowledge.

 

인간 의미 기억의 특징적인 특징은 그것뿐만 아니라 경험을 통해 관찰된 개념의 속성을 저장하고 검색한다. 또한 (숨쉴 수 있는) 재산을 상속하는 것을 용이하게 한다. 부하(개)에 대한 상위 개념(개) -- 즉, 시연합니다. 재산 상속 이 논문에서, 우리는 최소의 집합인 COMPS를 제시한다. 사전 훈련된 언어 모델(PLM)을 공동으로 테스트하는 문장을 쌍으로 구성하다. 특성을 개념에 귀속시키는 능력과 입증하는 능력 속성 상속 동작. COMPS에 대한 22가지 PLM 분석 결과 발표 그들은 속성을 기반으로 개념을 쉽게 구별할 수 있다. 그들이 하찮게 다를 때, 그러나 상대적으로 어려울 때. 개념은 미묘한 지식 표현을 기반으로 관련된다. 게다가, 우리는 PLM이 다음과 일치하는 행동을 보여줄 수 있다는 것을 발견했다. 재산 상속은 상당 부분이지만, 산만함이 있는 상태에서는 실패한다. 많은 모델의 성능을 떨어뜨리는 정보, 때로는 심지어 가망이 없는 간단한 추론을 입증하는 데 있어 이러한 강건성의 부족은 증가시킨다. 다음 경우에도 PLM이 정확한 추론을 할 수 있는 능력에 대한 중요한 질문 그들은 필요한 지식을 가지고 있는 것 같다. 

 

 

COMPS: Conceptual Minimal Pair Sentences for testing Property Knowledge and Inheritance in Pre-trained Language Models

 

A characteristic feature of human semantic memory is its ability to not only store and retrieve the properties of concepts observed through experience, but to also facilitate the inheritance of properties (can breathe) from superordinate concepts (animal) to their subordinates (dog) -- i.e. demonstrate property inheritance. In this paper, we present COMPS, a collection of minimal pair sentences that jointly tests pre-trained language models (PLMs) on their ability to attribute properties to concepts and their ability to demonstrate property inheritance behavior. Analyses of 22 different PLMs on COMPS reveal that they can easily distinguish between concepts on the basis of a property when they are trivially different, but find it relatively difficult when concepts are related on the basis of nuanced knowledge representations. Furthermore, we find that PLMs can demonstrate behavior consistent with property inheritance to a great extent, but fail in the presence of distracting information, which decreases the performance of many models, sometimes even below chance. This lack of robustness in demonstrating simple reasoning raises important questions about PLMs' capacity to make correct inferences even when they appear to possess the prerequisite knowledge.

 

인간 의미 기억의 특징적인 특징은 그것뿐만 아니라 경험을 통해 관찰된 개념의 속성을 저장하고 검색한다. 또한 (숨쉴 수 있는) 재산을 상속하는 것을 용이하게 한다. 부하(개)에 대한 상위 개념(개) -- 즉, 시연합니다. 재산 상속 이 논문에서, 우리는 최소의 집합인 COMPS를 제시한다. 사전 훈련된 언어 모델(PLM)을 공동으로 테스트하는 문장을 쌍으로 구성하다. 특성을 개념에 귀속시키는 능력과 입증하는 능력 속성 상속 동작. COMPS에 대한 22가지 PLM 분석 결과 발표 그들은 속성을 기반으로 개념을 쉽게 구별할 수 있다. 그들이 하찮게 다를 때, 그러나 상대적으로 어려울 때. 개념은 미묘한 지식 표현을 기반으로 관련된다. 게다가, 우리는 PLM이 다음과 일치하는 행동을 보여줄 수 있다는 것을 발견했다. 재산 상속은 상당 부분이지만, 산만함이 있는 상태에서는 실패한다. 많은 모델의 성능을 떨어뜨리는 정보, 때로는 심지어 가망이 없는 간단한 추론을 입증하는 데 있어 이러한 강건성의 부족은 증가시킨다. 다음 경우에도 PLM이 정확한 추론을 할 수 있는 능력에 대한 중요한 질문 그들은 필요한 지식을 가지고 있는 것 같다. 

 

 

Using Full-Text Content to Characterize and Identify Best Seller Books

 

Artistic pieces can be studied from several perspectives, one example being their reception among readers over time. In the present work, we approach this interesting topic from the standpoint of literary works, particularly assessing the task of predicting whether a book will become a best seller. Dissimilarly from previous approaches, we focused on the full content of books and considered visualization and classification tasks. We employed visualization for the preliminary exploration of the data structure and properties, involving SemAxis and linear discriminant analyses. Then, to obtain quantitative and more objective results, we employed various classifiers. Such approaches were used along with a dataset containing (i) books published from 1895 to 1924 and consecrated as best sellers by the \emph{Publishers Weekly Bestseller Lists} and (ii) literary works published in the same period but not being mentioned in that list. Our comparison of methods revealed that the best-achieved result - combining a bag-of-words representation with a logistic regression classifier - led to an average accuracy of 0.75 both for the leave-one-out and 10-fold cross-validations. Such an outcome suggests that it is unfeasible to predict the success of books with high accuracy using only the full content of the texts. Nevertheless, our findings provide insights into the factors leading to the relative success of a literary work.

 

예술 작품들은 여러 관점에서 연구될 수 있는데, 한 가지 예는 다음과 같다. 시간이 지남에 따라 독자들 사이에서 그들의 환영 현재 작업에서, 우리는 이것에 접근한다. 문학작품의 관점에서 흥미로운 주제, 특히 평가. 책이 베스트셀러가 될지를 예측하는 일 다르게 이전의 접근법으로부터, 우리는 책의 전체 내용에 초점을 맞췄다. 고려된 시각화 및 분류 작업. 우리는 시각화를 사용했다. 다음을 포함하는 데이터 구조 및 속성의 예비 탐사를 위해. SemAxis 및 선형 판별 분석. 그런 다음, 양적 및 더 많은 것을 얻기 위해 객관적인 결과, 우리는 다양한 분류기를 사용했다. 그러한 접근법이 사용되었다. (i) 1895년부터 1924년까지 출판된 책을 포함하는 데이터 세트와 함께. \emph{출판사 주간 베스트셀러 목록}에 의해 베스트셀러로 선정됨 그리고 (ii) 같은 시기에 출판되었지만 에 언급되지 않은 문학 작품. 그 명단 우리가 방법을 비교한 결과, 가장 잘 달성된 결과는 다음과 같았다. 단어 가방 표현을 로지스틱 회귀 분류기와 결합하는 것 - 평균 0.75의 정확도로 유도된 leave-one-out과 10배 모두. 교차 검증 그러한 결과는 예측이 불가능하다는 것을 시사한다. 전체 내용만을 사용한 높은 정확도의 책의 성공. 그럼에도 불구하고, 우리의 발견은 다음과 같은 요소들에 대한 통찰력을 제공한다. 문학 작품의 상대적 성공