[2022-09-12] 오늘의 자연어처리

IDIAPers @ Causal News Corpus 2022: Extracting Cause-Effect-Signal Triplets via Pre-trained Autoregressive Language Model

 

In this paper, we describe our shared task submissions for Subtask 2 in CASE-2022, Event Causality Identification with Casual News Corpus. The challenge focused on the automatic detection of all cause-effect-signal spans present in the sentence from news-media. We detect cause-effect-signal spans in a sentence using T5 -- a pre-trained autoregressive language model. We iteratively identify all cause-effect-signal span triplets, always conditioning the prediction of the next triplet on the previously predicted ones. To predict the triplet itself, we consider different causal relationships such as cause$\rightarrow$effect$\rightarrow$signal. Each triplet component is generated via a language model conditioned on the sentence, the previous parts of the current triplet, and previously predicted triplets. Despite training on an extremely small dataset of 160 samples, our approach achieved competitive performance, being placed second in the competition. Furthermore, we show that assuming either cause$\rightarrow$effect or effect$\rightarrow$cause order achieves similar results. Our code and model predictions will be released online.

 

본 논문에서는 의 하위 작업 2에 대한 공유 작업 제출에 대해 설명합니다. CASE-2022, 캐주얼 뉴스 코퍼스를 사용한 이벤트 인과관계 식별. 그 모든 원인-효과 신호 범위의 자동 검출에 초점을 맞춘 과제 뉴스 매체의 문장을 발표하다 우리는 원인-효과-신호 범위를 감지한다. 사전 훈련된 자기 회귀 언어 모델인 T5를 사용한 문장. 우리가 모든 원인-효과-신호 스팬 삼중항(항상 조건화)을 반복적으로 식별한다. 이전에 예측한 것에 대한 다음 삼중항 예측 예측하기 삼중항 자체, 우리는 다음과 같은 다른 인과 관계를 고려한다. "오른쪽 화살표$ 효과" "오른쪽 화살표$ 신호를 발생시킵니다. 각 트리플렛 구성 요소는 문장에 조건화된 언어 모델을 통해 생성됨, 이전 부분들 현재 삼중항, 그리고 이전에 예측된 삼중항. 에 대한 교육에도 불구하고 160개의 샘플로 구성된 매우 작은 데이터 세트, 우리의 접근 방식은 경쟁력을 달성했습니다. 성적, 대회에서 2위를 차지했다. 게다가, 우리는 그것을 보여준다. 원인 "오른쪽 화살표$ 효과" 또는 효과 "오른쪽 화살표$ 원인 순서"로 가정한다. 유사한 결과를 달성합니다. 우리의 코드와 모델 예측이 발표될 것이다. 온라인. 

 

 

Geolocation of Cultural Heritage using Multi-View Knowledge Graph Embedding

 

Knowledge Graphs (KGs) have proven to be a reliable way of structuring data. They can provide a rich source of contextual information about cultural heritage collections. However, cultural heritage KGs are far from being complete. They are often missing important attributes such as geographical location, especially for sculptures and mobile or indoor entities such as paintings. In this paper, we first present a framework for ingesting knowledge about tangible cultural heritage entities from various data sources and their connected multi-hop knowledge into a geolocalized KG. Secondly, we propose a multi-view learning model for estimating the relative distance between a given pair of cultural heritage entities, based on the geographical as well as the knowledge connections of the entities.

 

지식 그래프(KG)는 데이터를 구조화하는 신뢰할 수 있는 방법으로 입증되었다. 그들은 문화에 대한 풍부한 맥락적 정보의 원천을 제공할 수 있다. 유산 수집 그러나 문화유산인 KGs는 존재와는 거리가 멀다. 완성하다. 그들은 종종 지리적 특성과 같은 중요한 속성을 놓친다. 위치, 특히 조형물, 이동 또는 실내 실체(예: 그림 이 논문에서, 우리는 먼저 지식을 섭취하기 위한 프레임워크를 제시한다. 다양한 데이터 소스의 유형 문화 유산 실체와 그것들에 대해. 멀티홉 지식을 지역화된 KG로 연결했습니다. 둘째로, 우리는 다음을 제안한다. 주어진 간의 상대 거리를 추정하기 위한 다중 뷰 학습 모델 지리적인 것뿐만 아니라 문화 유산 실체들의 쌍. 엔티티의 지식 연결. 

 

 

Does Attention Mechanism Possess the Feature of Human Reading? A Perspective of Sentiment Classification Task

 

[Purpose] To understand the meaning of a sentence, humans can focus on important words in the sentence, which reflects our eyes staying on each word in different gaze time or times. Thus, some studies utilize eye-tracking values to optimize the attention mechanism in deep learning models. But these studies lack to explain the rationality of this approach. Whether the attention mechanism possesses this feature of human reading needs to be explored. [Design/methodology/approach] We conducted experiments on a sentiment classification task. Firstly, we obtained eye-tracking values from two open-source eye-tracking corpora to describe the feature of human reading. Then, the machine attention values of each sentence were learned from a sentiment classification model. Finally, a comparison was conducted to analyze machine attention values and eye-tracking values. [Findings] Through experiments, we found the attention mechanism can focus on important words, such as adjectives, adverbs, and sentiment words, which are valuable for judging the sentiment of sentences on the sentiment classification task. It possesses the feature of human reading, focusing on important words in sentences when reading. Due to the insufficient learning of the attention mechanism, some words are wrongly focused. The eye-tracking values can help the attention mechanism correct this error and improve the model performance. [Originality/value] Our research not only provides a reasonable explanation for the study of using eye-tracking values to optimize the attention mechanism, but also provides new inspiration for the interpretability of attention mechanism.

 

[목적] 문장의 의미를 이해하기 위해 인간은 문장의 중요한 단어들, 그것은 각각의 단어들에 우리의 눈이 머무는 것을 반영한다. 다른 시선의 시간이나 시간에. 따라서, 일부 연구는 시선 추적 값을 이용한다. 딥 러닝 모델에서 주의 메커니즘을 최적화합니다. 하지만 이 연구들은 이 접근법의 합리성을 설명할 수 없다. 주의 여부 메커니즘은 인간 판독의 이러한 특징을 탐구할 필요가 있다는 것을 가지고 있다. [디자인/방법론/접근법] 감성에 대한 실험을 진행하였습니다. 분류 작업 첫째, 우리는 두 가지로부터 시선 추적 값을 얻었다. 인간 독서의 특징을 설명하기 위한 오픈 소스 눈 감지 말뭉치. 그리고 나서, 각 문장의 기계 주의 값은 a로부터 학습되었다. 감정 분류 모형 마지막으로, 비교를 수행하여 분석하였다. 기계 주의 값과 눈 감지 값. [소견] 관통 실험, 우리는 주의 메커니즘이 중요한 단어에 집중할 수 있다는 것을 발견했다. 예를 들어 형용사, 부사, 감정어와 같은 것은 에 가치가 있다. 감정 분류 작업에 대한 문장의 감정 판단 잇 중요한 단어에 초점을 맞춘 인간 독서의 특징을 가지고 있다. 읽을 때의 문장 주의 학습이 불충분하기 때문에 메커니즘, 어떤 단어들은 잘못 초점을 맞추고 있다. 시선 추적 값은 다음을 도울 수 있습니다. 주의 메커니즘은 이 오류를 수정하고 모델 성능을 개선합니다. [창의성/가치] 우리의 연구는 단지 합리적인 설명을 제공할 뿐만 아니라 주의 메커니즘을 최적화하기 위해 눈을 감지하는 값을 사용하는 연구, 하지만 또한 주의 메커니즘의 해석 가능성에 대한 새로운 영감을 제공합니다.