[2022-11-03] 오늘의 자연어처리

TOE: A Grid-Tagging Discontinuous NER Model Enhanced by Embedding Tag/Word Relations and More Fine-Grained Tags

 

So far, discontinuous named entity recognition (NER) has received increasing research attention and many related methods have surged such as hypergraph-based methods, span-based methods, and sequence-to-sequence (Seq2Seq) methods, etc. However, these methods more or less suffer from some problems such as decoding ambiguity and efficiency, which limit their performance. Recently, grid-tagging methods, which benefit from the flexible design of tagging systems and model architectures, have shown superiority to adapt for various information extraction tasks. In this paper, we follow the line of such methods and propose a competitive grid-tagging model for discontinuous NER. We call our model TOE because we incorporate two kinds of Tag-Oriented Enhancement mechanisms into a state-of-the-art (SOTA) grid-tagging model that casts the NER problem into word-word relationship prediction. First, we design a Tag Representation Embedding Module (TREM) to force our model to consider not only word-word relationships but also word-tag and tag-tag relationships. Concretely, we construct tag representations and embed them into TREM, so that TREM can treat tag and word representations as queries/keys/values and utilize self-attention to model their relationships. On the other hand, motivated by the Next-Neighboring-Word (NNW) and Tail-Head-Word (THW) tags in the SOTA model, we add two new symmetric tags, namely Previous-Neighboring-Word (PNW) and Head-Tail-Word (HTW), to model more fine-grained word-word relationships and alleviate error propagation from tag prediction. In the experiments of three benchmark datasets, namely CADEC, ShARe13 and ShARe14, our TOE model pushes the SOTA results by about 0.83%, 0.05% and 0.66% in F1, demonstrating its effectiveness.

 

지금까지, 불연속적인 명명된 실체 인식(NER)은 증가하고 있다. 연구 관심과 많은 관련 방법들이 급증했다. 하이퍼그래프 기반 방법, 스팬 기반 방법 및 시퀀스 대 시퀀스 (Seq2Seq) 방법 등 그러나, 이러한 방법들은 다소 일부로부터 고통을 받는다. 모호성과 효율성을 해독하는 것과 같은 문제들, 그것들을 제한한다. 성능. 최근, 유연성의 이점을 누리는 그리드 태그 지정 방법 태깅 시스템 및 모델 아키텍처의 설계, 보다 우수함을 보여주었다. 다양한 정보 추출 작업에 적응합니다. 이 논문에서, 우리는 다음을 따른다. 그러한 방법의 라인 및 경쟁력 있는 그리드 배치 모델을 제안한다. 불연속적 NER 우리는 두 종류의 모델을 통합하기 때문에 TOE라고 부른다. 최첨단(SOTA) 그리드 태깅을 위한 태그 지향 향상 메커니즘 NER 문제를 단어-단어 관계 예측에 캐스팅하는 모델. 첫번째, 우리는 우리의 모델을 강제하기 위해 태그 표현 임베딩 모듈(TREM)을 설계한다. 단어-단어 관계뿐만 아니라 단어-태그와 태그-태그도 고려한다. 관계들. 구체적으로, 우리는 태그 표현을 구성하고 그것들을 내장한다. TREAM, TREAM은 태그 및 단어 표현을 다음과 같이 처리할 수 있습니다. 쿼리/키/값 및 자기 주의력을 활용하여 관계를 모델링합니다. 켜짐 다른 한편으로는, NNW(Next-Neighboring-Word)와 Tail-Head-Word에 의해 동기 부여되었다. SOTA 모델에서 (THW) 태그, 우리는 두 개의 새로운 대칭 태그를 추가합니다. PNW(Previous-Neighboring-Word) 및 HTW(Head-Tail-Word) 모델 추가 세분화된 단어-단어 관계 및 태그에서 오류 전파 완화 예측 세 가지 벤치마크 데이터 세트, 즉 CADEC의 실험에서, ShARe13 및 ShARe14, 우리의 TOE 모델은 SOTA 결과를 약 0.83% 향상시킵니다. F1에서 0.05%와 0.66%로 효과가 입증되었다. 

 

 

Towards Inter-character Relationship-driven Story Generation

 

In this paper, we introduce the task of modeling interpersonal relationships for story generation. For addressing this task, we propose Relationships as Latent Variables for Story Generation, (ReLiSt). ReLiSt generates stories sentence by sentence and has two major components - a relationship selector and a story continuer. The relationship selector specifies a latent variable to pick the relationship to exhibit in the next sentence and the story continuer generates the next sentence while expressing the selected relationship in a coherent way. Our automatic and human evaluations demonstrate that ReLiSt is able to generate stories with relationships that are more faithful to desired relationships while maintaining the content quality. The relationship assignments to sentences during inference bring interpretability to ReLiSt.

 

본 논문에서, 우리는 대인관계를 모델링하는 과제를 소개한다. 스토리 생성용. 이 과제를 해결하기 위해 다음과 같은 관계를 제안한다. 스토리 생성을 위한 잠재 변수, (ReList. ReLiSt가 이야기를 생성합니다. 문장 한 문장 그리고 두 개의 주요 구성 요소 - 관계 선택기 그리고 이야기의 연속자 관계 선택기는 다음과 같은 잠재적 변수를 지정합니다. 다음 문장과 이야기 속편에 나타낼 관계를 고르다. 선택한 관계를 표현하는 동안 다음 문장을 생성합니다. 조리 있는 방법 우리의 자동 및 인간 평가는 ReLiSt가 원하는 것에 더 충실한 관계를 가지고 이야기를 만들어 낼 수 있다. 콘텐츠 품질을 유지하면서 관계를 유지할 수 있습니다. 그 관계 추론 중 문장에 대한 할당은 ReLiSt에 해석 가능성을 가져온다. 

 

 

Why is Winoground Hard? Investigating Failures in Visuolinguistic Compositionality

 

Recent visuolinguistic pre-trained models show promising progress on various end tasks such as image retrieval and video captioning. Yet, they fail miserably on the recently proposed Winoground dataset, which challenges models to match paired images and English captions, with items constructed to overlap lexically but differ in meaning (e.g., "there is a mug in some grass" vs. "there is some grass in a mug"). By annotating the dataset using new fine-grained tags, we show that solving the Winoground task requires not just compositional language understanding, but a host of other abilities like commonsense reasoning or locating small, out-of-focus objects in low-resolution images. In this paper, we identify the dataset's main challenges through a suite of experiments on related tasks (probing task, image retrieval task), data augmentation, and manual inspection of the dataset. Our analysis suggests that a main challenge in visuolinguistic models may lie in fusing visual and textual representations, rather than in compositional language understanding. We release our annotation and code at this https URL .

 

최근의 시각 언어 사전 훈련 모델은 다양한 분야에서 유망한 진전을 보여준다. 이미지 검색 및 비디오 캡션과 같은 작업을 종료합니다. 하지만, 그들은 실패한다. 모델에 도전하는 최근 제안된 Winoground 데이터 세트에서 비참하게. 겹치도록 구성된 항목과 쌍체 이미지와 영어 캡션을 일치시키기 위해 어휘적으로는 다르지만 의미는 다르다(예: "어떤 풀에는 머그잔이 있다" vs. "머그잔에 잔디가 좀 있다."). new를 사용하여 데이터 세트에 주석을 달기 세분화된 태그, 우리는 Winoground 작업을 해결하는 것이 단지 필요하지 않다는 것을 보여준다. 구성적인 언어 이해, 그러나 많은 다른 능력들. 상식적인 추론 또는 저해상도에서의 소형의 아웃소싱 객체 위치 확인 이미지. 이 논문에서, 우리는 데이터 세트의 주요 과제를 다음과 같이 확인한다. 관련 작업(작업, 이미지 검색 작업)에 대한 일련의 실험, 데이터 확대 및 데이터 세트의 수동 검사. 우리의 분석에 따르면 시각 언어 모델의 주요 과제는 시각과 시각의 융합에 있을 수 있다. 구성 언어 이해보다는 텍스트 표현. 우리는 주석과 코드를 공개한다. 이 https URL.