[2023-05-21] 오늘의 자연어처리

Generalized Multiple Intent Conditioned Slot Filling

 

Natural language understanding includes the tasks of intent detection (identifying a user's objectives) and slot filling (extracting the entities relevant to those objectives). Prior slot filling methods assume that each intent type cannot occur more than once within a message, however this is often not a valid assumption for real-world settings. In this work, we generalize slot filling by removing the constraint of unique intents in a message. We cast this as a JSON generation task and approach it using a language model. We create a pre-training dataset by combining DBpedia and existing slot filling datasets that we convert for JSON generation. We also generate an in-domain dataset using GPT-3. We train T5 models for this task (with and without exemplars in the prompt) and find that both training datasets improve performance, and that the model is able to generalize to intent types not seen during training.

 

자연어 이해는 의도 탐지 작업을 포함한다 (사용자 목표 식별) 및 슬롯 채우기(엔티티 포함) 이러한 목표와 관련이 있음). 이전 슬롯 채우기 방법은 각 슬롯 채우기 방법이 의도 유형은 메시지 내에서 두 번 이상 발생할 수 없지만 종종 발생합니다 실제 설정에 대한 올바른 가정이 아닙니다. 이 작업에서, 우리는 일반화한다 메시지에서 고유한 의도 제약 조건을 제거하여 슬롯 채우기. 우리는 캐스팅 이것을 JSON 생성 작업으로 사용하고 언어 모델을 사용하여 접근합니다. 우리가 DBpedia와 기존 슬롯 채우기를 결합하여 사전 교육 데이터 세트 생성 JSON 생성을 위해 변환하는 데이터 세트. 또한 도메인 내에서 GPT-3을 사용한 데이터 세트. 우리는 이 작업을 위해 T5 모델을 훈련한다 프롬프트의 예시) 및 두 교육 데이터 세트가 모두 개선되었음을 확인한다 성능 및 모델이 보이지 않는 의도 유형으로 일반화할 수 있는지 여부 훈련 중에. 

 

 

Cross-modality Data Augmentation for End-to-End Sign Language Translation

 

End-to-end sign language translation (SLT) aims to convert sign language videos into spoken language texts directly without intermediate representations. It has been a challenging task due to the modality gap between sign videos and texts and the data scarcity of labeled data. To tackle these challenges, we propose a novel Cross-modality Data Augmentation (XmDA) framework to transfer the powerful gloss-to-text translation capabilities to end-to-end sign language translation (i.e. video-to-text) by exploiting pseudo gloss-text pairs from the sign gloss translation model. Specifically, XmDA consists of two key components, namely, cross-modality mix-up and cross-modality knowledge distillation. The former explicitly encourages the alignment between sign video features and gloss embeddings to bridge the modality gap. The latter utilizes the generation knowledge from gloss-to-text teacher models to guide the spoken language text generation. Experimental results on two widely used SLT datasets, i.e., PHOENIX-2014T and CSL-Daily, demonstrate that the proposed XmDA framework significantly and consistently outperforms the baseline models. Extensive analyses confirm our claim that XmDA enhances spoken language text generation by reducing the representation distance between videos and texts, as well as improving the processing of low-frequency words and long sentences.

 

종단 간 수화 번역(SLT)은 수화 변환을 목표로 한다 중간자 없이 직접 음성 언어 텍스트로 비디오 제작 표상. 그것은 사이의 양식 차이 때문에 어려운 작업이었다 서명 비디오 및 텍스트와 레이블이 지정된 데이터의 부족. 이 문제를 해결하려면 과제, 우리는 새로운 교차 모달리티 데이터 증강(XmDA)을 제안한다 강력한 글로스-텍스트 변환 기능을 전송하는 프레임워크 유사성을 이용한 종단 간 수화 번역(즉, 비디오에서 텍스트로) 기호 글로스 변환 모델의 글로스-텍스트 쌍. 구체적으로, XmDA 두 가지 핵심 구성 요소로 구성된다. 즉, 교차 혼합 및 교차 결합 지식 증류. 전자는 명시적으로 장려한다 사인 비디오 기능과 글로스 임베딩 사이의 정렬을 통해 다리를 연결합니다 양식의 차이. 후자는 글로스에서 텍스트로의 세대 지식을 활용한다 교사 모델을 사용하여 음성 언어 텍스트 생성을 안내합니다. 실험적 널리 사용되는 두 개의 SLT 데이터 세트(즉, PHIONIX-2014T 및 CSL-Daily)에 대한 결과, 제안된 XmDA 프레임워크가 유의하고 일관적임을 입증한다 기준 모형을 능가합니다. 광범위한 분석을 통해 XmDA가 표현을 줄임으로써 구어 텍스트 생성을 향상시킨다 비디오와 텍스트 사이의 거리 및 처리 개선 저주파 단어와 긴 문장. 

 

 

Multi-CrossRE A Multi-Lingual Multi-Domain Dataset for Relation Extraction

 

Most research in Relation Extraction (RE) involves the English language, mainly due to the lack of multi-lingual resources. We propose Multi-CrossRE, the broadest multi-lingual dataset for RE, including 26 languages in addition to English, and covering six text domains. Multi-CrossRE is a machine translated version of CrossRE (Bassignana and Plank, 2022), with a sub-portion including more than 200 sentences in seven diverse languages checked by native speakers. We run a baseline model over the 26 new datasets and--as sanity check--over the 26 back-translations to English. Results on the back-translated data are consistent with the ones on the original English CrossRE, indicating high quality of the translation and the resulting dataset.

 

관계 추출(RE)에 대한 대부분의 연구는 영어를 포함한다, 주로 다국어 자원이 부족하기 때문이다. Multi-CrossRE를 제안합니다, RE를 위한 가장 광범위한 다국어 데이터 세트(추가 26개 언어 포함) 영어로, 그리고 6개의 텍스트 도메인을 포함한다. 다중 크로스RE는 기계이다 부분 부분이 포함된 CrossRE의 번역 버전(Bassignana and Plank, 2022) 원어민이 체크한 7개의 다양한 언어로 된 200개 이상의 문장을 포함하여 연사들. 우리는 26개의 새로운 데이터 세트에 대한 기본 모델을 실행하고 제정신이다 체크--영어로 역번역된 26개 이상. 역번역된 결과 데이터는 원본 영어 CrossRE에 있는 데이터와 일치한다 고품질의 번역과 그에 따른 데이터 세트.