[2022-12-14] 오늘의 자연어처리

Chinese Discourse Annotation Reference Manual

 

This document provides extensive guidelines and examples for Rhetorical Structure Theory (RST) annotation in Mandarin Chinese. The guideline is divided into three sections. We first introduce preprocessing steps to prepare data for RST annotation. Secondly, we discuss syntactic criteria to segment texts into Elementary Discourse Units (EDUs). Lastly, we provide examples to define and distinguish discourse relations in different genres. We hope that this reference manual can facilitate RST annotations in Chinese and accelerate the development of the RST framework across languages.

 

이 문서는 수사학에 대한 광범위한 지침과 예제를 제공합니다. 표준 중국어의 구조 이론(RST) 주석. 가이드라인이 나뉘어져 있다. 세 부분으로 나누어서 먼저 다음에 대한 데이터를 준비하기 위한 전처리 단계를 소개합니다. RST 주석. 둘째로, 우리는 텍스트를 다음과 같이 분할하기 위한 구문 기준에 대해 논의한다. 기본 담화 단위(EDU). 마지막으로, 우리는 정의하기 위한 예를 제공한다. 서로 다른 장르의 담화 관계를 구별하다 우리는 이것을 바란다. 참조 매뉴얼은 중국어로 RST 주석을 촉진하고 가속화할 수 있습니다. 언어 간 RST 프레임워크 개발. 

 

 

Domain Adaptation of Transformer-Based Models using Unlabeled Data for Relevance and Polarity Classification of German Customer Feedback

 

Understanding customer feedback is becoming a necessity for companies to identify problems and improve their products and services. Text classification and sentiment analysis can play a major role in analyzing this data by using a variety of machine and deep learning approaches. In this work, different transformer-based models are utilized to explore how efficient these models are when working with a German customer feedback dataset. In addition, these pre-trained models are further analyzed to determine if adapting them to a specific domain using unlabeled data can yield better results than off-the-shelf pre-trained models. To evaluate the models, two downstream tasks from the GermEval 2017 are considered. The experimental results show that transformer-based models can reach significant improvements compared to a fastText baseline and outperform the published scores and previous models. For the subtask Relevance Classification, the best models achieve a micro-averaged $F1$-Score of 96.1 % on the first test set and 95.9 % on the second one, and a score of 85.1 % and 85.3 % for the subtask Polarity Classification.

 

고객의 피드백을 이해하는 것은 기업들이 다음과 같이 하기 위한 필수 요소가 되고 있다. 문제를 파악하고 제품과 서비스를 개선합니다. 텍스트 분류 그리고 감정 분석은 이 데이터를 분석하는 데 중요한 역할을 할 수 있다. 다양한 기계와 딥 러닝 접근법. 이 작품에서는, 다르다. 변압기 기반 모델은 이러한 모델이 얼마나 효율적인지 탐구하기 위해 사용된다. 독일 고객 피드백 데이터 세트로 작업할 때. 게다가, 이것들은 사전 훈련된 모델을 추가로 분석하여 그것들을 적응시킬지 결정한다. 레이블이 없는 데이터를 사용하는 특정 도메인은 보다 더 나은 결과를 산출할 수 있다. 기성품인 사전 훈련된 모델 모형을 평가하는 두 가지 다운스트림 작업 GermEval 2017을 고려한다. 실험 결과는 다음을 보여준다. 변압기 기반 모델은 a와 비교하여 상당한 개선에 도달할 수 있다. 빠른 텍스트 기준 및 게시된 점수 및 이전 모델보다 성능이 우수합니다. 위해서 하위 작업 관련성 분류, 최상의 모델은 마이크로 평균을 달성합니다. $F1$-첫 번째 테스트 세트에서 96.1%, 두 번째 테스트에서 95.9%의 점수를 받았고, a 85.1% 및 85.3%의 점수가 포함됩니다. 

 

 

Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning

 

Compositional generalization is a basic mechanism in human language learning, which current neural networks struggle with. A recently proposed Disentangled sequence-to-sequence model (Dangle) shows promising generalization capability by learning specialized encodings for each decoding step. We introduce two key modifications to this model which encourage more disentangled representations and improve its compute and memory efficiency, allowing us to tackle compositional generalization in a more realistic setting. Specifically, instead of adaptively re-encoding source keys and values at each time step, we disentangle their representations and only re-encode keys periodically, at some interval. Our new architecture leads to better generalization performance across existing tasks and datasets, and a new machine translation benchmark which we create by detecting naturally occurring compositional patterns in relation to a training set. We show this methodology better emulates real-world requirements than artificial challenges.

 

구성적 일반화는 인간 언어 학습의 기본 메커니즘이다. 현재의 신경망이 어려움을 겪고 있는 것. 최근에 제안된 엉킨 부분 시퀀스 대 시퀀스 모델(Dangle)은 유망한 일반화 기능을 보여준다. 각 디코딩 단계에 대한 특수 인코딩을 학습함으로써. 우리는 두 가지 열쇠를 소개한다. 이 모델에 대한 수정으로 더 많은 혼란스러운 표현들을 장려한다. 컴퓨팅 및 메모리 효율성을 개선하여 문제를 해결할 수 있습니다. 보다 현실적인 환경에서의 구성적 일반화 구체적으로, 대신에. 각 시간 단계에서 소스 키와 값을 적응적으로 다시 정의합니다. 그들의 표현을 분리하고 일부에서는 주기적으로 키를 다시 입력한다. 간격. 새로운 아키텍처를 통해 일반화 성능 향상 기존 작업 및 데이터 세트 전반에 걸쳐, 그리고 새로운 기계 번역 벤치마크 우리는 자연적으로 발생하는 구성 패턴을 감지함으로써 그것을 만든다. 훈련 세트와의 관계. 우리는 이 방법론이 실제 세계를 더 잘 모방한다는 것을 보여준다. 인위적인 도전보다 요구 사항.