[2022-12-26] 오늘의 자연어처리

Esports Data-to-commentary Generation on Large-scale Data-to-text Dataset

 

Esports, a sports competition using video games, has become one of the most important sporting events in recent years. Although the amount of esports data is increasing than ever, only a small fraction of those data accompanies text commentaries for the audience to retrieve and understand the plays. Therefore, in this study, we introduce a task of generating game commentaries from structured data records to address the problem. We first build a large-scale esports data-to-text dataset using structured data and commentaries from a popular esports game, League of Legends. On this dataset, we devise several data preprocessing methods including linearization and data splitting to augment its quality. We then introduce several baseline encoder-decoder models and propose a hierarchical model to generate game commentaries. Considering the characteristics of esports commentaries, we design evaluation metrics including three aspects of the output: correctness, fluency, and strategic depth. Experimental results on our large-scale esports dataset confirmed the advantage of the hierarchical model, and the results revealed several challenges of this novel task.

 

비디오 게임을 이용한 스포츠 대회인 e스포츠는 가장 많은 것들 중 하나가 되었다. 근년의 중요한 스포츠 행사 e스포츠 데이터의 양에도 불구하고 그 어느 때보다 증가하고 있으며, 텍스트를 수반하는 데이터는 극히 일부에 불과합니다. 관객들이 연극을 읽고 이해할 수 있도록 해설. 그러므로, 이 연구에서, 우리는 게임 해설을 생성하는 작업을 소개한다. 문제를 해결하기 위한 구조화된 데이터 레코드. 우리는 먼저 대규모로 건설한다. e스포츠 데이터 투 텍스트 데이터 세트는 구조화된 데이터와 의 주석을 사용한다. 인기있는 e스포츠 게임인 리그 오브 레전드. 이 데이터 세트에서, 우리는 몇 가지를 고안한다. 선형화 및 데이터 분할을 포함한 데이터 전처리 방법 그 질을 높이다 그런 다음 몇 가지 기본 인코더-디코더 모델을 소개한다. 그리고 게임 해설을 생성하기 위한 계층적 모델을 제안한다. 을 고려하면 e스포츠 해설의 특징, 우리는 다음을 포함한 평가 지표를 설계한다. 정확성, 유창성 및 전략적 깊이의 세 가지 측면. 대규모 e스포츠 데이터 세트에 대한 실험 결과는 이점을 확인했다. 계층적 모델의, 그리고 결과는 이것의 몇 가지 도전을 드러냈다. 참신한 일 

 

 

Variational Information Bottleneck for Effective Low-Resource Fine-Tuning

 

While large-scale pretrained language models have obtained impressive results when fine-tuned on a wide variety of tasks, they still often suffer from overfitting in low-resource scenarios. Since such models are general-purpose feature extractors, many of these features are inevitably irrelevant for a given target task. We propose to use Variational Information Bottleneck (VIB) to suppress irrelevant features when fine-tuning on low-resource target tasks, and show that our method successfully reduces overfitting. Moreover, we show that our VIB model finds sentence representations that are more robust to biases in natural language inference datasets, and thereby obtains better generalization to out-of-domain datasets. Evaluation on seven low-resource datasets in different tasks shows that our method significantly improves transfer learning in low-resource scenarios, surpassing prior work. Moreover, it improves generalization on 13 out of 15 out-of-domain natural language inference benchmarks. Our code is publicly available in this https URL.

 

대규모 사전 훈련된 언어 모델은 인상적인 결과를 얻었다. 다양한 작업을 세부적으로 수행할 때, 그들은 여전히 종종 어려움을 겪는다. 리소스가 부족한 시나리오에서 과적합합니다. 그러한 모델들은 범용적이기 때문에 피쳐 추출기, 이러한 피쳐 중 많은 것은 필연적으로 관련이 없습니다. 지정된 대상 작업. VIB(Variational Information Bottleck)를 사용할 것을 제안합니다. 리소스가 적은 대상 작업을 미세 조정할 때 관련 없는 기능을 억제합니다. 그리고 우리의 방법이 과적합을 성공적으로 감소시킨다는 것을 보여준다. 게다가, 우리는 보여준다. 우리의 VIB 모델이 더 강력한 문장 표현을 찾는다. 자연어 추론 데이터 세트의 편향, 그래서 더 나은 것을 얻는다. 도메인 외부 데이터셋으로 일반화합니다. 7개의 저자원에 대한 평가 서로 다른 작업의 데이터 세트는 우리의 방법이 크게 향상되었음을 보여준다. 이전 작업을 능가하는 저자원 시나리오에서 학습을 이전합니다. 게다가. 15개의 도메인 외부 자연어 중 13개에 대한 일반화를 개선한다. 추론 벤치마크 우리의 코드는 다음에서 공개적으로 사용할 수 있다. 이 https URL. 

 

 

iRNN: Integer-only Recurrent Neural Network

 

Recurrent neural networks (RNN) are used in many real-world text and speech applications. They include complex modules such as recurrence, exponential-based activation, gate interaction, unfoldable normalization, bi-directional dependence, and attention. The interaction between these elements prevents running them on integer-only operations without a significant performance drop. Deploying RNNs that include layer normalization and attention on integer-only arithmetic is still an open problem. We present a quantization-aware training method for obtaining a highly accurate integer-only recurrent neural network (iRNN). Our approach supports layer normalization, attention, and an adaptive piecewise linear approximation of activations (PWL), to serve a wide range of RNNs on various applications. The proposed method is proven to work on RNN-based language models and challenging automatic speech recognition, enabling AI applications on the edge. Our iRNN maintains similar performance as its full-precision counterpart, their deployment on smartphones improves the runtime performance by $2\times$, and reduces the model size by $4\times$.

 

반복 신경망(RNN)은 많은 실제 텍스트와 음성에 사용된다. 적용들. 여기에는 재발과 같은 복잡한 모듈이 포함됩니다. 지수 기반 활성화, 게이트 상호 작용, 전개 가능한 정규화, 양방향 의존성, 주의. 이들 사이의 상호작용은 요소는 중요하지 않은 정수만 사용하는 작업에서 해당 요소를 실행하지 못하게 합니다. 성능 저하 계층 표준화 및 주의를 포함하는 RNN 배포 정수만 사용하는 산술은 여전히 미해결 문제이다. 우리는 제시한다 매우 정확한 정수 전용을 얻기 위한 양자화 인식 훈련 방법 순환 신경망(iRNN). 우리의 접근 방식은 계층 정규화를 지원한다. 주의 및 적응형 부분별 선형 근사 활성화(PWL), 다양한 응용 프로그램에서 광범위한 RNN을 제공합니다. 제안된 방법은 RNN 기반 언어 모델과 도전적인 자동 음성에서 작동하는 것으로 입증되었다. 인식, 가장자리에서 AI 애플리케이션을 활성화합니다. 우리의 iRNN은 유사한 것을 유지한다. 완전한 기능을 갖춘 제품으로서의 성능, 스마트폰에 배포. 런타임 성능을 $2\times$ 향상하고 모델 크기를 다음과 같이 줄입니다. $4\times$.