[2022-10-04] 오늘의 자연어처리

Language-Family Adapters for Multilingual Neural Machine Translation

 

Massively multilingual models pretrained on abundant corpora with self-supervision achieve state-of-the-art results in a wide range of natural language processing tasks. In machine translation, multilingual pretrained models are often fine-tuned on parallel data from one or multiple language pairs. Multilingual fine-tuning improves performance on medium- and low-resource languages but requires modifying the entire model and can be prohibitively expensive. Training a new set of adapters on each language pair or training a single set of adapters on all language pairs while keeping the pretrained model's parameters frozen has been proposed as a parameter-efficient alternative. However, the former do not permit any sharing between languages, while the latter share parameters for all languages and have to deal with negative interference. In this paper, we propose training language-family adapters on top of a pretrained multilingual model to facilitate cross-lingual transfer. Our model consistently outperforms other adapter-based approaches. We also demonstrate that language-family adapters provide an effective method to translate to languages unseen during pretraining.

 

풍부한 말뭉치에서 사전 교육을 받은 대규모 다국어 모델 자기 감독이 광범위한 자연적 범위에서 최첨단 결과를 달성하다. 언어 처리 작업 기계 번역에서, 다국어 사전 교육 모델은 종종 하나 또는 여러 언어의 병렬 데이터에 대해 미세 조정된다. 쌍. 다국어 미세 조정을 통해 중간 및 중간 수준의 성능을 향상시킵니다. 저자원 언어이지만 전체 모델을 수정해야 하며 다음을 수행할 수 있습니다. 엄청나게 비싼 각 언어 쌍에서 새 어댑터 세트 교육 또는 모든 언어 쌍에 대해 단일 어댑터 세트를 교육하는 동안 사전 훈련된 모델의 매개 변수가 고정됨은 매개 변수 효율적인 것으로 제안되었습니다. 대안. 그러나, 전자는 언어간의 어떠한 공유도 허용하지 않는다, 후자는 모든 언어에 대한 매개 변수를 공유하며 처리해야 한다. 음의 간섭 본 논문에서, 우리는 언어-가족 교육을 제안한다. 사전 훈련된 다국어 모델 위에 있는 어댑터. 갈아타다. 우리의 모델은 지속적으로 다른 어댑터 기반 접근 방식을 능가한다. 우리가 또한 언어 패밀리 어댑터가 효과적인 방법을 제공한다는 것을 입증한다. 사전 교육 중에 보이지 않는 언어로 번역합니다. 

 

 

On The Robustness of Self-Supervised Representations for Spoken Language Modeling

 

Self-supervised representations have been extensively studied for discriminative and generative tasks. However, their robustness capabilities have not been extensively investigated. This work focuses on self-supervised representations for spoken generative language models. First, we empirically demonstrate how current state-of-the-art speech representation models lack robustness to basic signal variations that do not alter the spoken information. To overcome this, we propose an effective and efficient method to learn robust self-supervised speech representation for generative spoken language modeling. The proposed approach is based on applying a set of signal transformations to the speech signal and optimizing the model using an iterative pseudo-labeling scheme. Our method significantly improves over the evaluated baselines when considering encoding metrics. We additionally evaluate our method on the speech-to-speech translation task. We consider Spanish-English and French-English conversions and empirically demonstrate the benefits of following the proposed approach.

 

자가 지도 표현은 다음을 위해 광범위하게 연구되어 왔다. 차별적이고 생성적인 작업 그러나, 그들의 견고함은 광범위하게 조사되지 않았습니다. 이 작업은 자체 감독에 초점을 맞춥니다. 음성 생성 언어 모델에 대한 표현 첫째, 우리는 경험적으로 현재의 최첨단 음성 표현 모델이 얼마나 부족한지 보여준다. 음성 정보를 변경하지 않는 기본 신호 변화에 대한 견고성. 이를 극복하기 위해, 우리는 강건함을 배울 수 있는 효과적이고 효율적인 방법을 제안한다. 생성적 음성 언어 모델링을 위한 자체 지도 음성 표현. 제안된 접근 방식은 신호 변환 세트를 에 적용하는 것에 기초한다. 음성 신호 및 반복 의사 신호를 사용하여 모델 최적화 우리의 방법은 다음과 같은 경우 평가된 기준선에 비해 크게 개선된다. 인코딩 메트릭을 고려합니다. 우리는 추가로 우리의 방법을 평가한다. 음성 대 음성 번역 작업 우리는 스페인어-영어를 고려합니다. 프랑스어-영어 변환 및 경험적으로 이점을 입증합니다. 제안된 접근법에 따라. 

 

 

Language-Family Adapters for Multilingual Neural Machine Translation

 

Massively multilingual models pretrained on abundant corpora with self-supervision achieve state-of-the-art results in a wide range of natural language processing tasks. In machine translation, multilingual pretrained models are often fine-tuned on parallel data from one or multiple language pairs. Multilingual fine-tuning improves performance on medium- and low-resource languages but requires modifying the entire model and can be prohibitively expensive. Training a new set of adapters on each language pair or training a single set of adapters on all language pairs while keeping the pretrained model's parameters frozen has been proposed as a parameter-efficient alternative. However, the former do not permit any sharing between languages, while the latter share parameters for all languages and have to deal with negative interference. In this paper, we propose training language-family adapters on top of a pretrained multilingual model to facilitate cross-lingual transfer. Our model consistently outperforms other adapter-based approaches. We also demonstrate that language-family adapters provide an effective method to translate to languages unseen during pretraining.

 

풍부한 말뭉치에서 사전 교육을 받은 대규모 다국어 모델 자기 감독이 광범위한 자연적 범위에서 최첨단 결과를 달성하다. 언어 처리 작업 기계 번역에서, 다국어 사전 교육 모델은 종종 하나 또는 여러 언어의 병렬 데이터에 대해 미세 조정된다. 쌍. 다국어 미세 조정을 통해 중간 및 중간 수준의 성능을 향상시킵니다. 저자원 언어이지만 전체 모델을 수정해야 하며 다음을 수행할 수 있습니다. 엄청나게 비싼 각 언어 쌍에서 새 어댑터 세트 교육 또는 모든 언어 쌍에 대해 단일 어댑터 세트를 교육하는 동안 사전 훈련된 모델의 매개 변수가 고정됨은 매개 변수 효율적인 것으로 제안되었습니다. 대안. 그러나, 전자는 언어간의 어떠한 공유도 허용하지 않는다, 후자는 모든 언어에 대한 매개 변수를 공유하며 처리해야 한다. 음의 간섭 본 논문에서, 우리는 언어-가족 교육을 제안한다. 사전 훈련된 다국어 모델 위에 있는 어댑터. 갈아타다. 우리의 모델은 지속적으로 다른 어댑터 기반 접근 방식을 능가한다. 우리가 또한 언어 패밀리 어댑터가 효과적인 방법을 제공한다는 것을 입증한다. 사전 교육 중에 보이지 않는 언어로 번역합니다.