[2023-05-12] 오늘의 자연어처리

Context-Aware Document Simplification

 

To date, most work on text simplification has focused on sentence-level inputs. Early attempts at document simplification merely applied these approaches iteratively over the sentences of a document. However, this fails to coherently preserve the discourse structure, leading to suboptimal output quality. Recently, strategies from controllable simplification have been leveraged to achieve state-of-the-art results on document simplification by first generating a document-level plan (a sequence of sentence-level simplification operations) and using this plan to guide sentence-level simplification downstream. However, this is still limited in that the simplification model has no direct access to the local inter-sentence document context, likely having a negative impact on surface realisation. We explore various systems that use document context within the simplification process itself, either by iterating over larger text units or by extending the system architecture to attend over a high-level representation of document context. In doing so, we achieve state-of-the-art performance on the document simplification task, even when not relying on plan-guidance. Further, we investigate the performance and efficiency tradeoffs of system variants and make suggestions of when each should be preferred.

 

현재까지 텍스트 단순화에 대한 대부분의 작업은 문장 수준에 초점을 맞추고 있다 입력. 문서 단순화의 초기 시도는 단지 이것들을 적용했다 문서의 문장에 대해 반복적으로 접근합니다. 그러나, 이것은 실패한다 일관성 있게 담론 구조를 보존하여 차선의 출력으로 이어진다 퀄리티. 최근, 통제 가능한 단순화의 전략은 문서 간소화에 대한 최신 결과를 얻기 위해 활용됩니다 문서 수준 계획(문장 수준의 순서)을 처음 생성합니다 단순화 작업) 및 이 계획을 사용하여 문장 수준을 안내합니다 하류의 단순화. 그러나, 이것은 여전히 제한적이다 단순화 모델은 로컬 상호 문서에 직접 액세스할 수 없습니다 문맥, 표면 실현에 부정적인 영향을 미칠 가능성이 있다. 우리는 탐험한다 단순화 프로세스 내에서 문서 컨텍스트를 사용하는 다양한 시스템 더 큰 텍스트 단위로 반복하거나 시스템을 확장함으로써 자체적으로 문서 컨텍스트의 높은 수준 표현을 통해 참석할 아키텍처. 인 그렇게 함으로써, 우리는 문서에서 최첨단 성능을 달성한다 계획 수립에 의존하지 않는 경우에도 간소화 작업을 수행할 수 있습니다. 게다가, 우리는 시스템 변형의 성능 및 효율성 트레이드오프를 조사한다 각각의 선호 시기를 제시하다. 

 

 

Implications of Multi-Word Expressions on English to Bharti Braille Machine Translation

 

In this paper, we have shown the improvement of English to Bharti Braille machine translation system. We have shown how we can improve a baseline NMT model by adding some linguistic knowledge to it. This was done for five language pairs where English sentences were translated into five Indian languages and then subsequently to corresponding Bharti Braille. This has been demonstrated by adding a sub-module for translating multi-word expressions. The approach shows promising results as across language pairs, we could see improvement in the quality of NMT outputs. The least improvement was observed in English-Nepali language pair with 22.08% and the most improvement was observed in the English-Hindi language pair with 23.30%.

 

이 논문에서, 우리는 바르티 점자에 대한 영어의 향상을 보여주었다 기계 번역 시스템. 우리는 기준 NMT를 개선할 수 있는 방법을 보여주었다 언어적 지식을 추가하여 모델링합니다. 이것은 다섯 명을 위해 행해졌다 영어 문장이 다섯 개의 인도어로 번역된 언어 쌍 언어들 그리고 그 다음에 상응하는 바르티 점자. 지금까지 다중 단어 표현식을 번역하기 위한 하위 키워드를 추가하여 보여줍니다. 그 접근법은 언어 쌍에 걸쳐 유망한 결과를 보여준다, 우리는 볼 수 있었다 NMT 출력의 품질 향상. 최소한의 개선이 관찰되었다 영어-네팔어 쌍에서는 22.08%로 가장 향상되었다 23.30%로 영어-힌디어 쌍에서 관찰되었다. 

 

 

Leveraging Synthetic Targets for Machine Translation

 

In this work, we provide a recipe for training machine translation models in a limited resource setting by leveraging synthetic target data generated using a large pre-trained model. We show that consistently across different benchmarks in bilingual, multilingual, and speech translation setups, training models on synthetic targets outperforms training on the actual ground-truth data. This performance gap grows bigger with increasing limits on the amount of available resources in the form of the size of the dataset and the number of parameters in the model. We also provide preliminary analysis into whether this boost in performance is linked to ease of optimization or more deterministic nature of the predictions, and whether this paradigm leads to better out-of-distribution performance across different testing domains.

 

이 작업에서, 우리는 기계 번역 모델을 훈련시키는 방법을 제공한다 사용하여 생성된 합성 대상 데이터를 활용하여 제한된 리소스 설정 사전 훈련을 받은 대형 모델. 우리는 서로 다른 분야에서 일관되게 그것을 보여준다 이중 언어, 다국어 및 음성 번역 설정, 교육의 벤치마크 합성 표적에 대한 모델은 실제 지상 실측 자료에 대한 훈련을 능가한다 데이터. 이러한 성능 차이는 양에 대한 제한이 증가함에 따라 더 커집니다 데이터 세트의 크기 및 수 형태로 사용 가능한 리소스 모형의 매개 변수입니다. 우리는 또한 이것의 여부에 대한 예비 분석을 제공한다 성능 향상은 최적화의 용이성 또는 보다 결정적인 것과 관련이 있습니다 예측의 본질, 그리고 이 패러다임이 더 나은 결과로 이어지는지 여부 다양한 테스트 도메인에 걸쳐 분산되지 않은 성능을 제공합니다.