[2022-08-15] 오늘의 자연어처리

Assessing the Unitary RNN as an End-to-End Compositional Model of Syntax

 

We show that both an LSTM and a unitary-evolution recurrent neural network (URN) can achieve encouraging accuracy on two types of syntactic patterns: context-free long distance agreement, and mildly context-sensitive cross serial dependencies. This work extends recent experiments on deeply nested context-free long distance dependencies, with similar results. URNs differ from LSTMs in that they avoid non-linear activation functions, and they apply matrix multiplication to word embeddings encoded as unitary matrices. This permits them to retain all information in the processing of an input string over arbitrary distances. It also causes them to satisfy strict compositionality. URNs constitute a significant advance in the search for explainable models in deep learning applied to NLP.

 

LSTM과 단일 진화 반복 신경망 모두 URN은 두 가지 유형의 구문 패턴에서 고무적인 정확도를 달성할 수 있다. 문맥이 없는 장거리 계약, 그리고 약간 문맥에 민감한 교차 시리얼 종속성 이 연구는 심층 중첩에 대한 최근의 실험을 확장한다. 문맥이 없는 장거리 의존성, 유사한 결과. URN은 와 다릅니다. 비선형 활성화 함수를 피하고 행렬을 적용한다는 점에서 LSTM 단일 행렬로 인코딩된 단어 임베딩에 대한 곱셈. 이 정도면 된다 그것들은 입력 문자열의 처리에서 모든 정보를 보유한다. 임의의 거리 그것은 또한 그들이 엄격한 구성을 만족하도록 만든다. URN은 다음에서 설명할 수 있는 모델을 찾는 데 있어 상당한 진전을 이룬다. NLP에 적용된 딥 러닝 

 

 

Proceedings End-to-End Compositional Models of Vector-Based Semantics

 

The workshop End-to-End Compositional Models of Vector-Based Semantics was held at NUI Galway on 15 and 16 August 2022 as part of the 33rd European Summer School in Logic, Language and Information (ESSLLI 2022). The workshop was sponsored by the research project 'A composition calculus for vector-based semantic modelling with a localization for Dutch' (Dutch Research Council 360-89-070, 2017-2022). The workshop program was made up of two parts, the first part reporting on the results of the aforementioned project, the second part consisting of contributed papers on related approaches. The present volume collects the contributed papers and the abstracts of the invited talks.

 

벡터 기반 의미론의 워크숍 엔드 투 엔드 구성 모델은 다음과 같다. 2022년 8월 15일과 16일, 제33회 유럽 여름의 일환으로 NUI 골웨이에서 개최되었다. 논리, 언어 및 정보 관련 학교(ESSLI 2022). 그 워크숍은 연구 프로젝트 '작문 미적분학'의 후원을 받았다. 더치 현지화를 통한 벡터 기반 의미 모델링의 경우(네덜란드) 연구회 360-89-070, 2017-2022). 워크숍 프로그램은 다음과 같이 구성되었다. 두 부분, 앞에서 언급한 결과에 대한 첫 번째 부분 프로젝트, 두 번째 부분은 관련 논문으로 구성되어 있다. 접근하다 본서는 기고된 논문과 그 논문들을 수집한다. 초청 회담의 요약 

 

 

Domain-Specific Text Generation for Machine Translation

 

Preservation of domain knowledge from the source to target is crucial in any translation workflow. It is common in the translation industry to receive highly specialized projects, where there is hardly any parallel in-domain data. In such scenarios where there is insufficient in-domain data to fine-tune Machine Translation (MT) models, producing translations that are consistent with the relevant context is challenging. In this work, we propose a novel approach to domain adaptation leveraging state-of-the-art pretrained language models (LMs) for domain-specific data augmentation for MT, simulating the domain characteristics of either (a) a small bilingual dataset, or (b) the monolingual source text to be translated. Combining this idea with back-translation, we can generate huge amounts of synthetic bilingual in-domain data for both use cases. For our investigation, we use the state-of-the-art Transformer architecture. We employ mixed fine-tuning to train models that significantly improve translation of in-domain texts. More specifically, in both scenarios, our proposed methods achieve improvements of approximately 5-6 BLEU and 2-3 BLEU, respectively, on the Arabic-to-English and English-to-Arabic language pairs. Furthermore, the outcome of human evaluation corroborates the automatic evaluation results.

 

소스에서 대상으로의 도메인 지식의 보존은 모든 경우에 중요하다. 변환 워크플로우 번역업계에서 받는 것은 흔한 일이다. 도메인 내 병렬 데이터가 거의 없는 고도로 전문화된 프로젝트 세부 조정에 필요한 도메인 내 데이터가 충분하지 않은 경우 일관된 번역을 생성하는 MT(기계 번역) 모델 관련 문맥이 있는 것은 어려운 일입니다. 이 작품에서 우리는 소설을 제안한다. 최첨단 사전 훈련된 언어를 활용한 도메인 적응 접근법 MT를 위한 도메인별 데이터 증강을 위한 모델(LM), 시뮬레이션 (a) 소규모 이중언어 데이터 세트의 도메인 특성 또는 (b) 번역할 단일 언어 원본 텍스트입니다. 이 아이디어를 결합하는 것은 역확산, 우리는 도메인 내에서 엄청난 양의 합성 이중언어들을 생성할 수 있다. 두 사용 사례에 대한 데이터입니다. 우리의 조사를 위해, 우리는 최첨단 기술을 사용합니다. 트랜스포머 아키텍처. 우리는 혼합 미세 조정을 사용하여 다음과 같은 모델을 훈련시킨다. 도메인 내 텍스트의 번역을 크게 개선한다. 좀 더 구체적으로 말하면, 두 시나리오 모두, 제안된 방법은 약 5-6의 개선을 달성한다. 아랍어 대 영어, 영어 대 아랍어 각각 BLEU와 2-3 BLEU 언어 쌍 게다가, 인간 평가의 결과는 다음 사항을 확증한다. 자동 평가 결과