[2023-03-30] 오늘의 자연어처리

Joint embedding in Hierarchical distance and semantic representation learning for link prediction

 

The link prediction task aims to predict missing entities or relations in the knowledge graph and is essential for the downstream application. Existing well-known models deal with this task by mainly focusing on representing knowledge graph triplets in the distance space or semantic space. However, they can not fully capture the information of head and tail entities, nor even make good use of hierarchical level information. Thus, in this paper, we propose a novel knowledge graph embedding model for the link prediction task, namely, HIE, which models each triplet (\textit{h}, \textit{r}, \textit{t}) into distance measurement space and semantic measurement space, simultaneously. Moreover, HIE is introduced into hierarchical-aware space to leverage rich hierarchical information of entities and relations for better representation learning. Specifically, we apply distance transformation operation on the head entity in distance space to obtain the tail entity instead of translation-based or rotation-based approaches. Experimental results of HIE on four real-world datasets show that HIE outperforms several existing state-of-the-art knowledge graph embedding methods on the link prediction task and deals with complex relations accurately.

 

링크 예측 작업은 누락된 엔티티 또는 관계를 예측하는 것을 목표로 합니다 지식 그래프이며 다운스트림 애플리케이션에 필수적입니다. 존재하는 잘 알려진 모델들은 주로 대표하는 것에 초점을 맞추어 이 작업을 다룬다 지식 그래프는 거리 공간 또는 의미 공간에서 세 개로 나뉜다. 하지만 그들은 머리와 꼬리 실체의 정보를 완전히 포착할 수 없고, 심지어 만들 수도 없다 계층 수준 정보의 유용한 사용. 따라서, 이 논문에서, 우리는 다음을 제안한다 링크 예측 작업을 위한 새로운 지식 그래프 임베딩 모델, 즉, 각 삼중항(\textit{h}, \textit{r}, \textit{t})을 다음으로 모형화하는 HIE 거리 측정 공간과 의미 측정 공간을 동시에 사용할 수 있습니다. 또한, HIE는 리치를 활용하기 위해 계층 인식 공간에 도입된다 더 나은 표현을 위한 엔티티 및 관계의 계층적 정보 학문. 구체적으로, 우리는 머리에 거리 변환 연산을 적용한다 번역 기반 대신 꼬리 도면요소를 얻기 위한 거리 공간의 도면요소 또는 회전 기반 접근법. HIE의 실세계 4개에 대한 실험적 결과 데이터 세트는 HIE가 기존의 여러 최신 지식을 능가한다는 것을 보여준다 링크 예측 작업에 대한 그래프 임베딩 방법 및 복잡성 처리 정확한 관계. 

 

 

Translate the Beauty in Songs: Jointly Learning to Align Melody and Translate Lyrics

 

Song translation requires both translation of lyrics and alignment of music notes so that the resulting verse can be sung to the accompanying melody, which is a challenging problem that has attracted some interests in different aspects of the translation process. In this paper, we propose Lyrics-Melody Translation with Adaptive Grouping (LTAG), a holistic solution to automatic song translation by jointly modeling lyrics translation and lyrics-melody alignment. It is a novel encoder-decoder framework that can simultaneously translate the source lyrics and determine the number of aligned notes at each decoding step through an adaptive note grouping module. To address data scarcity, we commissioned a small amount of training data annotated specifically for this task and used large amounts of augmented data through back-translation. Experiments conducted on an English-Chinese song translation data set show the effectiveness of our model in both automatic and human evaluation.

 

노래 번역은 가사의 번역과 음악의 정렬을 모두 필요로 한다 결과적인 구절이 수반되는 멜로디에 맞춰 노래될 수 있도록 주석을 달았다 다양한 측면에서 일부 관심을 끌었던 도전적인 문제이다 번역 과정의. 본 논문에서는 가사-멜로디 번역을 제안한다 LTAG(Adaptive Grouping)를 통해 자동 노래에 대한 전체적인 솔루션 제공 공동으로 가사 번역 및 가사 수정 정렬을 모델링하여 번역합니다. 그것은 동시에 번역할 수 있는 새로운 인코더-디코더 프레임워크이다 각 디코딩 단계에서 가사 소스 및 정렬된 노트 수 결정 적응형 노트 그룹화 모듈을 통해. 데이터 부족 문제를 해결하기 위해 이를 위해 특별히 주석이 달린 소량의 교육 데이터를 의뢰했다 역번역을 통해 작업하고 대량의 증강 데이터를 사용했습니다. 영어-중국어 노래 번역 데이터 세트에서 수행된 실험은 다음을 보여준다 자동 및 인간 평가 모두에서 우리 모델의 효과. 

 

 

Do Neural Topic Models Really Need Dropout? Analysis of the Effect of Dropout in Topic Modeling

 

Dropout is a widely used regularization trick to resolve the overfitting issue in large feedforward neural networks trained on a small dataset, which performs poorly on the held-out test subset. Although the effectiveness of this regularization trick has been extensively studied for convolutional neural networks, there is a lack of analysis of it for unsupervised models and in particular, VAE-based neural topic models. In this paper, we have analyzed the consequences of dropout in the encoder as well as in the decoder of the VAE architecture in three widely used neural topic models, namely, contextualized topic model (CTM), ProdLDA, and embedded topic model (ETM) using four publicly available datasets. We characterize the dropout effect on these models in terms of the quality and predictive performance of the generated topics.

 

Dropout은 과적합을 해결하기 위해 널리 사용되는 정규화 트릭입니다 작은 데이터 세트에 대해 훈련된 큰 피드포워드 신경망의 문제 홀드아웃 테스트 부분 집합에서 성능이 저하됩니다. 비록 이것의 효과는 있지만 정규화 트릭은 컨볼루션 신경에 대해 광범위하게 연구되었다 네트워크, 감독되지 않은 모델에 대한 분석이 부족합니다 특히, VAE 기반 신경 주제 모델. 이 논문에서, 우리는 분석했다 인코더와 VAE 디코더에서 드롭아웃의 결과 널리 사용되는 세 가지 신경 주제 모델, 즉 문맥화된 아키텍처 주제 모델(CTM), ProdLDA 및 포함된 주제 모델(ETM) 4가지 공개 사용 사용 가능한 데이터 세트. 우리는 이러한 모델에 대한 드롭아웃 효과를 용어로 특성화한다 생성된 주제의 품질 및 예측 성능.