[2022-09-25] 오늘의 자연어처리

Predicting pairwise preferences between TTS audio stimuli using parallel ratings data and anti-symmetric twin neural networks

 

Automatically predicting the outcome of subjective listening tests is a challenging task. Ratings may vary from person to person even if preferences are consistent across listeners. While previous work has focused on predicting listeners' ratings (mean opinion scores) of individual stimuli, we focus on the simpler task of predicting subjective preference given two speech stimuli for the same text. We propose a model based on anti-symmetric twin neural networks, trained on pairs of waveforms and their corresponding preference scores. We explore both attention and recurrent neural nets to account for the fact that stimuli in a pair are not time aligned. To obtain a large training set we convert listeners' ratings from MUSHRA tests to values that reflect how often one stimulus in the pair was rated higher than the other. Specifically, we evaluate performance on data obtained from twelve MUSHRA evaluations conducted over five years, containing different TTS systems, built from data of different speakers. Our results compare favourably to a state-of-the-art model trained to predict MOS scores.

 

주관적인 듣기 시험의 결과를 자동으로 예측하는 것은 어려운 일 선호하더라도 등급은 개인마다 다를 수 있습니다. 청취자 간에 일관성이 있습니다. 이전 작업은 예측에 초점을 맞췄지만 개별 자극에 대한 청취자의 등급(오피니언 점수)에 초점을 맞춘다. 두 가지 언어 자극이 주어지면 주관적 선호도를 예측하는 더 간단한 작업 같은 본문 우리는 반대칭 쌍신경망을 기반으로 한 모델을 제안한다. 한 쌍의 파형과 해당 기본 설정 점수에 대해 학습합니다. 우리가 ...라는 사실을 설명하기 위해 주의력과 반복적 신경망을 탐구한다. 한 쌍의 자극은 시간 정렬이 아닙니다. 대규모 교육 세트를 얻기 위해 우리는 청취자의 등급을 MUSHRA 테스트의 빈도를 반영하는 값으로 변환합니다. 한 쌍의 자극이 다른 자극보다 높게 평가되었다. 특히 저희가. 수행된 12번의 MUSHRA 평가에서 얻은 데이터에 대한 성능 평가 5년에 걸쳐, 서로 다른 TTS 시스템을 포함하며, 서로 다른 데이터를 기반으로 구축되었습니다. 스피커 우리의 결과는 다음과 같이 훈련된 최첨단 모델과 유리하게 비교된다. MOS 점수를 예측하다 

 

 

Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT

 

Both humans and neural language models are able to perform subject-verb number agreement (SVA). In principle, semantics shouldn't interfere with this task, which only requires syntactic knowledge. In this work we test whether meaning interferes with this type of agreement in English in syntactic structures of various complexities. To do so, we generate both semantically well-formed and nonsensical items. We compare the performance of BERT-base to that of humans, obtained with a psycholinguistic online crowdsourcing experiment. We find that BERT and humans are both sensitive to our semantic manipulation: They fail more often when presented with nonsensical items, especially when their syntactic structure features an attractor (a noun phrase between the subject and the verb that has not the same number as the subject). We also find that the effect of meaningfulness on SVA errors is stronger for BERT than for humans, showing higher lexical sensitivity of the former on this task.

 

인간과 신경 언어 모델 모두 주어 동사를 수행할 수 있다. 번호 동의서(SVA) 원칙적으로, 의미론은 이것을 방해해서는 안 된다. 구문 지식만 필요한 작업입니다. 이 작업에서 우리는 다음을 테스트한다. 의미는 통사론에서 영어의 이런 종류의 합의를 방해한다. 여러 가지 복잡한 구조 그렇게 하기 위해, 우리는 의미론적으로 둘 다 생성한다. 조형이 잘 된 어처구니없는 물건 우리는 BERT-base의 성능을 심리언어학적 온라인 크라우드소싱으로 얻은 인간의 그것. 실험. 우리는 BERT와 인간 모두 우리의 의미론에 민감하다는 것을 발견했다. 조작: 말도 안 되는 물건을 선물하면 더 자주 실패한다. 특히 그들의 구문 구조가 어트랙터(명사구)를 특징으로 할 때. 주어와 동사의 수가 같지 않은 경우). 우리는 또한 SVA 오류에 대한 유의성의 영향이 더 강하다는 것을 발견했다. 인간보다 BERT, 이것에 대한 전자의 더 높은 어휘 민감도를 보여준다. 작업. 

 

 

Approaching English-Polish Machine Translation Quality Assessment with Neural-based Methods

 

This paper presents our contribution to the PolEval 2021 Task 2: Evaluation of translation quality assessment metrics. We describe experiments with pre-trained language models and state-of-the-art frameworks for translation quality assessment in both nonblind and blind versions of the task. Our solutions ranked second in the nonblind version and third in the blind version.

 

이 논문은 PolEval 2021 과제 2: 평가에 대한 우리의 기여를 제시한다. 번역 품질 평가 지표의. 에 대한 실험을 설명한다. 사전 교육을 받은 언어 모델 및 최신 번역 프레임워크 작업의 비블라인드 버전과 블라인드 버전 모두에서 품질 평가. 우리들의 솔루션은 비블라인드 버전에서 2위, 블라인드 버전에서 3위를 차지했습니다.