[2022-09-27] 오늘의 자연어처리

Approaching English-Polish Machine Translation Quality Assessment with Neural-based Methods

 

This paper presents our contribution to the PolEval 2021 Task 2: Evaluation of translation quality assessment metrics. We describe experiments with pre-trained language models and state-of-the-art frameworks for translation quality assessment in both nonblind and blind versions of the task. Our solutions ranked second in the nonblind version and third in the blind version.

 

이 논문은 PolEval 2021 과제 2: 평가에 대한 우리의 기여를 제시한다. 번역 품질 평가 지표의. 에 대한 실험을 설명한다. 사전 교육을 받은 언어 모델 및 최신 번역 프레임워크 작업의 비블라인드 버전과 블라인드 버전 모두에서 품질 평가. 우리들의 솔루션은 비블라인드 버전에서 2위, 블라인드 버전에서 3위를 차지했습니다. 

 

 

Zero-shot Domain Adaptation for Neural Machine Translation with Retrieved Phrase-level Prompts

 

Domain adaptation is an important challenge for neural machine translation. However, the traditional fine-tuning solution requires multiple extra training and yields a high cost. In this paper, we propose a non-tuning paradigm, resolving domain adaptation with a prompt-based method. Specifically, we construct a bilingual phrase-level database and retrieve relevant pairs from it as a prompt for the input sentences. By utilizing Retrieved Phrase-level Prompts (RePP), we effectively boost the translation quality. Experiments show that our method improves domain-specific machine translation for 6.2 BLEU scores and improves translation constraints for 11.5% accuracy without additional training.

 

도메인 적응은 신경 기계 번역에 중요한 과제이다. 그러나 기존의 미세 조정 솔루션에는 여러 가지 추가 교육이 필요합니다. 그리고 높은 비용을 산출한다. 본 논문에서는 비조정 패러다임을 제안한다. 프롬프트 기반 방법으로 도메인 적응을 해결합니다. 특히 저희가. 이중 언어 수준의 데이터베이스를 구축하고 그것에서 관련 쌍을 검색한다. 입력 문장의 프롬프트로서. 검색된 구문 수준 활용 프롬프트(RePP), 우리는 효과적으로 번역 품질을 향상시킨다. 실험 결과 우리의 방법이 6.2 BLEU에 대한 도메인별 기계 번역을 개선한다. 번역 제약 조건을 채점하고 개선하여 11.5%의 정확성을 제공합니다. 추가 훈련 

 

 

Scope of Pre-trained Language Models for Detecting Conflicting Health Information

 

An increasing number of people now rely on online platforms to meet their health information needs. Thus identifying inconsistent or conflicting textual health information has become a safety-critical task. Health advice data poses a unique challenge where information that is accurate in the context of one diagnosis can be conflicting in the context of another. For example, people suffering from diabetes and hypertension often receive conflicting health advice on diet. This motivates the need for technologies which can provide contextualized, user-specific health advice. A crucial step towards contextualized advice is the ability to compare health advice statements and detect if and how they are conflicting. This is the task of health conflict detection (HCD). Given two pieces of health advice, the goal of HCD is to detect and categorize the type of conflict. It is a challenging task, as (i) automatically identifying and categorizing conflicts requires a deeper understanding of the semantics of the text, and (ii) the amount of available data is quite limited. In this study, we are the first to explore HCD in the context of pre-trained language models. We find that DeBERTa-v3 performs best with a mean F1 score of 0.68 across all experiments. We additionally investigate the challenges posed by different conflict types and how synthetic data improves a model's understanding of conflict-specific semantics. Finally, we highlight the difficulty in collecting real health conflicts and propose a human-in-the-loop synthetic data augmentation approach to expand existing HCD datasets. Our HCD training dataset is over 2x bigger than the existing HCD dataset and is made publicly available on Github.

 

점점 더 많은 사람들이 그들의 요구를 충족시키기 위해 온라인 플랫폼에 의존한다. 건강 정보의 필요성 따라서 불일치하거나 충돌하는 텍스트를 식별한다. 건강 정보는 안전에 중요한 과제가 되었다. 건강 조언 데이터 포즈 한 사람의 맥락에 맞는 정보가 정확한 독특한 도전 진단은 다른 사람의 맥락에서 상충될 수 있습니다. 예를 들어, 사람들은 당뇨병과 고혈압으로 고통받는 것은 종종 상반된 건강을 얻는다. 식이요법에 관한 조언 이것은 다음을 제공할 수 있는 기술에 대한 필요성을 동기를 부여한다. 상황에 맞는 사용자별 건강 조언. 을 향한 중요한 발걸음 상황별 조언은 건강 조언 진술과 서로 상충하는지, 어떻게 상충하는지 탐지합니다. 이것은 건강 분쟁의 과제이다. 검출(HCD) 두 가지 건강 조언이 주어지면, HCD의 목표는 충돌 유형을 탐지하고 분류합니다. (i)와 같이 어려운 작업입니다. 자동으로 충돌을 식별하고 분류하려면 더 깊이 있는 작업이 필요합니다. 텍스트의 의미 이해 및 (ii) 이용 가능한 양 데이터가 상당히 제한적입니다. 이 연구에서, 우리는 사전 훈련의 맥락에서 HCD를 탐구하는 첫 번째 사람이다. 언어 모델 우리는 DeBERTa-v3가 평균 F1 점수로 가장 잘 수행된다는 것을 발견했다. 모든 실험에서 0.68. 제기된 문제를 추가로 조사합니다. 서로 다른 충돌 유형 및 합성 데이터가 모델의 성능을 향상시키는 방법 충돌 특정 의미론에 대한 이해. 마지막으로, 우리는 실제 건강 갈등을 수집하고 인간 인 더 루프(human-in-the-loop)를 제안하는 것의 어려움 기존 HCD 데이터 세트를 확장하기 위한 합성 데이터 확대 접근 방식. 우리 HCD 교육 데이터 세트는 기존 HCD 데이터 세트보다 2배 이상 크고 제작되었습니다. Github에서 공개적으로 사용할 수 있습니다.