[2023-06-20] 오늘의 자연어처리

Sheffield's Submission to the AmericasNLP Shared Task on Machine Translation into Indigenous Languages

 

In this paper we describe the University of Sheffield's submission to the AmericasNLP 2023 Shared Task on Machine Translation into Indigenous Languages which comprises the translation from Spanish to eleven indigenous languages. Our approach consists of extending, training, and ensembling different variations of NLLB-200. We use data provided by the organizers and data from various other sources such as constitutions, handbooks, news articles, and backtranslations generated from monolingual data. On the dev set, our best submission outperforms the baseline by 11% average chrF across all languages, with substantial improvements particularly for Aymara, Guarani and Quechua. On the test set, we achieve the highest average chrF of all the submissions, we rank first in four of the eleven languages, and at least one of our submissions ranks in the top 3 for all languages.

 

이 논문에서 우리는 셰필드 대학의 제출에 대해 설명한다 Americas NLP 2023 원주민 언어로 기계 번역에 대한 공유 작업 그것은 스페인어에서 11개의 토착 언어로 번역되는 것으로 구성된다. 우리의 접근 방식은 확장, 교육 및 다양한 구성으로 구성됩니다 NLLB-200의 변형. 주최자가 제공한 데이터와 다음과 같은 데이터를 사용합니다 헌법, 핸드북, 뉴스 기사, 그리고 같은 다양한 다른 출처들 단일 언어 데이터에서 생성된 역번역. 개발 현장에서, 우리의 최선 제출은 모든 언어에서 기준치를 평균 11% 능가한다, 특히 아이마라, 과라니, 케추아에 대한 상당한 개선과 함께. 온 테스트 세트, 우리는 모든 제출물 중 가장 높은 평균 chrF를 달성한다 11개 언어 중 4개 언어에서 1위를 차지하고, 우리의 제출물 중 적어도 하나 모든 언어에서 3위 안에 든다. 

 

 

AUGUST: an Automatic Generation Understudy for Synthesizing Conversational Recommendation Datasets

 

High-quality data is essential for conversational recommendation systems and serves as the cornerstone of the network architecture development and training strategy design. Existing works contribute heavy human efforts to manually labeling or designing and extending recommender dialogue templates. However, they suffer from (i) the limited number of human annotators results in that datasets can hardly capture rich and large-scale cases in the real world, (ii) the limited experience and knowledge of annotators account for the uninformative corpus and inappropriate recommendations. In this paper, we propose a novel automatic dataset synthesis approach that can generate both large-scale and high-quality recommendation dialogues through a data2text generation process, where unstructured recommendation conversations are generated from structured graphs based on user-item information from the real world. In doing so, we comprehensively exploit: (i) rich personalized user profiles from traditional recommendation datasets, (ii) rich external knowledge from knowledge graphs, and (iii) the conversation ability contained in human-to-human conversational recommendation datasets. Extensive experiments validate the benefit brought by the automatically synthesized data under low-resource scenarios and demonstrate the promising potential to facilitate the development of a more effective conversational recommendation system.

 

대화형 추천 시스템을 위해서는 고품질 데이터가 필수적입니다 네트워크 아키텍처 개발 및 교육의 초석 역할 수행 전략 설계. 기존의 작업은 수작업에 많은 인간의 노력을 기여한다 추천인 대화 템플릿에 라벨링 또는 설계 및 확장. 하지만, 그들은 (i) 제한된 수의 인간 주석자로 인해 고통받는다 데이터 세트는 실제 세계에서 풍부하고 대규모의 사례를 거의 포착할 수 없다, (ii) 주석자의 제한된 경험과 지식은 다음을 설명합니다 정보가 없는 말뭉치와 부적절한 권장 사항. 이 논문에서 우리는 둘 다 생성할 수 있는 새로운 자동 데이터 세트 합성 접근법을 제안한다 데이터2텍스트를 통한 대규모 및 고품질 권장 대화 생성 프로세스, 여기서 비정형 권장 사항 대화는 실제 사용자 항목 정보를 기반으로 구조화된 그래프에서 생성됨 세계. 그렇게 함으로써, 우리는 포괄적으로 다음을 이용한다: (i) 풍부한 개인화된 사용자 기존 권장 데이터 세트의 프로필, (ii) 풍부한 외부 지식 지식 그래프로부터, 그리고 (iii) 포함된 대화 능력 인간 대 인간 대화형 권장 데이터 세트. 광범위한 실험 아래에서 자동으로 합성된 데이터가 가져오는 이점을 검증한다 자원이 부족한 시나리오 및 촉진할 유망한 잠재력을 보여줍니다 보다 효과적인 대화 추천 시스템의 개발. 

 

 

Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System

 

Dialogue systems and large language models (LLMs) have gained considerable attention. However, the direct utilization of LLMs as task-oriented dialogue (TOD) models has been found to underperform compared to smaller task-specific models. Nonetheless, it is crucial to acknowledge the significant potential of LLMs and explore improved approaches for leveraging their impressive abilities. Motivated by the goal of leveraging LLMs, we propose an alternative approach called User-Guided Response Optimization (UGRO) to combine it with a smaller TOD model. This approach uses LLM as annotation-free user simulator to assess dialogue responses, combining them with smaller fine-tuned end-to-end TOD models. By utilizing the satisfaction feedback generated by LLMs, UGRO further optimizes the supervised fine-tuned TOD model. Specifically, the TOD model takes the dialogue history as input and, with the assistance of the user simulator's feedback, generates high-satisfaction responses that meet the user's requirements. Through empirical experiments on two TOD benchmarks, we validate the effectiveness of our method. The results demonstrate that our approach outperforms previous state-of-the-art (SOTA) results.

 

대화 시스템과 대형 언어 모델(LLM)은 상당한 이점을 얻었다 주의. 그러나 과제 중심의 대화로서 LLM의 직접적 활용 (TOD) 모델은 작은 작업별 모델에 비해 성능이 떨어지는 것으로 확인되었다 모델. 그럼에도 불구하고, 중요한 잠재력을 인정하는 것은 중요하다 LLM을 사용하여 인상적인 능력을 활용하기 위한 개선된 접근 방식을 탐색합니다. LLM을 활용한다는 목표에 동기 부여를 받아, 우리는 대안적인 접근법을 제안한다 UGRO(사용자 유도 응답 최적화)라고 하여 이를 더 작은 크기와 결합합니다 TOD 모형. 이 접근 방식은 LLM을 주석이 없는 사용자 시뮬레이터로 사용하여 평가한다 대화 응답, 더 작은 미세 조정된 종단 간 TOD와 결합 모델. LLM에서 생성된 만족도 피드백을 활용하여 UGRO 추가 감독된 미세 조정된 TOD 모델을 최적화합니다. 특히, TOD 모델은 사용자의 도움을 받아 대화 내역을 입력합니다 시뮬레이터의 피드백, 다음을 충족하는 고해상도 응답을 생성합니다 사용자 요구 사항. 두 가지 TOD 벤치마크에 대한 경험적 실험을 통해, 우리는 우리 방법의 효과를 검증한다. 결과는 우리의 접근 방식은 이전의 최첨단(SOTA) 결과를 능가한다.