[2023-05-16] 오늘의 자연어처리

Prompt Learning to Mitigate Catastrophic Forgetting in Cross-lingual Transfer for Open-domain Dialogue Generation

 

Dialogue systems for non-English languages have long been under-explored. In this paper, we take the first step to investigate few-shot cross-lingual transfer learning (FS-XLT) and multitask learning (MTL) in the context of open-domain dialogue generation for non-English languages with limited data. We observed catastrophic forgetting in both FS-XLT and MTL for all 6 languages in our preliminary experiments. To mitigate the issue, we propose a simple yet effective prompt learning approach that can preserve the multilinguality of multilingual pre-trained language model (mPLM) in FS-XLT and MTL by bridging the gap between pre-training and fine-tuning with Fixed-prompt LM Tuning and our hand-crafted prompts. Experimental results on all 6 languages in terms of both automatic and human evaluations demonstrate the effectiveness of our approach. Our code is available at this https URL.

 

영어 이외의 언어를 위한 대화 시스템은 오랫동안 충분히 연구되지 않았다. 인 이 논문, 우리는 퓨샷 교차 언어를 조사하기 위한 첫 단계를 밟는다 전송 학습(FS-XLT) 및 멀티태스킹 학습(MTL)의 맥락에서 제한된 데이터로 영어가 아닌 언어를 위한 개방형 도메인 대화 생성. 우리가 의 모든 6개 언어에 대해 FS-XLT와 MTL 모두에서 치명적인 망각이 관찰되었다 우리의 예비 실험. 이 문제를 완화하기 위해, 우리는 간단하면서도 의 다국어를 보존할 수 있는 효과적인 즉각적인 학습 접근법 브리징을 통한 FS-XLT 및 MTL의 다국어 사전 훈련 언어 모델(mPLM) 사전 교육과 고정 프롬프트 LM 튜닝을 통한 미세 조정 사이의 격차 및 우리의 손으로 만든 프롬프트. 모든 6개 언어에 대한 실험 결과는 다음과 같습니다 자동 및 인간 평가 모두 우리의 효과를 입증한다 접근. 우리의 코드는 이 https URL에서 이용할 수 있다. 

 

 

ZARA: Improving Few-Shot Self-Rationalization for Small Language Models

 

Language models (LMs) that jointly generate end-task answers as well as free-text rationales are known as self-rationalization models. Recent works demonstrate great performance gain for self-rationalization by few-shot prompting LMs with rationale-augmented exemplars. However, the ability to benefit from explanations only emerges with large-scale LMs, which have poor accessibility. In this work, we explore the less-studied setting of leveraging explanations for small LMs to improve few-shot self-rationalization. We first revisit the relationship between rationales and answers. Inspired by the implicit mental process of how human beings assess explanations, we present a novel approach, Zero-shot Augmentation of Rationale-Answer pairs (ZARA), to automatically construct pseudo-parallel data for self-training by reducing the problem of plausibility judgement to natural language inference. Experimental results show ZARA achieves SOTA performance on the FEB benchmark, for both the task accuracy and the explanation metric. In addition, we conduct human and quantitative evaluation validating ZARA's ability to automatically identify plausible and accurate rationale-answer pairs.

 

최종 작업 답변과 함께 공동으로 생성하는 언어 모델(LM) 자유 텍스트 추론은 자기 동기화 모델로 알려져 있다. 최근작 퓨샷으로 자체 동기화 성능 향상 입증 이론적 근거가 강화된 예제를 사용하여 LM을 촉구한다. 하지만, 할 수 있는 능력은 설명의 이점은 빈약한 대규모 LM에서만 나타난다 접근성. 이 작업에서, 우리는 덜 연구된 활용의 환경을 탐구한다 퓨샷 자체 합리화를 개선하기 위한 소규모 LM에 대한 설명. 우리가 먼저 이성과 답 사이의 관계를 재검토합니다. 에서 영감을 받았다 인간이 설명을 평가하는 방법에 대한 암묵적인 정신적 과정, 우리는 제시한다 새로운 접근법, 이론적 근거-응답 쌍의 제로샷 증강(ZARA), 다음과 같다 자가 훈련을 위해 자동으로 의사 추적 데이터를 구성한다 자연어 추론에 대한 타당성 판단의 문제. 실험적 결과는 ZARA가 2월 벤치마크에서 SOTA 성능을 달성한다는 것을 보여줍니다 작업 정확도 및 설명 메트릭. 게다가, 우리는 인간과 ZARA의 자동 식별 능력을 검증하는 정량적 평가 타당하고 정확한 근거-답변 쌍. 

 

 

Implications of Deep Circuits in Improving Quality of Quantum Question Answering

 

Question Answering (QA) has proved to be an arduous challenge in the area of natural language processing (NLP) and artificial intelligence (AI). Many attempts have been made to develop complete solutions for QA as well as improving significant sub-modules of the QA systems to improve the overall performance through the course of time. Questions are the most important piece of QA, because knowing the question is equivalent to knowing what counts as an answer (Harrah in Philos Sci, 1961 [1]). In this work, we have attempted to understand questions in a better way by using Quantum Machine Learning (QML). The properties of Quantum Computing (QC) have enabled classically intractable data processing. So, in this paper, we have performed question classification on questions from two classes of SelQA (Selection-based Question Answering) dataset using quantum-based classifier algorithms-quantum support vector machine (QSVM) and variational quantum classifier (VQC) from Qiskit (Quantum Information Science toolKIT) for Python. We perform classification with both classifiers in almost similar environments and study the effects of circuit depths while comparing the results of both classifiers. We also use these classification results with our own rule-based QA system and observe significant performance improvement. Hence, this experiment has helped in improving the quality of QA in general.

 

질문 답변(QA)은 다음 분야에서 어려운 과제임이 입증되었습니다 자연어 처리(NLP)와 인공지능(AI). 많이 QA 뿐만 아니라 QA를 위한 완벽한 솔루션을 개발하려는 시도가 있었다 QA 시스템의 중요한 하위 모듈을 개선하여 전반적인 개선 시간이 지남에 따라 수행됩니다. 질문은 가장 중요한 부분이다 QA의, 왜냐하면 질문을 아는 것은 무엇이 중요한지 아는 것과 같기 때문이다 대답(Harah in Philos Sci, 1961 [1]). 이 작업에서, 우리는 시도했다 양자 기계 학습(QML)을 사용하여 질문을 더 나은 방식으로 이해합니다. 양자 컴퓨팅(QC)의 특성은 고전적으로 다루기 어려운 것을 가능하게 했다 데이터 처리. 그래서, 이 논문에서, 우리는 질문 분류를 수행했다 2개 클래스의 SelQA(선택 기반 질문 답변) 질문에 대해 양자 기반 분류기 알고리즘을 사용한 데이터 세트 - 신호 지원 벡터 기계(QSVM) 및 Qiskit(Quantum)의 가변 양자 분류기(VQC) 정보 과학 도구 KPython을 위한 IT). 우리는 둘 다로 분류를 수행한다 거의 유사한 환경의 분류기와 회로의 영향을 연구한다 두 분류자의 결과를 비교하는 동안 깊이. 우리는 이것들도 사용한다 자체 규칙 기반 QA 시스템을 사용한 분류 결과 및 관찰 상당한 성능 향상. 그러므로, 이 실험은 도움이 되었다 일반적인 QA의 품질을 향상시킵니다.