[2022-10-09] 오늘의 자연어처리

Retrieval of Soft Prompt Enhances Zero-Shot Task Generalization

 

During zero-shot inference with language models (LMs), using hard prompts alone may not be able to fully describe the target task. In this paper, we explore how the retrieval of soft prompts obtained through prompt tuning can assist hard prompts in zero-shot task generalization. Specifically, we train soft prompt embeddings for each prompt through prompt tuning, store the samples of the training instances (hard prompt + input instances) mapped with the prompt embeddings, and retrieve the corresponding prompt embedding of the training instance closest to the query instance during inference. Results show this simple approach enhances the performance of T0 on unseen tasks by outperforming it on 10 out of 11 datasets as well as improving the mean accuracy of T0 on BIG-bench benchmark by 2.39% points while adding only 0.007% additional parameters. Also, using interpolation of multiple embeddings and variance-based ranking further improve accuracy and robustness to different evaluation prompts, widening the performance gap. Finally, we find that retrieving source embeddings trained on similar answer choice formats is more important than those on similar task types. Model checkpoints and code implementation are available at this https URL.

 

언어 모델(LM)을 사용한 제로샷 추론 중, 하드 프롬프트 사용 단독으로 대상 작업을 완전히 설명할 수 없을 수도 있습니다. 이 논문에서, 우리는 신속한 조정을 통해 얻은 소프트 프롬프트의 검색이 어떻게 할 수 있는지 탐구한다. 제로샷 작업 일반화의 하드 프롬프트를 지원합니다. 구체적으로, 우리는 훈련한다. 프롬프트 조정을 통해 각 프롬프트에 대한 소프트 프롬프트 임베딩, 샘플 저장 교육 인스턴스(하드 프롬프트 + 입력 인스턴스) 중 신속한 임베딩 및 해당 신속한 임베딩 검색 추론 중에 쿼리 인스턴스에 가장 가까운 교육 인스턴스입니다. 결과 표시 이 간단한 접근법은 보이지 않는 작업에서 T0의 성능을 향상시킨다. 데이터 세트 11개 중 10개에서 성능 향상 및 평균 향상 BIG-벤치 벤치마크에서 T0의 정확도 2.39% 포인트 향상, 단 0.007% 추가 추가 매개 변수 또한 여러 임베딩의 보간법을 사용하여 분산 기반 랭킹은 정확성과 견고성을 더욱 향상시킵니다. 평가 프롬프트를 통해 성능 격차를 벌릴 수 있습니다. 마침내, 우리는 그것을 발견한다. 유사한 답변 선택 형식에서 훈련된 소스 임베딩 검색은 더 많습니다. 유사한 작업 유형의 작업보다 중요합니다. 모델 체크포인트 및 코드 구현은 이 https URL에서 사용할 수 있습니다. 

 

 

Conversational Semantic Role Labeling with Predicate-Oriented Latent Graph

 

Conversational semantic role labeling (CSRL) is a newly proposed task that uncovers the shallow semantic structures in a dialogue text. Unfortunately several important characteristics of the CSRL task have been overlooked by the existing works, such as the structural information integration, near-neighbor influence. In this work, we investigate the integration of a latent graph for CSRL. We propose to automatically induce a predicate-oriented latent graph (POLar) with a predicate-centered Gaussian mechanism, by which the nearer and informative words to the predicate will be allocated with more attention. The POLar structure is then dynamically pruned and refined so as to best fit the task need. We additionally introduce an effective dialogue-level pre-trained language model, CoDiaBERT, for better supporting multiple utterance sentences and handling the speaker coreference issue in CSRL. Our system outperforms best-performing baselines on three benchmark CSRL datasets with big margins, especially achieving over 4% F1 score improvements on the cross-utterance argument detection. Further analyses are presented to better understand the effectiveness of our proposed methods.

 

대화 의미 역할 레이블링(CSRL)은 새롭게 제안된 작업이다. 대화 텍스트에서 얕은 의미 구조를 밝혀냅니다. 불행하게도 CSRL 과제의 몇 가지 중요한 특징들이 간과되어 왔다. 구조 정보 통합과 같은 기존 작업들, 거의 비슷한 것. 영향을 주다. 이 연구에서, 우리는 잠재 그래프의 통합을 조사한다. CSRL. 술어 중심의 잠재 그래프를 자동으로 유도할 것을 제안한다. (POLAR) 술어 중심의 가우스 메커니즘으로, 더 가깝고 더 가깝습니다. 서술어에 대한 유익한 단어들은 더 많은 주의를 기울여 할당될 것이다. 그 그런 다음 POLar 구조는 가장 잘 적합하도록 동적으로 제거되고 정제된다. 작업의 필요성 우리는 또한 효과적인 대화 수준 사전 교육을 도입한다. 언어 모델인 CoDiaBERT는 여러 발성 문장을 더 잘 지원하기 위한 것입니다. 그리고 CSRL에서 화자 상호 참조 문제를 처리합니다. 우리 시스템은 성능이 우수하다. 3가지 벤치마크 CSRL 데이터셋에 대한 최고의 성능 기준(마진이 큰) 특히 교차 발언에서 4% 이상의 F1 점수 개선 달성 인수 탐지 더 나은 이해를 위해 추가 분석이 제시된다. 우리가 제안한 방법의 효과 

 

 

Retrieval of Soft Prompt Enhances Zero-Shot Task Generalization

 

During zero-shot inference with language models (LMs), using hard prompts alone may not be able to fully describe the target task. In this paper, we explore how the retrieval of soft prompts obtained through prompt tuning can assist hard prompts in zero-shot task generalization. Specifically, we train soft prompt embeddings for each prompt through prompt tuning, store the samples of the training instances (hard prompt + input instances) mapped with the prompt embeddings, and retrieve the corresponding prompt embedding of the training instance closest to the query instance during inference. Results show this simple approach enhances the performance of T0 on unseen tasks by outperforming it on 10 out of 11 datasets as well as improving the mean accuracy of T0 on BIG-bench benchmark by 2.39% points while adding only 0.007% additional parameters. Also, using interpolation of multiple embeddings and variance-based ranking further improve accuracy and robustness to different evaluation prompts, widening the performance gap. Finally, we find that retrieving source embeddings trained on similar answer choice formats is more important than those on similar task types. Model checkpoints and code implementation are available at this https URL.

 

언어 모델(LM)을 사용한 제로샷 추론 중, 하드 프롬프트 사용 단독으로 대상 작업을 완전히 설명할 수 없을 수도 있습니다. 이 논문에서, 우리는 신속한 조정을 통해 얻은 소프트 프롬프트의 검색이 어떻게 할 수 있는지 탐구한다. 제로샷 작업 일반화의 하드 프롬프트를 지원합니다. 구체적으로, 우리는 훈련한다. 프롬프트 조정을 통해 각 프롬프트에 대한 소프트 프롬프트 임베딩, 샘플 저장 교육 인스턴스(하드 프롬프트 + 입력 인스턴스) 중 신속한 임베딩 및 해당 신속한 임베딩 검색 추론 중에 쿼리 인스턴스에 가장 가까운 교육 인스턴스입니다. 결과 표시 이 간단한 접근법은 보이지 않는 작업에서 T0의 성능을 향상시킨다. 데이터 세트 11개 중 10개에서 성능 향상 및 평균 향상 BIG-벤치 벤치마크에서 T0의 정확도 2.39% 포인트 향상, 단 0.007% 추가 추가 매개 변수 또한 여러 임베딩의 보간법을 사용하여 분산 기반 랭킹은 정확성과 견고성을 더욱 향상시킵니다. 평가 프롬프트를 통해 성능 격차를 벌릴 수 있습니다. 마침내, 우리는 그것을 발견한다. 유사한 답변 선택 형식에서 훈련된 소스 임베딩 검색은 더 많습니다. 유사한 작업 유형의 작업보다 중요합니다. 모델 체크포인트 및 코드 구현은 이 https URL에서 사용할 수 있습니다.