[2023-06-09] 오늘의 자연어처리

Enhancing In-Context Learning with Answer Feedback for Multi-Span Question Answering

 

Whereas the recent emergence of large language models (LLMs) like ChatGPT has exhibited impressive general performance, it still has a large gap with fully-supervised models on specific tasks such as multi-span question answering. Previous researches found that in-context learning is an effective approach to exploiting LLM, by using a few task-related labeled data as demonstration examples to construct a few-shot prompt for answering new questions. A popular implementation is to concatenate a few questions and their correct answers through simple templates, informing LLM of the desired output. In this paper, we propose a novel way of employing labeled data such that it also informs LLM of some undesired output, by extending demonstration examples with feedback about answers predicted by an off-the-shelf model, e.g., correct, incorrect, or incomplete. Experiments on three multi-span question answering datasets as well as a keyphrase extraction dataset show that our new prompting strategy consistently improves LLM's in-context learning performance.

 

반면에 ChatGPT와 같은 큰 언어 모델의 최근 출현은 인상적인 일반적인 성능을 보여주었으며, 그것은 여전히 큰 격차를 가지고 있다 다중 스팬 질문과 같은 특정 작업에 대한 완전한 감독 모델 대답하는 거야. 이전의 연구들은 문맥 내 학습이 효과적이라는 것을 발견했다 몇 가지 작업 관련 레이블이 지정된 데이터를 다음과 같이 사용하여 LLM을 활용하는 접근 방식 새로운 답변을 위한 퓨샷 프롬프트를 구성하는 데모 예제 문의사항. 일반적인 구현은 몇 가지 질문과 질문을 연결하는 것입니다 간단한 템플릿을 통해 정답을 수정하여 원하는 출력을 LLM에 알립니다. 이 논문에서, 우리는 라벨링된 데이터를 사용하는 새로운 방법을 제안한다 또한 시연 예제를 확장하여 일부 원하지 않는 출력을 LLM에 알립니다 기성 모델에 의해 예측된 답변에 대한 피드백(예: 정답, 정답, 부정확하거나 불완전합니다. 3개의 다중 스팬 질문 답변에 대한 실험 키프레이즈 추출 데이터 세트뿐만 아니라 데이터 세트에서도 새로운 프롬프트가 표시됩니다 전략은 LLM의 컨텍스트 내 학습 성능을 지속적으로 향상시킵니다. 

 

 

PromptAttack: Probing Dialogue State Trackers with Adversarial Prompts

 

A key component of modern conversational systems is the Dialogue State Tracker (or DST), which models a user's goals and needs. Toward building more robust and reliable DSTs, we introduce a prompt-based learning approach to automatically generate effective adversarial examples to probe DST models. Two key characteristics of this approach are: (i) it only needs the output of the DST with no need for model parameters, and (ii) it can learn to generate natural language utterances that can target any DST. Through experiments over state-of-the-art DSTs, the proposed framework leads to the greatest reduction in accuracy and the best attack success rate while maintaining good fluency and a low perturbation ratio. We also show how much the generated adversarial examples can bolster a DST through adversarial training. These results indicate the strength of prompt-based attacks on DSTs and leave open avenues for continued refinement.

 

현대 대화 시스템의 핵심 구성 요소는 대화 상태이다 사용자의 목표와 요구를 모델링하는 추적기(또는 DST). 더 많은 것을 구축하기 위해 강력하고 신뢰할 수 있는 DST, 우리는 신속한 기반 학습 접근법을 도입한다 DST 모델을 탐색하기 위해 효과적인 적대적 예제를 자동으로 생성한다. 두명 이 접근법의 주요 특징은 다음과 같다: (i) 오직 출력만 필요하다 모델 매개변수가 필요 없는 DST, 그리고 (ii) 생성 방법을 배울 수 있다 모든 DST를 대상으로 할 수 있는 자연어 표현. 에 대한 실험을 통해 최첨단 DST, 제안된 프레임워크는 최대 감소로 이어진다 정확성과 최고의 공격 성공률을 유지하는 동시에 우수한 유창성과 낮은 동요비. 우리는 또한 생성된 적수가 얼마나 되는지 보여준다 예제는 적대적 훈련을 통해 DST를 강화할 수 있다. 이 결과는 다음을 나타냅니다 DST에 대한 즉각적인 기반 공격의 강도 및 다음을 위한 개방적인 방법 끊임없는 교양. 

 

 

Zambezi Voice: A Multilingual Speech Corpus for Zambian Languages

 

This work introduces Zambezi Voice, an open-source multilingual speech resource for Zambian languages. It contains two collections of datasets: unlabelled audio recordings of radio news and talk shows programs (160 hours) and labelled data (over 80 hours) consisting of read speech recorded from text sourced from publicly available literature books. The dataset is created for speech recognition but can be extended to multilingual speech processing research for both supervised and unsupervised learning approaches. To our knowledge, this is the first multilingual speech dataset created for Zambian languages. We exploit pretraining and cross-lingual transfer learning by finetuning the Wav2Vec2.0 large-scale multilingual pre-trained model to build end-to-end (E2E) speech recognition models for our baseline models. The dataset is released publicly under a Creative Commons BY-NC-ND 4.0 license and can be accessed through the project repository. See this https URL

 

이 작품은 오픈소스 다국어 음성인 잠베지 보이스를 소개한다 잠비아어를 위한 자원. 두 개의 데이터셋 모음이 포함되어 있습니다: 라디오 뉴스 및 토크쇼 프로그램의 레이블이 부착되지 않은 오디오 녹음(160시간) 텍스트에서 기록된 읽기 음성으로 구성된 레이블링된 데이터(80시간 이상) 공개적으로 이용 가능한 문학 서적에서 출처를 찾았다. 데이터 집합이 다음에 대해 생성됩니다 음성 인식이지만 다국어 음성 처리로 확장될 수 있습니다 지도 학습 접근법과 비지도 학습 접근법 모두에 대한 연구. 우리에게 지식, 이것은 잠비아를 위해 만들어진 첫 번째 다국어 음성 데이터 세트입니다 언어들. 우리는 사전 훈련과 교차 언어 전이 학습을 활용한다 Wav2Vec2.0 대규모 다국어 사전 교육 모델을 미세 조정하여 구축 기준 모델에 대한 종단 간(E2E) 음성 인식 모델. 데이터 세트 크리에이티브 커먼즈 BY-NC-ND 4.0 라이선스로 공개되며 다음과 같이 할 수 있다 프로젝트 저장소를 통해 액세스할 수 있습니다. 봐 이 https URL