[2023-06-03] 오늘의 자연어처리

In-Context Learning User Simulators for Task-Oriented Dialog Systems

 

This paper presents a novel application of large language models in user simulation for task-oriented dialog systems, specifically focusing on an in-context learning approach. By harnessing the power of these models, the proposed approach generates diverse utterances based on user goals and limited dialog examples. Unlike traditional simulators, this method eliminates the need for labor-intensive rule definition or extensive annotated data, making it more efficient and accessible. Additionally, an error analysis of the interaction between the user simulator and dialog system uncovers common mistakes, providing valuable insights into areas that require improvement. Our implementation is available at this https URL.

 

이 논문은 사용자에게 큰 언어 모델의 새로운 응용을 제시한다 작업 지향적인 대화 시스템을 위한 시뮬레이션, 특히 초점을 맞춘다 교내 학습 접근법. 이러한 모델의 힘을 활용함으로써 제안된 접근법은 사용자 목표와 제한된 목표를 기반으로 다양한 발언을 생성한다 대화 상자 예제. 기존의 시뮬레이터와 달리 이 방법을 사용하면 노동 집약적인 규칙 정의 또는 광범위한 주석이 달린 데이터의 경우, 보다 효율적인 효율적이고 접근하기 쉽다. 교호작용의 오류 분석 사용자 시뮬레이터와 대화 시스템 사이에서 일반적인 실수를 발견한다, 개선이 필요한 분야에 대한 귀중한 통찰력을 제공합니다. 우리들의 구현은 다음 사이트에서 사용할 수 있습니다 이 https URL. 

 

 

How Generative Spoken Language Modeling Encodes Noisy Speech: Investigation from Phonetics to Syntactics

 

We examine the speech modeling potential of generative spoken language modeling (GSLM), which involves using learned symbols derived from data rather than phonemes for speech analysis and synthesis. Since GSLM facilitates textless spoken language processing, exploring its effectiveness is critical for paving the way for novel paradigms in spoken-language processing. This paper presents the findings of GSLM's encoding and decoding effectiveness at the spoken-language and speech levels. Through speech resynthesis experiments, we revealed that resynthesis errors occur at the levels ranging from phonology to syntactics and GSLM frequently resynthesizes natural but content-altered speech.

 

우리는 생성적 구어의 음성 모델링 잠재력을 조사한다 모델링(GSLM)은 데이터에서 파생된 학습된 기호를 사용하는 것을 포함한다 음성 분석과 합성을 위한 음소보다. GSLM이 가능하기 때문에 텍스트 없는 음성 언어 처리, 그 효과를 탐구하는 것은 중요하다 구어 처리에서 새로운 패러다임을 위한 길을 닦기 위해. 이것. 논문은 GSLM의 인코딩 및 디코딩 효과에 대한 연구 결과를 제시한다 구어와 언어 수준. 음성 재합성 실험을 통해, 우리는 재합성 오류가 음운론에서 다양한 수준에서 발생한다는 것을 밝혔다 구문 및 GSLM은 자주 자연적이지만 내용이 변경된 상태로 재합성합니다 연설. 

 

 

ACLM: A Selective-Denoising based Generative Data Augmentation Approach for Low-Resource Complex NER

 

Complex Named Entity Recognition (NER) is the task of detecting linguistically complex named entities in low-context text. In this paper, we present ACLM Attention-map aware keyword selection for Conditional Language Model fine-tuning), a novel data augmentation approach based on conditional generation to address the data scarcity problem in low-resource complex NER. ACLM alleviates the context-entity mismatch issue, a problem existing NER data augmentation techniques suffer from and often generates incoherent augmentations by placing complex named entities in the wrong context. ACLM builds on BART and is optimized on a novel text reconstruction or denoising task - we use selective masking (aided by attention maps) to retain the named entities and certain keywords in the input sentence that provide contextually relevant additional knowledge or hints about the named entities. Compared with other data augmentation strategies, ACLM can generate more diverse and coherent augmentations preserving the true word sense of complex entities in the sentence. We demonstrate the effectiveness of ACLM both qualitatively and quantitatively on monolingual, cross-lingual, and multilingual complex NER across various low-resource settings. ACLM outperforms all our neural baselines by a significant margin (1%-36%). In addition, we demonstrate the application of ACLM to other domains that suffer from data scarcity (e.g., biomedical). In practice, ACLM generates more effective and factual augmentations for these domains than prior methods. Code: this https URL

 

복잡한 명명된 엔티티 인식(NER)은 다음을 탐지하는 작업입니다 언어학적으로 복잡한 명명된 엔티티를 낮은 수준의 텍스트로 표시합니다. 이 논문에서 우리는 조건부 언어에 대한 ACLM 주의 지도 인식 키워드 선택 제시 모델 미세 조정), 조건부 기반의 새로운 데이터 확대 접근법 저자원 복합 NER의 데이터 부족 문제를 해결하기 위한 생성. ACLM은 기존 NER 데이터의 문제인 컨텍스트-엔티티 불일치 문제를 완화합니다 증강 기술은 일관성이 없고 종종 발생한다 복잡한 명명된 엔티티를 잘못된 컨텍스트에 배치하여 증강합니다. ACLM BART를 기반으로 하며 새로운 텍스트 재구성 또는 노이즈 제거에 최적화됨 과제 - 우리는 이름을 유지하기 위해 선택적 마스킹(주의 지도의 도움을 받아)을 사용한다 상황에 따라 제공하는 입력 문장의 엔티티 및 특정 키워드 명명된 엔티티에 대한 관련 추가 지식 또는 힌트. 에 대한 다른 데이터 확대 전략, ACLM은 더 다양하고 일관성 있게 생성할 수 있다 복잡한 실체의 진정한 단어 감각을 보존하는 증강 문장. 우리는 ACLM의 효과를 질적으로 증명한다 단일 언어, 교차 언어 및 다국어 복합 NER에 대한 정량적 다양한 리소스 부족 설정에서 사용할 수 있습니다. ACLM은 우리의 모든 신경 기준선을 능가한다 상당한 차이(1%-36%)로. 추가로, 우리는 응용 프로그램을 시연한다 데이터 부족으로 어려움을 겪는 다른 도메인(예: 생물의학)에 대한 ACLM. 인 실천, ACLM은 이것들을 위해 더 효과적이고 사실적인 증강을 생성한다 도메인이 이전 방법보다 많습니다. 코드: 이 https URL