[2023-11-02] 오늘의 자연어처리

Multi-User MultiWOZ: Task-Oriented Dialogues among Multiple Users

 

Abstract:While most task-oriented dialogues assume conversations between the agent and one user at a time, dialogue systems are increasingly expected to communicate with multiple users simultaneously who make decisions collaboratively. To facilitate development of such systems, we release the Multi-User MultiWOZ dataset: task-oriented dialogues among two users and one agent. To collect this dataset, each user utterance from MultiWOZ 2.2 was replaced with a small chat between two users that is semantically and pragmatically consistent with the original user utterance, thus resulting in the same dialogue state and system response. These dialogues reflect interesting dynamics of collaborative decision-making in task-oriented scenarios, e.g., social chatter and deliberation. Supported by this data, we propose the novel task of multi-user contextual query rewriting: to rewrite a task-oriented chat between two users as a concise task-oriented query that retains only task-relevant information and that is directly consumable by the dialogue system. We demonstrate that in multi-user dialogues, using predicted rewrites substantially improves dialogue state tracking without modifying existing dialogue systems that are trained for single-user dialogues. Further, this method surpasses training a medium-sized model directly on multi-user dialogues and generalizes to unseen domains.

 

초록:대부분의 작업 중심 대화는 에이전트와 한 사용자 간의 대화를 한 번에 가정하지만 대화 시스템은 의사결정을 공동으로 수행하는 여러 사용자와 동시에 대화할 것으로 예상된다. 그러한 시스템의 개발을 용이하게 하기 위해, 우리는 두 사용자와 한 에이전트 간의 작업 중심 대화인 다중 사용자 멀티WOZ 데이터 세트를 공개한다. 이 데이터 세트를 수집하기 위해 MultiWOZ 2.2의 각 사용자 발화를 원래 사용자 발화와 의미적, 실용적으로 일치하는 두 사용자 간의 작은 대화로 대체하여 동일한 대화 상태 및 시스템 응답을 도출하였다. 이러한 대화는 소셜 채팅 및 숙고와 같은 작업 지향 시나리오에서 협력적 의사 결정의 흥미로운 역학을 반영한다. 이 데이터가 지원하는 다중 사용자 컨텍스트 쿼리 재작성이라는 새로운 작업을 제안한다. 두 사용자 간의 작업 중심 대화를 작업 관련 정보만 유지하고 대화 시스템이 직접적으로 소비할 수 있는 간결한 작업 중심 쿼리로 다시 작성하는 것이다. 다중 사용자 대화에서 예측된 다시 쓰기를 사용하면 단일 사용자 대화를 위해 훈련된 기존 대화 시스템을 수정하지 않고도 대화 상태 추적이 크게 향상됨을 보여준다. 또한 이 방법은 다중 사용자 대화에서 직접 중형 모델을 훈련하는 것을 능가하고 보이지 않는 영역으로 일반화한다. 

 

 

Representativeness as a Forgotten Lesson for Multilingual and Code-switched Data Collection and Preparation

 

Abstract:Multilingualism is widespread around the world and code-switching (CSW) is a common practice among different language pairs/tuples across locations and regions. However, there is still not much progress in building successful CSW systems, despite the recent advances in Massive Multilingual Language Models (MMLMs). We investigate the reasons behind this setback through a critical study about the existing CSW data sets (68) across language pairs in terms of the collection and preparation (e.g. transcription and annotation) stages. This in-depth analysis reveals that \textbf{a)} most CSW data involves English ignoring other language pairs/tuples \textbf{b)} there are flaws in terms of representativeness in data collection and preparation stages due to ignoring the location based, socio-demographic and register variation in CSW. In addition, lack of clarity on the data selection and filtering stages shadow the representativeness of CSW data sets. We conclude by providing a short check-list to improve the representativeness for forthcoming studies involving CSW data collection and preparation.

 

초록:다국어는 전 세계적으로 널리 퍼져 있으며 코드 전환(CSW)은 위치와 지역에 걸쳐 서로 다른 언어 쌍/튜플 간의 일반적인 관행이다. 그러나 최근 MMLM(Massive Multilinguation Language Models)의 발전에도 불구하고 성공적인 CSW 시스템 구축에는 아직 많은 진전이 없다. 수집 및 준비(예: 전사 및 주석) 단계의 측면에서 언어 쌍에 걸친 기존 CSW 데이터 세트(68)에 대한 비판적 연구를 통해 이러한 차질의 원인을 조사한다. 이 심층 분석은 \textbf{a)} 대부분의 CSW 데이터가 다른 언어 쌍/튜플을 무시하는 영어를 포함하고 있음을 보여준다. \textbf{b)} CSW의 위치 기반, 사회 인구 통계학적 및 레지스터 변동을 무시함으로써 데이터 수집 및 준비 단계에서 대표성 측면에서 결함이 있다. 또한, 데이터 선택 및 필터링 단계에 대한 명확성 부족은 CSW 데이터 세트의 대표성에 그림자를 드리운다. CSW 데이터 수집 및 준비와 관련된 향후 연구의 대표성을 향상시키기 위해 짧은 체크리스트를 제공하는 것으로 마무리한다. 

 

 

AMERICANO: Argument Generation with Discourse-driven Decomposition and Agent Interaction

 

Abstract:Argument generation is a challenging task in natural language processing, which requires rigorous reasoning and proper content organization. Inspired by recent chain-of-thought prompting that breaks down a complex task into intermediate steps, we propose Americano, a novel framework with agent interaction for argument generation. Our approach decomposes the generation process into sequential actions grounded on argumentation theory, which first executes actions sequentially to generate argumentative discourse components, and then produces a final argument conditioned on the components. To further mimic the human writing process and improve the left-to-right generation paradigm of current autoregressive language models, we introduce an argument refinement module which automatically evaluates and refines argument drafts based on feedback received. We evaluate our framework on the task of counterargument generation using a subset of Reddit/CMV dataset. The results show that our method outperforms both end-to-end and chain-of-thought prompting methods and can generate more coherent and persuasive arguments with diverse and rich contents.

 

초록:논변 생성은 엄격한 추론과 적절한 내용 구성이 요구되는 자연어 처리에서 어려운 작업이다. 복잡한 작업을 중간 단계로 분해하는 최근 일련의 사고 촉구에서 영감을 받아 인수 생성을 위한 에이전트 상호 작용이 있는 새로운 프레임워크인 아메리카노를 제안한다. 우리의 접근법은 생성과정을 논증이론에 근거한 순차적 행동으로 분해하는데, 이는 먼저 논증담론적 구성요소를 생성하기 위한 행동을 순차적으로 실행한 후 구성요소에 근거한 최종 논증을 생성한다. 인간 글쓰기 과정을 더욱 모방하고 현재 자기 회귀 언어 모델의 좌-우 생성 패러다임을 개선하기 위해, 우리는 받은 피드백을 기반으로 논증 초안을 자동으로 평가하고 수정하는 논증 정제 모듈을 도입한다. 우리는 Reddit/CMV 데이터 세트의 하위 집합을 사용하여 반론 생성 작업에 대한 프레임워크를 평가한다. 결과는 우리의 방법이 종단 간 및 연쇄 사고 촉진 방법을 모두 능가하고 다양하고 풍부한 내용으로 보다 일관성 있고 설득력 있는 주장을 생성할 수 있음을 보여준다.