[2022-08-25] 오늘의 자연어처리

GenTUS: Simulating User Behaviour and Language in Task-oriented Dialogues with Generative Transformers

 

User simulators (USs) are commonly used to train task-oriented dialogue systems (DSs) via reinforcement learning. The interactions often take place on semantic level for efficiency, but there is still a gap from semantic actions to natural language, which causes a mismatch between training and deployment environment. Incorporating a natural language generation (NLG) module with USs during training can partly deal with this problem. However, since the policy and NLG of USs are optimised separately, these simulated user utterances may not be natural enough in a given context. In this work, we propose a generative transformer-based user simulator (GenTUS). GenTUS consists of an encoder-decoder structure, which means it can optimise both the user policy and natural language generation jointly. GenTUS generates both semantic actions and natural language utterances, preserving interpretability and enhancing language variation. In addition, by representing the inputs and outputs as word sequences and by using a large pre-trained language model we can achieve generalisability in feature representation. We evaluate GenTUS with automatic metrics and human evaluation. Our results show that GenTUS generates more natural language and is able to transfer to an unseen ontology in a zero-shot fashion. In addition, its behaviour can be further shaped with reinforcement learning opening the door to training specialised user simulators.

 

사용자 시뮬레이터(US)는 일반적으로 작업 지향 대화를 훈련하는 데 사용된다. 강화 학습을 통해 시스템(DS)을 제공합니다. 상호 작용은 종종 에 발생한다. 효율성을 위한 의미론적 수준, 그러나 의미론적 행동과는 여전히 차이가 있다. 훈련과 배치 사이의 불일치를 야기하는 자연어로. 환경. 자연어 생성(NLG) 모듈을 US에 통합 훈련하는 동안 이 문제를 부분적으로 다룰 수 있다. 하지만, 그 정책 이후로 미국의 NLG와 NLG는 별도로 최적화되며, 이러한 시뮬레이션된 사용자 발화는 다음과 같다. 주어진 맥락에서 충분히 자연스럽지 않다. 이 작업에서, 우리는 생성물을 제안한다. 변압기 기반 사용자 시뮬레이터(GenTUS)입니다. GenTUS는 인코더-인코더 구조, 즉 사용자 정책을 최적화할 수 있습니다. 자연어 공동 생성 GenTUS는 의미론적 행동과 자연어 발성, 해석성 유지 및 언어 향상 변화. 또한 입력 및 출력을 단어로 표현함으로써 시퀀스와 사전 훈련된 대규모 언어 모델을 사용하여 우리는 달성할 수 있다. 형상 표현의 일반화 가능성. 우리는 Gen을 평가한다.자동 TUS 측정 기준 및 인간 평가. 우리의 결과는 Gen을 보여준다.TUS는 더 많은 것을 생성합니다. 자연어이며 제로샷으로 보이지 않는 온톨로지로 옮길 수 있다. 유행의 또한 그 거동은 보강을 통해 추가로 형성될 수 있습니다. 전문 사용자 시뮬레이터를 교육하는 방법을 배웁니다. 

 

 

A Hierarchical Interactive Network for Joint Span-based Aspect-Sentiment Analysis

 

Recently, some span-based methods have achieved encouraging performances for joint aspect-sentiment analysis, which first extract aspects (aspect extraction) by detecting aspect boundaries and then classify the span-level sentiments (sentiment classification). However, most existing approaches either sequentially extract task-specific features, leading to insufficient feature interactions, or they encode aspect features and sentiment features in a parallel manner, implying that feature representation in each task is largely independent of each other except for input sharing. Both of them ignore the internal correlations between the aspect extraction and sentiment classification. To solve this problem, we novelly propose a hierarchical interactive network (HI-ASA) to model two-way interactions between two tasks appropriately, where the hierarchical interactions involve two steps: shallow-level interaction and deep-level interaction. First, we utilize cross-stitch mechanism to combine the different task-specific features selectively as the input to ensure proper two-way interactions. Second, the mutual information technique is applied to mutually constrain learning between two tasks in the output layer, thus the aspect input and the sentiment input are capable of encoding features of the other task via backpropagation. Extensive experiments on three real-world datasets demonstrate HI-ASA's superiority over baselines.

 

최근, 일부 스팬 기반 방법은 고무적인 성능을 달성했습니다. 먼저 양상을 추출하는 공동 양상 분석(구체적합동 추출)을 통해 측면 경계를 감지한 다음 스팬 레벨을 분류합니다. 감정(구분) 그러나 대부분의 기존 접근법 중 하나는 작업별 피쳐를 순차적으로 추출하여 피쳐 부족 발생 상호 작용, 또는 그들은 측면 특징과 감정 특징을 인코딩한다. 병렬 방식, 각 작업에서 특징 표현은 대체로 입력 공유를 제외하고 서로 독립적입니다. 그들 둘 다 무시한다. 측면 추출과 감정 사이의 내부 상관 관계 분류. 이 문제를 해결하기 위해, 우리는 새로운 계층 구조를 제안한다. 두 작업 간의 양방향 상호 작용을 모델링하는 대화형 네트워크(HI-ASA) 적절하게, 계층적 상호작용이 두 단계를 포함하는 경우: 얕은 수준의 상호 작용과 깊은 수준의 상호 작용. 첫째, 우리는 다양한 작업별 기능을 결합하기 위한 교차 결합 메커니즘 적절한 양방향 상호 작용을 보장하기 위해 선택적으로 입력한다. 둘째, 상호 정보 기술은 상호 간의 학습을 제한하기 위해 적용된다. 출력 계층의 두 가지 작업, 즉 측면 입력과 정서 입력. 역전파를 통해 다른 작업의 기능을 인코딩할 수 있습니다. 세 가지 실제 데이터 세트에 대한 광범위한 실험은 HI-ASA의 기준선에 대한 우위 

 

 

PSSAT: A Perturbed Semantic Structure Awareness Transferring Method for Perturbation-Robust Slot Filling

 

Most existing slot filling models tend to memorize inherent patterns of entities and corresponding contexts from training data. However, these models can lead to system failure or undesirable outputs when being exposed to spoken language perturbation or variation in practice. We propose a perturbed semantic structure awareness transferring method for training perturbation-robust slot filling models. Specifically, we introduce two MLM-based training strategies to respectively learn contextual semantic structure and word distribution from unsupervised language perturbation corpus. Then, we transfer semantic knowledge learned from upstream training procedure into the original samples and filter generated data by consistency processing. These procedures aim to enhance the robustness of slot filling models. Experimental results show that our method consistently outperforms the previous basic methods and gains strong generalization while preventing the model from memorizing inherent patterns of entities and contexts.

 

대부분의 기존 슬롯 채우기 모델은 고유의 패턴을 기억하는 경향이 있다. 교육 데이터의 엔티티 및 해당 컨텍스트. 그러나 이 모델들은 음성 노출 시 시스템 고장 또는 바람직하지 않은 출력으로 이어질 수 있음 언어의 섭동이나 실제의 변화. 우리는 동요된 의미론을 제안한다. 섭동-슬롯 훈련을 위한 구조 인식 전달 방법 충전 모형 특히, 우리는 두 가지 MLM 기반 교육 전략을 소개합니다. 각각 문맥적 의미 구조와 단어 분포를 배운다. 비지도 언어 섭동 말뭉치 그런 다음, 우리는 의미론적 지식을 전달한다. 업스트림 훈련 절차에서 원본 샘플 및 필터로 학습됨 일관성 처리에 의해 생성된 데이터. 이러한 절차는 다음을 향상시키는 것을 목표로 합니다. 슬롯 채우기 모델의 견고성. 실험 결과는 우리의 방법이 일관되게 이전의 기본 방법을 능가하고 강하게 획득한다. 일반화는 모델이 고유의 패턴을 기억하는 것을 막는 동시에 실체 및 컨텍스트