[2022-09-07] 오늘의 자연어처리

Reference Resolution and Context Change in Multimodal Situated Dialogue for Exploring Data Visualizations

 

Reference resolution, which aims to identify entities being referred to by a speaker, is more complex in real world settings: new referents may be created by processes the agents engage in and/or be salient only because they belong to the shared physical setting. Our focus is on resolving references to visualizations on a large screen display in multimodal dialogue; crucially, reference resolution is directly involved in the process of creating new visualizations. We describe our annotations for user references to visualizations appearing on a large screen via language and hand gesture and also new entity establishment, which results from executing the user request to create a new visualization. We also describe our reference resolution pipeline which relies on an information-state architecture to maintain dialogue context. We report results on detecting and resolving references, effectiveness of contextual information on the model, and under-specified requests for creating visualizations. We also experiment with conventional CRF and deep learning / transformer models (BiLSTM-CRF and BERT-CRF) for tagging references in user utterance text. Our results show that transfer learning significantly boost performance of the deep learning methods, although CRF still out-performs them, suggesting that conventional methods may generalize better for low resource data.

 

참조 결의안, 이는 A에 의해 참조되는 엔티티를 식별하는 것을 목표로 한다. 스피커, 실제 환경에서 더 복잡합니다: 새로운 참조가 생성될 수 있습니다. 프로세스에 의해 대리인은 소속되어 있다는 이유만으로 참여하거나 두드러진다. 공유된 물리적 환경 우리의 초점은 다음과 같은 참조 사항을 해결하는 데 있다. 멀티모달 대화에서 대형 화면 디스플레이의 시각화; 결정적으로, 참조 해상도는 새로운 생성 프로세스에 직접 관여합니다. 시각화 사용자 참조에 대한 주석을 설명합니다. 언어 및 손동작을 통해 대형 화면에 나타나는 시각화 및 또한 사용자 요청을 실행함으로써 발생하는 새로운 엔티티 설정 새 시각화를 만듭니다. 또한 참조 해상도 파이프라인에 대해 설명합니다. 대화 컨텍스트를 유지하기 위해 정보 상태 아키텍처에 의존한다. 참조 탐지 및 해결, 효과성에 대한 결과를 보고합니다. 모델의 상황별 정보 및 생성에 대한 미지정 요청 시각화 우리는 또한 전통적인 CRF와 딥 러닝으로 실험한다. 사용자의 참조 태그 지정을 위한 트랜스포머 모델(BiLSTM-CRF 및 BERT-CRF) 발화 텍스트 우리의 결과는 전이 학습이 크게 향상된다는 것을 보여준다. 딥 러닝 방법의 성능은 CRF가 여전히 그것들을 능가하지만, 기존 방법이 낮은 자원에 대해 더 잘 일반화될 수 있음을 시사함 데이터. 

 

 

PromptAttack: Prompt-based Attack for Language Models via Gradient Search

 

As the pre-trained language models (PLMs) continue to grow, so do the hardware and data requirements for fine-tuning PLMs. Therefore, the researchers have come up with a lighter method called \textit{Prompt Learning}. However, during the investigations, we observe that the prompt learning methods are vulnerable and can easily be attacked by some illegally constructed prompts, resulting in classification errors, and serious security problems for PLMs. Most of the current research ignores the security issue of prompt-based methods. Therefore, in this paper, we propose a malicious prompt template construction method (\textbf{PromptAttack}) to probe the security performance of PLMs. Several unfriendly template construction approaches are investigated to guide the model to misclassify the task. Extensive experiments on three datasets and three PLMs prove the effectiveness of our proposed approach PromptAttack. We also conduct experiments to verify that our method is applicable in few-shot scenarios.

 

사전 훈련된 언어 모델(PLM)이 계속 성장함에 따라, 또한 성장한다. PLM의 미세 조정을 위한 하드웨어 및 데이터 요구 사항. 따라서 연구진은 \textit{Prompt Learning}이라는 더 가벼운 방법을 생각해냈습니다. 하지만, 조사를 하는 동안, 우리는 신속한 학습 방법이 취약하고 불법적으로 구성된 프롬프트에 의해 쉽게 공격받을 수 있습니다. 결과적으로 분류 오류가 발생하고 PLM에 심각한 보안 문제가 발생합니다. 현재 연구의 대부분은 신속한 기반 보안 문제를 무시한다. 방법들. 따라서 본 논문에서는 악성 프롬프트 템플릿을 제안한다. 보안 성능을 조사하는 구성 방법(\textbf{PromptAttack}) PLM의. 몇 가지 비우호적인 템플릿 구성 접근법이 조사됩니다. 작업을 잘못 분류하도록 모델을 안내합니다. 세 가지에 대한 광범위한 실험 데이터 세트 및 세 개의 PLM은 제안된 접근 방식의 효과를 입증합니다. 공격을 요청합니다. 우리는 또한 우리의 방법이 다음과 같은지 확인하기 위해 실험을 수행한다. 몇 번의 촬영 시나리오에 적용할 수 있습니다. 

 

 

Entity Aware Syntax Tree Based Data Augmentation for Natural Language Understanding

 

Understanding the intention of the users and recognizing the semantic entities from their sentences, aka natural language understanding (NLU), is the upstream task of many natural language processing tasks. One of the main challenges is to collect a sufficient amount of annotated data to train a model. Existing research about text augmentation does not abundantly consider entity and thus performs badly for NLU tasks. To solve this problem, we propose a novel NLP data augmentation technique, Entity Aware Data Augmentation (EADA), which applies a tree structure, Entity Aware Syntax Tree (EAST), to represent sentences combined with attention on the entity. Our EADA technique automatically constructs an EAST from a small amount of annotated data, and then generates a large number of training instances for intent detection and slot filling. Experimental results on four datasets showed that the proposed technique significantly outperforms the existing data augmentation methods in terms of both accuracy and generalization ability.

 

사용자의 의사 이해 및 의미 인식 자연어 이해(NLU)라고 불리는 그들의 문장의 실체들은 많은 자연어 처리 작업의 업스트림 작업. 메인 중 하나 과제는 충분한 양의 주석이 달린 데이터를 수집하는 것이다. 모델. 텍스트 증강에 대한 기존 연구는 충분히 고려하지 않는다. 따라서 NLU 작업에 대해 성능이 좋지 않습니다. 이 문제를 해결하기 위해, 우리는 제안한다. 새로운 NLP 데이터 확대 기술, EADA(Entity Aware Data Augmentation) 트리 구조인 EAST(Entity Aware Syntax Tree)를 적용하여 실체에 대한 주의와 결합된 문장 우리의 EADA 기법 주석이 달린 소량의 데이터로 EAST를 자동으로 구성합니다. 그런 다음 의도 탐지를 위한 많은 수의 훈련 인스턴스를 생성합니다. 슬롯 채우기 4개의 데이터 세트에 대한 실험 결과는 제안된 것을 보여주었다. 기술은 기존 데이터 증가 방법을 크게 능가한다. 정확성과 일반화 능력의 용어.