[2023-02-04] 오늘의 자연어처리

How to choose "Good" Samples for Text Data Augmentation

 

Deep learning-based text classification models need abundant labeled data to obtain competitive performance. Unfortunately, annotating large-size corpus is time-consuming and laborious. To tackle this, multiple researches try to use data augmentation to expand the corpus size. However, data augmentation may potentially produce some noisy augmented samples. There are currently no works exploring sample selection for augmented samples in nature language processing field. In this paper, we propose a novel self-training selection framework with two selectors to select the high-quality samples from data augmentation. Specifically, we firstly use an entropy-based strategy and the model prediction to select augmented samples. Considering some samples with high quality at the above step may be wrongly filtered, we propose to recall them from two perspectives of word overlap and semantic similarity. Experimental results show the effectiveness and simplicity of our framework.

 

딥 러닝 기반 텍스트 분류 모델은 풍부한 레이블링된 데이터가 필요하다 경쟁력을 얻다. 불행하게도, 큰 크기의 말뭉치에 주석을 다는 것은 시간이 많이 걸리고 수고가 많습니다. 이를 해결하기 위해 여러 연구에서 데이터 확대를 통해 말뭉치 크기를 확장할 수 있습니다. 그러나 데이터 증가는 다음과 같다 잠재적으로 노이즈가 많은 증강 샘플을 생성합니다. 현재 작업이 없습니다 자연어 처리에서 증강된 샘플을 위한 샘플 선택 탐색 이 논문에서, 우리는 새로운 자기 훈련 선택 프레임워크를 제안한다 두 개의 선택기를 사용하여 데이터 확대에서 고품질 샘플을 선택할 수 있습니다. 구체적으로, 우리는 먼저 엔트로피 기반 전략과 모델 예측을 사용한다 증강된 샘플을 선택합니다. 품질이 우수한 샘플을 고려하여 위의 단계는 잘못 필터링될 수 있습니다. 우리는 두 단계에서 그것들을 회수할 것을 제안합니다 단어 중첩 및 의미론적 유사성의 관점. 실험 결과는 다음을 보여준다 우리 프레임워크의 효율성과 단순성. 

 

 

TransFool: An Adversarial Attack against Neural Machine Translation Models

 

Deep neural networks have been shown to be vulnerable to small perturbations of their inputs, known as adversarial attacks. In this paper, we investigate the vulnerability of Neural Machine Translation (NMT) models to adversarial attacks and propose a new attack algorithm called TransFool. To fool NMT models, TransFool builds on a multi-term optimization problem and a gradient projection step. By integrating the embedding representation of a language model, we generate fluent adversarial examples in the source language that maintain a high level of semantic similarity with the clean samples. Experimental results demonstrate that, for different translation tasks and NMT architectures, our white-box attack can severely degrade the translation quality while the semantic similarity between the original and the adversarial sentences stays high. Moreover, we show that TransFool is transferable to unknown target models. Finally, based on automatic and human evaluations, TransFool leads to improvement in terms of success rate, semantic similarity, and fluency compared to the existing attacks both in white-box and black-box settings. Thus, TransFool permits us to better characterize the vulnerability of NMT models and outlines the necessity to design strong defense mechanisms and more robust NMT systems for real-life applications.

 

심층 신경망은 작은 동요에 취약한 것으로 나타났다 적대적 공격으로 알려진 그들의 입력의. 이 논문에서 우리는 다음을 조사한다 적대적인 신경 기계 번역(NMT) 모델의 취약성 공격하고 TransFool이라는 새로운 공격 알고리즘을 제안합니다. NMT를 속이려면 모델, TransFool은 다항 최적화 문제 및 그레이디언트를 기반으로 구축됩니다 투영 단계. 언어의 임베딩 표현을 통합함으로써 모델, 우리는 소스 언어에서 유창한 적대적 사례를 생성한다 깨끗한 샘플과 높은 수준의 의미론적 유사성을 유지한다. 실험 결과는 다양한 번역 작업과 NMT에 대해 다음을 보여준다 아키텍처, 우리의 화이트박스 공격은 번역을 심각하게 저하시킬 수 있다 원본과 적대적인 것 사이의 의미론적 유사성인 반면 품질 문장이 높은 상태를 유지합니다. 게다가, 우리는 TransFool이 다음과 같이 이전할 수 있다는 것을 보여준다 알 수 없는 대상 모델입니다. 마지막으로, 자동적이고 인간적인 평가를 바탕으로, TransFool은 성공률, 의미론적 유사성, 화이트 박스와 블랙 박스 모두에서 기존 공격과 비교했을 때 유창함 설정. 따라서 TransFool은 취약성을 더 잘 특성화할 수 있게 해줍니다 강력한 방어 메커니즘을 설계할 필요성을 개략적으로 설명하고 NMT 모델에 대해 설명합니다 실생활 애플리케이션을 위한 보다 강력한 NMT 시스템. 

 

 

Using In-Context Learning to Improve Dialogue Safety

 

While large neural-based conversational models have become increasingly proficient as dialogue agents, recent work has highlighted safety issues with these systems. For example, these systems can be goaded into generating toxic content, which often perpetuates social biases or stereotypes. We investigate a retrieval-based framework for reducing bias and toxicity in responses generated from neural-based chatbots. It uses in-context learning to steer a model towards safer generations. Concretely, to generate a response to an unsafe dialogue context, we retrieve demonstrations of safe model responses to similar dialogue contexts. We find our proposed approach performs competitively with strong baselines which use fine-tuning. For instance, using automatic evaluation, we find our best fine-tuned baseline only generates safe responses to unsafe dialogue contexts from DiaSafety 2.92% more than our approach. Finally, we also propose a straightforward re-ranking procedure which can further improve response safeness.

 

대규모 신경 기반 대화 모델이 점점 더 많아지는 동안 대화 에이전트로서 능숙한, 최근의 연구는 안전 문제를 강조했다 이 제도들. 예를 들어, 이러한 시스템은 독성을 생성하도록 촉진될 수 있습니다 사회적 편견이나 고정관념을 영구화하는 내용. 우리는 a를 조사한다 생성된 응답의 편향과 독성을 줄이기 위한 검색 기반 프레임워크 신경 기반 챗봇으로부터. 그것은 모델을 조종하기 위해 상황에 맞는 학습을 사용한다 더 안전한 세대를 향해. 구체적으로, 안전하지 않은 사람에 대한 응답을 생성하기 위해 대화 맥락, 우리는 유사한 것에 대한 안전한 모델 응답의 시연을 검색한다 대화의 맥락. NAT이 제안한 접근 방식은 다음과 경쟁력이 있습니다 미세 조정을 사용하는 강력한 기준선. 예를 들어, 자동 사용 평가, 우리는 최상의 미세 조정 기준선이 안전한 응답만 생성한다는 것을 발견했다 DiaSafety에서 안전하지 않은 대화 컨텍스트로 접근하는 것이 우리의 접근 방식보다 2.92% 더 많습니다. 마지막으로, 우리는 또한 다음과 같은 간단한 순위 조정 절차를 제안한다 응답 안전성을 더욱 향상시킵니다.