[2022-11-30] 오늘의 자연어처리

Attack on Unfair ToS Clause Detection: A Case Study using Universal Adversarial Triggers

 

Recent work has demonstrated that natural language processing techniques can support consumer protection by automatically detecting unfair clauses in the Terms of Service (ToS) Agreement. This work demonstrates that transformer-based ToS analysis systems are vulnerable to adversarial attacks. We conduct experiments attacking an unfair-clause detector with universal adversarial triggers. Experiments show that a minor perturbation of the text can considerably reduce the detection performance. Moreover, to measure the detectability of the triggers, we conduct a detailed human evaluation study by collecting both answer accuracy and response time from the participants. The results show that the naturalness of the triggers remains key to tricking readers.

 

최근의 연구는 자연어 처리 기술이 다음과 같이 할 수 있다는 것을 보여주었다. 불공정 조항을 자동으로 감지함으로써 소비자 보호를 지원한다. 서비스 약관(ToS) 계약. 이 작업은 변압기 기반의 ToS 분석 시스템은 적대적 공격에 취약하다. 우리는 지휘합니다. 보편적 적대감을 가진 불공정한 탐지기를 공격하는 실험 트리거. 실험에 따르면 텍스트의 사소한 섭동은 다음과 같다. 탐지 성능을 상당히 저하시킵니다. 게다가, 측정하기 위해 트리거의 탐지 가능성, 우리는 다음에 의해 상세한 인간 평가 연구를 수행한다. 참가자로부터 답변 정확도와 응답 시간을 모두 수집합니다. 그 결과는 트리거의 자연스러움이 속임수의 핵심으로 남아 있음을 보여준다. 독자들. 

 

 

Frustratingly Easy Label Projection for Cross-lingual Transfer

 

Translating training data into many languages has emerged as a practical solution for improving cross-lingual transfer. For tasks that involve span-level annotations, such as information extraction or question answering, an additional label projection step is required to map annotated spans onto the translated texts. Recently, a few efforts have utilized a simple mark-then-translate method to jointly perform translation and projection by inserting special markers around the labeled spans in the original sentence. However, as far as we are aware, no empirical analysis has been conducted on how this approach compares to traditional annotation projection based on word alignment. In this paper, we present an extensive empirical study across 42 languages and three tasks (QA, NER, and Event Extraction) to evaluate the effectiveness and limitations of both methods, filling an important gap in the literature. Experimental results show that our optimized version of mark-then-translate, which we call EasyProject, is easily applied to many languages and works surprisingly well, outperforming the more complex word alignment-based methods. We analyze several key factors that affect end-task performance, and show EasyProject works well because it can accurately preserve label span boundaries after translation. We will publicly release all our code and data.

 

훈련 데이터를 많은 언어로 번역하는 것이 실용적인 것으로 나타났다. 언어 간 전이를 개선하기 위한 솔루션입니다. 관련 태스크의 경우 정보 추출 또는 질문 답변과 같은 범위 수준 주석 주석이 달린 스팬을 위에 매핑하려면 추가 라벨 투영 단계가 필요합니다. 번역본 최근에, 몇 가지 노력이 간단한 것을 이용했다. 번역 및 투영을 공동으로 수행하기 위한 마크 후 추출 방법 원래 문장에서 레이블이 지정된 범위 주위에 특수 마커를 삽입합니다. 그러나, 우리가 아는 한, 어떠한 경험적 분석도 행해지지 않았다. 이 접근법이 단어에 기반한 전통적인 주석 투영법과 비교되는 방법 정렬 본 논문에서, 우리는 42개에 걸친 광범위한 경험적 연구를 제시한다. 언어 및 세 가지 작업(QA, NER 및 이벤트 추출)을 평가합니다. 두 방법 모두의 효과와 한계, 중요한 격차를 메운다. 문학. 실험 결과는 우리의 최적화된 버전이 우리가 Easy Project라고 부르는 Mark-then-translate는 많은 사람들에게 쉽게 적용된다. 언어와 작동이 놀라울 정도로 잘 되어 더 복잡한 단어를 능가합니다. 정렬 기반 방법 최종 작업에 영향을 미치는 몇 가지 주요 요인을 분석합니다. 성능, 그리고 Easy Project가 정확하게 보존될 수 있기 때문에 잘 작동한다는 것을 보여줍니다. 변환 후 레이블 범위 경계. 우리는 우리의 모든 코드를 공개할 것이다. 및 데이터. 

 

 

Attack on Unfair ToS Clause Detection: A Case Study using Universal Adversarial Triggers

 

Recent work has demonstrated that natural language processing techniques can support consumer protection by automatically detecting unfair clauses in the Terms of Service (ToS) Agreement. This work demonstrates that transformer-based ToS analysis systems are vulnerable to adversarial attacks. We conduct experiments attacking an unfair-clause detector with universal adversarial triggers. Experiments show that a minor perturbation of the text can considerably reduce the detection performance. Moreover, to measure the detectability of the triggers, we conduct a detailed human evaluation study by collecting both answer accuracy and response time from the participants. The results show that the naturalness of the triggers remains key to tricking readers.

 

최근의 연구는 자연어 처리 기술이 다음과 같이 할 수 있다는 것을 보여주었다. 불공정 조항을 자동으로 감지함으로써 소비자 보호를 지원한다. 서비스 약관(ToS) 계약. 이 작업은 변압기 기반의 ToS 분석 시스템은 적대적 공격에 취약하다. 우리는 지휘합니다. 보편적 적대감을 가진 불공정한 탐지기를 공격하는 실험 트리거. 실험에 따르면 텍스트의 사소한 섭동은 다음과 같다. 탐지 성능을 상당히 저하시킵니다. 게다가, 측정하기 위해 트리거의 탐지 가능성, 우리는 다음에 의해 상세한 인간 평가 연구를 수행한다. 참가자로부터 답변 정확도와 응답 시간을 모두 수집합니다. 그 결과는 트리거의 자연스러움이 속임수의 핵심으로 남아 있음을 보여준다. 독자들.