[2023-07-17] 오늘의 자연어처리

To share or not to share: What risks would laypeople accept to give sensitive data to differentially-private NLP systems?

 

Although the NLP community has adopted central differential privacy as a go-to framework for privacy-preserving model training or data sharing, the choice and interpretation of the key parameter, privacy budget $\varepsilon$ that governs the strength of privacy protection, remains largely arbitrary. We argue that determining the $\varepsilon$ value should not be solely in the hands of researchers or system developers, but must also take into account the actual people who share their potentially sensitive data. In other words: Would you share your instant messages for $\varepsilon$ of 10? We address this research gap by designing, implementing, and conducting a behavioral experiment (311 lay participants) to study the behavior of people in uncertain decision-making situations with respect to privacy-threatening situations. Framing the risk perception in terms of two realistic NLP scenarios and using a vignette behavioral study help us determine what $\varepsilon$ thresholds would lead lay people to be willing to share sensitive textual data - to our knowledge, the first study of its kind.

 

비록 NLP 커뮤니티가 중앙 차등 개인 정보 보호를 채택했지만 개인 정보 보호 모델 교육 또는 데이터 공유를 위한 이동 프레임워크 핵심 매개 변수의 선택 및 해석, 개인 정보 보호 예산 $\varepsilon$ 개인 정보 보호의 강도를 지배하는 것은 대부분 자의적이다. 우리가 $\varepsilon$ 값을 결정하는 것이 오직 다음에만 있어서는 안 된다고 주장한다 연구자나 시스템 개발자의 손이지만, 또한 고려해야 한다 잠재적으로 중요한 데이터를 공유하는 실제 사람들. 다른 말로 하면: 그럴 것이다 $\varepsilon$/10에 대한 인스턴트 메시지를 공유하시겠습니까? 이 문제를 해결합니다 행동 실험을 설계, 구현 및 수행함으로써 연구 격차 (311명의 일반 참가자) 불확실한 사람들의 행동을 연구한다 개인 정보 보호를 위협하는 상황과 관련된 의사 결정 상황. 두 가지 현실적인 NLP 시나리오의 관점에서 위험 인식을 구성하고 다음을 사용한다 비그넷 행동 연구는 $\varepsilon$ 임계값을 결정하는 데 도움이 된다 일반인들이 민감한 텍스트 데이터를 기꺼이 공유하도록 유도합니다 지식, 그것의 종류에 대한 첫번째 연구. 

 

 

Agreement Tracking for Multi-Issue Negotiation Dialogues

 

Automated negotiation support systems aim to help human negotiators reach more favorable outcomes in multi-issue negotiations (e.g., an employer and a candidate negotiating over issues such as salary, hours, and promotions before a job offer). To be successful, these systems must accurately track agreements reached by participants in real-time. Existing approaches either focus on task-oriented dialogues or produce unstructured outputs, rendering them unsuitable for this objective. Our work introduces the novel task of agreement tracking for two-party multi-issue negotiations, which requires continuous monitoring of agreements within a structured state space. To address the scarcity of annotated corpora with realistic multi-issue negotiation dialogues, we use GPT-3 to build GPT-Negochat, a synthesized dataset that we make publicly available. We present a strong initial baseline for our task by transfer-learning a T5 model trained on the MultiWOZ 2.4 corpus. Pre-training T5-small and T5-base on MultiWOZ 2.4's DST task enhances results by 21% and 9% respectively over training solely on GPT-Negochat. We validate our method's sample-efficiency via smaller training subset experiments. By releasing GPT-Negochat and our baseline models, we aim to encourage further research in multi-issue negotiation dialogue agreement tracking.

 

자동화된 협상 지원 시스템은 인간 협상가가 도달할 수 있도록 돕는 것을 목표로 한다 다중 이슈 협상에서 더 유리한 결과(예: 고용주 및 a 급여, 시간, 승진 등의 문제를 놓고 협상하는 후보자 채용 제의). 성공하기 위해서는 이러한 시스템이 계약을 정확하게 추적해야 합니다 실시간으로 참가자들이 도달했습니다. 기존 접근 방식은 다음에 중점을 둡니다 작업 지향적인 대화 또는 비정형 출력을 생성하여 렌더링합니다 이 목적에 적합하지 않다. 우리의 작업은 합의라는 새로운 과제를 소개한다 지속적으로 필요한 2자 다중 문제 협상을 위한 추적 구조화된 상태 공간 내의 합의에 대한 모니터링. 주소를 지정하려면 현실적인 다중 이슈 협상 대화를 가진 주석이 달린 말뭉치의 희소성, 우리는 GPT-3을 사용하여 공개적으로 만드는 합성 데이터 세트인 GPT-Negochat을 구축한다 이용할 수 있는. 우리는 우리의 작업에 대한 강력한 초기 기준선을 다음과 같이 제시한다 MultiWOZ 2.4 말뭉치로 훈련된 T5 모델을 전송 학습한다. 사전 교육 MultiWOZ 2.4의 DST 작업을 기반으로 하는 T5-small 및 T5-base는 결과를 21% 및 9% 향상시킵니다 각각 GPT-Negochat에 대한 훈련보다. 우리는 우리의 방법을 검증한다 소규모 훈련 하위 집합 실험을 통한 샘플 효율성. 해제함으로써 GPT-Negochat 및 우리의 기준 모델에서 우리는 추가 연구를 장려하는 것을 목표로 한다 다중 쟁점 협상 대화 합의 추적. 

 

 

Negated Complementary Commonsense using Large Language Models

 

Larger language models, such as GPT-3, have shown to be excellent in many tasks. However, we demonstrate that out-of-ordinary questions can throw the model off guard. This work focuses on finding answers to negated complementary questions in commonsense scenarios. We illustrate how such questions adversely affect the model responses. We propose a model-agnostic methodology to improve the performance in negated complementary scenarios. Our method outperforms few-shot generation from GPT-3 (by more than 11 points) and, more importantly, highlights the significance of studying the response of large language models in negated complementary questions. The code, data, and experiments are available under: this https URL.

 

GPT-3와 같은 더 큰 언어 모델은 많은 면에서 우수한 것으로 나타났다 과제. 그러나, 우리는 비정상적인 질문들이 그것을 던져줄 수 있다는 것을 증명한다 허를 찌르다. 이 작업은 부정된 보완 요소에 대한 답을 찾는 데 중점을 둡니다 상식적인 시나리오에서의 질문. 우리는 그러한 질문들이 얼마나 불리한지 설명한다 모형 반응에 영향을 줍니다. 우리는 개선하기 위해 모델에 구애받지 않는 방법론을 제안한다 무효화된 보완 시나리오에서의 성능. 우리의 방법은 성능이 뛰어나다 GPT-3에서 퓨샷 생성(11점 이상), 그리고 더 중요한 것은, 큰 언어 모델의 반응을 연구하는 것의 중요성을 강조한다 부정한 보충 질문에서. 코드, 데이터, 그리고 실험은 아래에서 사용 가능: 이 https URL.