[2023-03-18] 오늘의 자연어처리

Secret-Keeping in Question Answering

 

Existing question-answering research focuses on unanswerable questions in the context of always providing an answer when a system can\dots but what about cases where a system {\bf should not} answer a question. This can either be to protect sensitive users or sensitive information. Many models expose sensitive information under interrogation by an adversarial user. We seek to determine if it is possible to teach a question-answering system to keep a specific fact secret. We design and implement a proof-of-concept architecture and through our evaluation determine that while possible, there are numerous directions for future research to reduce system paranoia (false positives), information leakage (false negatives) and extend the implementation of the work to more complex problems with preserving secrecy in the presence of information aggregation.

 

기존의 질문 답변 연구는 답할 수 없는 질문에 초점을 맞춥니다 시스템이\"결정할 수 있을 때 항상 답을 제공하는 맥락이지만, 무엇은 시스템이 질문에 답하면 안 되는 경우. 이는 다음과 같을 수 있다 중요한 사용자 또는 중요한 정보를 보호합니다. 많은 모델이 민감하게 노출됨 적대적 사용자가 심문 중인 정보. 우리는 다음과 같은지 결정하려고 한다 특정 사실을 유지하기 위해 질문 유도 시스템을 가르치는 것이 가능하다 비밀. 우리는 개념 증명 아키텍처를 설계하고 구현합니다. 그리고 우리의 평가는 가능한 한, 많은 방향이 있다는 것을 결정한다 시스템 편집증(거짓 긍정)을 줄이기 위한 향후 연구, 정보 유출(거짓 부정) 및 작업의 구현을 더 많은 것으로 확장합니다 정보가 있는 곳에서 비밀을 유지하는 복잡한 문제들 집합체. 

 

 

Exploring Distributional Shifts in Large Language Models for Code Analysis

 

We systematically study the capacity of two large language models for code - CodeT5 and Codex - to generalize to out-of-domain data. In this study, we consider two fundamental applications - code summarization, and code generation. We split data into domains following its natural boundaries - by an organization, by a project, and by a module within the software project. This makes recognition of in-domain vs out-of-domain data at the time of deployment trivial. We establish that samples from each new domain present both models with a significant challenge of distribution shift. We study how well different established methods can adapt models to better generalize to new domains. Our experiments show that while multitask learning alone is a reasonable baseline, combining it with few-shot finetuning on examples retrieved from training data can achieve very strong performance. In fact, according to our experiments, this solution can outperform direct finetuning for very low-data scenarios. Finally, we consider variations of this approach to create a more broadly applicable method to adapt to multiple domains at once. We find that in the case of code generation, a model adapted to multiple domains simultaneously performs on par with those adapted to each domain individually.

 

우리는 코드에 대한 두 개의 큰 언어 모델의 용량을 체계적으로 연구한다 CodeT5 및 Codex - 도메인 외부 데이터로 일반화합니다. 이 연구에서, 우리는 코드 요약 및 코드라는 두 가지 기본 응용 프로그램을 고려합니다 시대. 우리는 데이터를 자연적인 경계를 따라 도메인으로 나눈다 조직, 프로젝트별, 소프트웨어 프로젝트 내 모듈별로 구성됩니다. 이것. 배포 시 도메인 내 데이터와 도메인 외부 데이터를 인식합니다 자질구레한. 우리는 각각의 새로운 도메인의 샘플이 두 모델을 제시한다는 것을 확립한다 중요한 문제를 안고 있습니다. 우리는 얼마나 다른지 연구한다 확립된 방법은 모델을 새로운 도메인으로 더 잘 일반화하도록 조정할 수 있다. 우리들의 실험은 멀티태스킹 학습만으로도 합리적인 기준이 되는 것을 보여준다, 교육 데이터에서 검색된 예제에 대한 퓨샷 미세 조정과 결합 매우 강력한 성능을 달성할 수 있습니다. 사실, 우리의 실험에 따르면, 이 솔루션은 매우 낮은 데이터 시나리오에서 직접 미세 조정을 능가할 수 있습니다. 마지막으로, 우리는 더 광범위하게 만들기 위해 이 접근법의 변형을 고려한다 여러 도메인에 동시에 적용할 수 있는 방법입니다. 우리는 그것을 발견한다 코드 생성의 경우, 여러 도메인에 동시에 적용되는 모델 각 도메인에 개별적으로 적용된 것과 동등한 성능을 발휘합니다. 

 

 

Self-Consistent Learning: Cooperation between Generators and Discriminators

 

Using generated data to improve the performance of downstream discriminative models has recently gained popularity due to the great development of pre-trained language models. In most previous studies, generative models and discriminative models are trained separately and thus could not adapt to any changes in each other. As a result, the generated samples can easily deviate from the real data distribution, while the improvement of the discriminative model quickly reaches saturation. Generative adversarial networks (GANs) train generative models via an adversarial process with discriminative models to achieve joint training. However, the training of standard GANs is notoriously unstable and often falls short of convergence. In this paper, to address these issues, we propose a $\textit{self-consistent learning}$ framework, in which a discriminator and a generator are cooperatively trained in a closed-loop form. The discriminator and the generator enhance each other during multiple rounds of alternating training until a scoring consensus is reached. This framework proves to be easy to train and free from instabilities such as mode collapse and non-convergence. Extensive experiments on sentence semantic matching demonstrate the effectiveness of the proposed framework: the discriminator achieves 10+ AP of improvement on the zero-shot setting and new state-of-the-art performance on the full-data setting.

 

생성된 데이터를 사용하여 다운스트림 차별화의 성능 향상 모델들은 최근에 인기를 얻었다. 왜냐하면 큰 발전 때문이다 사전 훈련된 언어 모델. 대부분의 이전 연구에서 생성 모델과 차별적 모델들은 별도로 훈련되고 따라서 어떤 것에도 적응할 수 없었다 서로의 변화. 결과적으로, 생성된 샘플은 쉽게 벗어날 수 있다 실제 데이터 분포로부터, 그리고 차별적인 개선 모델이 빠르게 포화 상태에 도달합니다. 생성적 적대 네트워크(GAN) 훈련 차별적 모델을 사용하여 적대적 프로세스를 통한 생성 모델 합동 훈련을 하다. 그러나 표준 GAN의 훈련은 악명높다 불안정하고 종종 수렴에 미치지 못한다. 이 논문에서, 이것들을 다루기 위해 문제, 우리는 $\textit{자체 독립 학습}$ 프레임워크를 제안한다 판별기와 생성기는 폐쇄 루프 형태로 협력적으로 훈련된다. 판별기와 제너레이터는 여러 라운드 동안 서로를 강화합니다 점수 합의에 도달할 때까지 교대 훈련을 한다. 이 틀 교육이 쉽고 모드 붕괴와 같은 불안정성이 없음이 입증되었습니다 수렴하지 않습니다. 문장 의미 일치에 대한 광범위한 실험 제안된 프레임워크의 효과를 입증한다: 판별자 제로샷 설정 및 새로운 설정에 대해 10개 이상의 AP 개선 전체 데이터 환경에서 최첨단 성능을 제공합니다.