[2022-11-20] 오늘의 자연어처리

Ignore Previous Prompt: Attack Techniques For Language Models

 

Transformer-based large language models (LLMs) provide a powerful foundation for natural language tasks in large-scale customer-facing applications. However, studies that explore their vulnerabilities emerging from malicious user interaction are scarce. By proposing PromptInject, a prosaic alignment framework for mask-based iterative adversarial prompt composition, we examine how GPT-3, the most widely deployed language model in production, can be easily misaligned by simple handcrafted inputs. In particular, we investigate two types of attacks -- goal hijacking and prompt leaking -- and demonstrate that even low-aptitude, but sufficiently ill-intentioned agents, can easily exploit GPT-3's stochastic nature, creating long-tail risks. The code for PromptInject is available at this https URL.

 

트랜스포머 기반 LLM(Large Language Model)은 강력한 기반을 제공 대규모 고객 대면 애플리케이션의 자연어 작업에 사용됩니다. 그러나 악의적으로 발생하는 취약성을 탐색하는 연구 사용자 상호 작용이 부족합니다. Proposal Proposal을 통해주입, 산형 정렬 마스크 기반 반복 적대적 프롬프트 구성을 위한 프레임워크, 우리는 검토한다. 프로덕션에서 가장 널리 배포된 언어 모델인 GPT-3이 어떻게 쉽게 가능할 수 있는가? 단순한 수작업 입력에 의해 잘못 정렬됩니다. 특히, 우리는 두 가지를 조사한다. 공격의 유형 - 골 하이잭킹과 즉각적인 누출 - 그리고 그것을 증명한다. 저용량이지만 충분히 검증되지 않은 에이전트도 쉽게 악용할 수 있습니다. GPT-3의 확률적 특성으로 인해 긴 꼬리 위험이 발생합니다. 프롬프트 코드주입 이 https URL에서 사용할 수 있습니다. 

 

 

Efficient Transformers with Dynamic Token Pooling

 

Transformers achieve unrivalled performance in modelling language, but remain inefficient in terms of memory and time complexity. A possible remedy is to reduce the sequence length in the intermediate layers by pooling fixed-length segments of tokens. Nevertheless, natural units of meaning, such as words or phrases, display varying sizes. To address this mismatch, we equip language models with a dynamic-pooling mechanism, which predicts segment boundaries in an autoregressive fashion. We compare several methods to infer boundaries, including end-to-end learning through stochastic re-parameterisation, supervised learning (based on segmentations from subword tokenizers or spikes in conditional entropy), as well as linguistically motivated boundaries. We perform character-level evaluation on texts from multiple datasets and morphologically diverse languages. The results demonstrate that dynamic pooling, which jointly segments and models language, is often both faster and more accurate than vanilla Transformers and fixed-length pooling within the same computational budget.

 

트랜스포머는 모델링 언어에서 타의 추종을 불허하는 성능을 달성하지만, 여전히 존재합니다. 메모리 및 시간 복잡성 측면에서 비효율적입니다. 가능한 해결책은 …이다. 고정 길이 풀링을 통해 중간 계층의 시퀀스 길이를 줄입니다. 토큰 세그먼트 그럼에도 불구하고, 단어나 같은 자연적인 의미의 단위는 구, 다양한 크기를 표시합니다. 이 불일치를 해결하기 위해, 우리는 언어를 구비한다. 세그먼트 경계를 예측하는 동적 확장 메커니즘이 있는 모델 자기 퇴행적인 방식 우리는 경계를 추론하기 위해 몇 가지 방법을 비교한다. 확률적 재파라미터화를 통한 종단 간 학습을 포함한다. 지도 학습(하위 단어 토큰화기 또는 스파이크의 분할을 기반으로 함 조건부 엔트로피)뿐만 아니라 언어적으로 동기 부여된 경계도 포함한다. 우리가 여러 데이터 세트의 텍스트에 대해 문자 수준 평가를 수행한다. 형태학적으로 다양한 언어 결과는 그 역동성을 보여준다. 공동으로 언어를 분할하고 모델링하는 풀링은 종종 더 빠르고 바닐라 트랜스포머 및 고정 길이 풀링보다 더 정확합니다. 동일한 계산 예산. 

 

 

Zero-Shot Dynamic Quantization for Transformer Inference

 

We introduce a novel run-time method for significantly reducing the accuracy loss associated with quantizing BERT-like models to 8-bit integers. Existing methods for quantizing models either modify the training procedure,or they require an additional calibration step to adjust parameters that also requires a selected held-out dataset. Our method permits taking advantage of quantization without the need for these adjustments. We present results on several NLP tasks demonstrating the usefulness of this technique.

 

정확도를 크게 줄이기 위한 새로운 런타임 방법을 소개한다. BERT 유사 모델을 8비트 정수로 양자화하는 것과 관련된 손실. 존재하는 모델을 양자화하는 방법은 훈련 절차를 수정하거나, 또는 그것들. 또한 필요한 파라미터를 조정하기 위한 추가 보정 단계가 필요 선택된 보류 데이터 집합입니다. 우리의 방법은 다음을 이용하는 것을 허용한다. 이러한 조정이 필요 없는 양자화. 다음에 대한 결과를 제시합니다. 이 기술의 유용성을 입증하는 몇 가지 NLP 작업.