[2023-02-16] 오늘의 자연어처리

SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains

 

Prompting pre-trained language models leads to promising results across natural language processing tasks but is less effective when applied in low-resource domains, due to the domain gap between the pre-training data and the downstream task. In this work, we bridge this gap with a novel and lightweight prompting methodology called SwitchPrompt for the adaptation of language models trained on datasets from the general domain to diverse low-resource domains. Using domain-specific keywords with a trainable gated prompt, SwitchPrompt offers domain-oriented prompting, that is, effective guidance on the target domains for general-domain language models. Our few-shot experiments on three text classification benchmarks demonstrate the efficacy of the general-domain pre-trained language models when used with SwitchPrompt. They often even outperform their domain-specific counterparts trained with baseline state-of-the-art prompting methods by up to 10.7% performance increase in accuracy. This result indicates that SwitchPrompt effectively reduces the need for domain-specific language model pre-training.

 

사전 훈련된 언어 모델을 촉구하는 것은 전체적으로 유망한 결과로 이어진다 자연어 처리 작업을 하지만 적용할 때는 덜 효과적이다 사전 훈련 데이터 사이의 도메인 격차로 인해 리소스가 낮은 도메인 하류 작업. 이 작품에서, 우리는 소설과 함께 이 격차를 메운다 적응을 위한 SwitchPrompt라는 경량 프롬프트 방법론 일반 도메인에서 다양한 데이터 세트에 대해 훈련된 언어 모델 자원이 부족한 도메인. 도메인별 키워드를 훈련 가능한 게이트와 함께 사용 프롬프트, SwitchPrompt는 도메인 지향 프롬프트, 즉 효과적인 프롬프트를 제공합니다 일반 도메인 언어 모델의 대상 도메인에 대한 지침. 우리의 퓨샷 3개의 텍스트 분류 벤치마크에 대한 실험은 다음의 효과를 입증한다 Switch Prompt와 함께 사용할 경우 일반 도메인 사전 교육 언어 모델. 그들은 심지어 종종 다음과 같이 훈련된 도메인별 상대를 능가한다 최대 10.7%의 성능 향상을 통한 기본적인 최신 알림 방법 정확하게. 이 결과는 SwitchPrompt가 효과적으로 감소함을 나타냅니다 도메인별 언어 모델 사전 교육의 필요성. 

 

 

Bag of Tricks for In-Distribution Calibration of Pretrained Transformers

 

While pre-trained language models (PLMs) have become a de-facto standard promoting the accuracy of text classification tasks, recent studies find that PLMs often predict over-confidently. Although various calibration methods have been proposed, such as ensemble learning and data augmentation, most of the methods have been verified in computer vision benchmarks rather than in PLM-based text classification tasks. In this paper, we present an empirical study on confidence calibration for PLMs, addressing three categories, including confidence penalty losses, data augmentations, and ensemble methods. We find that the ensemble model overfitted to the training set shows sub-par calibration performance and also observe that PLMs trained with confidence penalty loss have a trade-off between calibration and accuracy. Building on these observations, we propose the Calibrated PLM (CALL), a combination of calibration techniques. The CALL complements the drawbacks that may occur when utilizing a calibration method individually and boosts both classification and calibration accuracy. Design choices in CALL's training procedures are extensively studied, and we provide a detailed analysis of how calibration techniques affect the calibration performance of PLMs.

 

사전 훈련된 언어 모델(PLM)이 사실상 표준이 되었다 텍스트 분류 작업의 정확성을 촉진하는 최근 연구는 다음을 발견한다 PLM은 종종 지나치게 자신감 있게 예측합니다. 다양한 보정 방법이 앙상블 학습 및 데이터 증강과 같은 대부분의 제안되었다 방법은 컴퓨터 비전 벤치마크에서 검증되었다 PLM 기반 텍스트 분류 작업입니다. 이 논문에서, 우리는 경험적인 것을 제시한다 세 가지 범주를 다루는 PLM에 대한 신뢰도 교정에 대한 연구, 신뢰 페널티 손실, 데이터 증가 및 앙상블 방법을 포함한다. 우리는 훈련 세트에 과적합된 앙상블 모델이 평균 이하를 보여준다는 것을 발견했다 교정 성능 및 PLM이 자신 있게 훈련되었는지 관찰합니다 패널티 손실은 교정과 정확도 사이에 균형을 이룬다. 건물을 짓다 이러한 관찰, 우리는 다음의 조합인 보정 PLM(CALL)을 제안한다 교정 기술. CALL은 다음과 같은 경우에 발생할 수 있는 단점을 보완합니다 교정 방법을 개별적으로 사용하고 분류와 둘 다를 강화한다 교정 정확도. CALL의 교육 절차에서 선택할 수 있는 설계는 다음과 같습니다 광범위하게 연구되었으며, 우리는 교정 방법에 대한 상세한 분석을 제공한다 기법은 PLM의 교정 성능에 영향을 미친다. 

 

 

Exploiting Summarization Data to Help Text Simplification

 

One of the major problems with text simplification is the lack of high-quality data. The sources of simplification datasets are limited to Wikipedia and Newsela, restricting further development of this field. In this paper, we analyzed the similarity between text summarization and text simplification and exploited summarization data to help simplify. First, we proposed an alignment algorithm to extract sentence pairs from summarization datasets. Then, we designed four attributes to characterize the degree of simplification and proposed a method to filter suitable pairs. We named these pairs Sum4Simp (S4S). Next, we conducted human evaluations to show that S4S is high-quality and compared it with a real simplification dataset. Finally, we conducted experiments to illustrate that the S4S can improve the performance of several mainstream simplification models, especially in low-resource scenarios.

 

텍스트 단순화의 주요 문제 중 하나는 다음과 같다 고품질의 데이터. 단순화 데이터 세트의 소스는 다음과 같이 제한됩니다 위키피디아와 뉴셀라는 이 분야의 추가 개발을 제한하고 있다. 이 점에서. 논문, 우리는 텍스트 요약과 텍스트의 유사성을 분석했다 간소화 및 활용된 요약 데이터를 통해 간소화를 지원합니다. 일단 저희가 요약에서 문장 쌍을 추출하기 위한 정렬 알고리즘을 제안했다 데이터 집합입니다. 그런 다음, 우리는 정도를 특성화하기 위해 네 가지 속성을 설계했다 단순화하고 적합한 쌍을 필터링하는 방법을 제안했다. 우리는 이것들을 이름 지었다 Sum4Simp(S4S)를 쌍으로 구성합니다. 다음으로, 우리는 S4S가 고품질의 데이터 세트를 실제 단순화 데이터 세트와 비교했습니다. 드디어 저희가 S4S가 성능을 향상시킬 수 있다는 것을 설명하기 위해 실험을 수행했습니다 특히 리소스가 적은 시나리오에서 몇 가지 주류 단순화 모델을 사용할 수 있습니다.