[2022-11-18] 오늘의 자연어처리

Noisy Pairing and Partial Supervision for Opinion Summarization

 

Current opinion summarization systems simply generate summaries reflecting important opinions from customer reviews, but the generated summaries may not attract the reader's attention. Although it is helpful to automatically generate professional reviewer-like summaries from customer reviews, collecting many training pairs of customer and professional reviews is generally tricky. We propose a weakly supervised opinion summarization framework, Noisy Pairing and Partial Supervision (NAPA) that can build a stylized opinion summarization system with no customer-professional review pairs. Experimental results show consistent improvements in automatic evaluation metrics, and qualitative analysis shows that our weakly supervised opinion summarization system can generate summaries that look more like those written by professional reviewers.

 

현재 의견 요약 시스템은 단순히 다음을 반영하는 요약을 생성합니다. 고객 리뷰의 중요한 의견이지만 생성된 요약은 그렇지 않을 수 있습니다. 독자의 주의를 끌다 자동으로 하는 것이 도움이 되긴 하지만 고객 리뷰에서 전문적인 검토자와 같은 요약을 생성하고, 고객 및 전문가 검토의 많은 교육 쌍은 일반적으로 까다롭다. 우리는 약하게 감독되는 의견 요약 프레임워크인 노이즈 페어링을 제안한다. 양식화된 의견 요약을 구축할 수 있는 부분 감독(NAPA) 고객-전문가 검토 쌍이 없는 시스템. 실험 결과는 다음을 보여준다. 지속적인 자동 평가 지표 개선 및 질적 개선 분석은 우리의 약한 감독 의견 요약 시스템이 할 수 있다는 것을 보여준다. 전문 검토자가 작성한 요약과 유사한 요약을 생성합니다. 

 

 

Parameter-Efficient Tuning on Layer Normalization for Pre-trained Language Models

 

Conventional fine-tuning encounters increasing difficulties given the size of current Pre-trained Language Models, which makes parameter-efficient tuning become the focal point of frontier research. Previous methods in this field add tunable adapters into MHA or/and FFN of Transformer blocks to enable PLMs achieve transferability. However, as an important part of Transformer architecture, the power of layer normalization for parameter-efficent tuning is ignored. In this paper, we first propose LN-tuning, by tuning the gain and bias term of Layer Normalization module with only 0.03\% parameters, which is of high time-efficency and significantly superior to baselines which are less than 0.1\% tunable parameters. Further, we study the unified framework of combining LN-tuning with previous ones and we find that: (1) the unified framework of combining prefix-tuning, the adapter-based method working on MHA, and LN-tuning achieves SOTA performance. (2) unified framework which tunes MHA and LayerNorm simultaneously can get performance improvement but those which tune FFN and LayerNorm simultaneous will cause performance decrease. Ablation study validates LN-tuning is of no abundant parameters and gives a further understanding of it.

 

기존의 미세 조정은 크기를 고려할 때 점점 더 많은 어려움에 직면한다. 매개 변수 효율적인 튜닝을 가능하게 하는 현재의 사전 훈련된 언어 모델 개척 연구의 중심이 되다 이 필드의 이전 메서드가 추가됩니다. PLM을 사용할 수 있도록 MHA 또는/및 Transformer 블록의 FFN으로 조정 가능한 어댑터 양도성을 실현하다 그러나 Transformer의 중요한 부분으로서 아키텍처, 매개 변수 효율적인 튜닝을 위한 계층 표준화의 힘은 다음과 같습니다. 무시된 본 논문에서는 먼저 게인과 바이어스를 조정하여 LN 튜닝을 제안한다. 매개 변수가 0.03\%인 계층 정규화 모듈의 항은 다음과 같습니다. 시간 효율성이 높고 기준선보다 훨씬 우수합니다. 0.1\% 조정 가능한 매개 변수. 또한, 우리는 결합의 통일된 프레임워크를 연구한다. 이전 것들과 LN을 조정하고 우리는 다음을 발견한다: (1)의 통합 프레임워크 접두사 조정, MHA에서 작동하는 어댑터 기반 방법 및 LN 조정 결합 SOTA 성능을 달성한다. (2) MHA 및 LayerNorm을 조정하는 통합 프레임워크 동시에 성능 향상을 얻을 수 있지만 FFN과 튜닝을 하는 것은 LayerNorm은 동시에 성능 저하를 유발합니다. 절제 연구 LN 튜닝이 풍부한 매개 변수가 없음을 확인하고 추가 정보를 제공합니다. 그것에 대한 이해. 

 

 

Disentangling Task Relations for Few-shot Text Classification via Self-Supervised Hierarchical Task Clustering

 

Few-Shot Text Classification (FSTC) imitates humans to learn a new text classifier efficiently with only few examples, by leveraging prior knowledge from historical tasks. However, most prior works assume that all the tasks are sampled from a single data source, which cannot adapt to real-world scenarios where tasks are heterogeneous and lie in different distributions. As such, existing methods may suffer from their globally knowledge-shared mechanisms to handle the task heterogeneity. On the other hand, inherent task relation are not explicitly captured, making task knowledge unorganized and hard to transfer to new tasks. Thus, we explore a new FSTC setting where tasks can come from a diverse range of data sources. To address the task heterogeneity, we propose a self-supervised hierarchical task clustering (SS-HTC) method. SS-HTC not only customizes cluster-specific knowledge by dynamically organizing heterogeneous tasks into different clusters in hierarchical levels but also disentangles underlying relations between tasks to improve the interpretability. Extensive experiments on five public FSTC benchmark datasets demonstrate the effectiveness of SS-HTC.

 

FSTC(Few-Shot Text Classification)는 새로운 텍스트를 배우기 위해 인간을 모방한다. 사전 지식을 활용하여 소수의 예를 사용하여 효율적으로 분류기 역사적 과제로부터. 그러나 대부분의 선행 작업은 모든 작업이 다음과 같이 가정한다. 실제 시나리오에 적응할 수 없는 단일 데이터 소스에서 샘플링됨 여기서 작업은 이질적이고 서로 다른 분포에 있습니다. 그러니까. 기존의 방법들은 그들의 세계적인 지식 공유 메커니즘으로 인해 어려움을 겪을 수 있다. 이질적인 업무를 처리하다 반면에, 내재된 업무 관계는 다음과 같다. 명시적으로 캡처되지 않아 작업 지식이 체계적이지 않고 전송하기 어려워짐 새 작업으로 이동합니다. 따라서, 우리는 작업이 다음으로부터 올 수 있는 새로운 FSTC 설정을 탐구한다. 다양한 범위의 데이터 소스. 작업 이질성을 해결하기 위해, 우리는 다음을 제안한다. SS-HTC(Self-Supervised Hierarchical Task Clustering) 방법. SS-HTC 뿐만 아니라 이기종을 동적으로 구성하여 클러스터별 지식을 사용자 정의합니다. 작업을 계층 수준에서 서로 다른 클러스터로 이동하지만 분리하기도 합니다. 해석 가능성을 개선하기 위해 작업 간의 기본 관계. 광범위한 5개의 공개 FSTC 벤치마크 데이터 세트에 대한 실험은 다음을 입증한다. SS-HTC의 유효성