[2023-05-13] 오늘의 자연어처리

Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction

 

Continual few-shot relation extraction (RE) aims to continuously train a model for new relations with few labeled training data, of which the major challenges are the catastrophic forgetting of old relations and the overfitting caused by data sparsity. In this paper, we propose a new model, namely SCKD, to accomplish the continual few-shot RE task. Specifically, we design serial knowledge distillation to preserve the prior knowledge from previous models and conduct contrastive learning with pseudo samples to keep the representations of samples in different relations sufficiently distinguishable. Our experiments on two benchmark datasets validate the effectiveness of SCKD for continual few-shot RE and its superiority in knowledge transfer and memory utilization over state-of-the-art models.

 

연속 퓨샷 관계 추출(RE)은 연속적으로 훈련하는 것을 목표로 한다 라벨링된 훈련 데이터가 거의 없는 새로운 관계에 대한 모델 도전은 오래된 관계의 재앙적 망각과 과적합이다 데이터 부족으로 인해 발생합니다. 이 논문에서, 우리는 새로운 모델, 즉 SCKD를 제안한다 연속적인 퓨샷 RE 작업을 수행합니다. 구체적으로, 우리는 시리얼을 디자인한다 이전 모델의 사전 지식을 보존하기 위한 지식 증류 의 표현을 유지하기 위해 유사 표본으로 대조 학습을 실시하다 충분히 구별할 수 있는 서로 다른 관계에 있는 표본. 에 대한 우리의 실험 두 개의 벤치마크 데이터 세트는 지속적으로 SCKD의 효과를 검증한다 퓨샷 RE와 지식 전송 및 메모리 활용에 대한 우수성 최첨단 모델을 능가합니다. 

 

 

COCKATIEL: COntinuous Concept ranKed ATtribution with Interpretable ELements for explaining neural net classifiers on NLP tasks

 

Transformer architectures are complex and their use in NLP, while it has engendered many successes, makes their interpretability or explainability challenging. Recent debates have shown that attention maps and attribution methods are unreliable (Pruthi et al., 2019; Brunner et al., 2019). In this paper, we present some of their limitations and introduce COCKATIEL, which successfully addresses some of them. COCKATIEL is a novel, post-hoc, concept-based, model-agnostic XAI technique that generates meaningful explanations from the last layer of a neural net model trained on an NLP classification task by using Non-Negative Matrix Factorization (NMF) to discover the concepts the model leverages to make predictions and by exploiting a Sensitivity Analysis to estimate accurately the importance of each of these concepts for the model. It does so without compromising the accuracy of the underlying model or requiring a new one to be trained. We conduct experiments in single and multi-aspect sentiment analysis tasks and we show COCKATIEL's superior ability to discover concepts that align with humans' on Transformer models without any supervision, we objectively verify the faithfulness of its explanations through fidelity metrics, and we showcase its ability to provide meaningful explanations in two different datasets.

 

변압기 아키텍처는 복잡하고 NLP에서의 그것들의 사용은 그것이 가지고 있는 반면 많은 성공을 낳았고, 해석 가능성이나 설명 가능성을 만들었다 도전적인. 최근의 토론은 주의 지도와 귀인이 방법은 신뢰할 수 없다(Pruthi et al., 2019; Brunner et al., 2019). 이 점에서. 종이, 우리는 그들의 몇 가지 한계를 제시하고 코카티엘을 소개한다 그들 중 일부를 성공적으로 해결했습니다. 코카티엘은 소설이고 포스트호크이고, 의미 있는 정보를 생성하는 개념 기반 모델에 구애받지 않는 XAI 기술 NLP에 대해 훈련된 신경망 모델의 마지막 레이어로부터의 설명 NMF(Non-Negative Matrix Factorization)를 사용한 분류 작업을 수행합니다 모델이 예측을 하고 활용하여 활용하는 개념을 발견합니다 각각의 중요성을 정확하게 추정하기 위한 민감도 분석 모델에 대한 개념. 정확도를 저하시키지 않고 작업을 수행합니다 기본 모델 또는 새로운 모델을 교육해야 합니다. 우리는 실험을 한다 단일 및 다중 측면 감정 분석 작업에서 우리는 COKATIEL을 보여준다 Transformer에서 인간과 일치하는 개념을 발견하는 탁월한 능력 어떠한 감독도 없는 모델, 우리는 객관적으로 그것의 충실성을 검증한다 충실도 측정 기준을 통한 설명, 그리고 우리는 제공하는 능력을 보여준다 두 개의 서로 다른 데이터 세트에서 의미 있는 설명. 

 

 

THUIR@COLIEE 2023: More Parameters and Legal Knowledge for Legal Case Entailment

 

This paper describes the approach of the THUIR team at the COLIEE 2023 Legal Case Entailment task. This task requires the participant to identify a specific paragraph from a given supporting case that entails the decision for the query case. We try traditional lexical matching methods and pre-trained language models with different sizes. Furthermore, learning-to-rank methods are employed to further improve performance. However, learning-to-rank is not very robust on this task. which suggests that answer passages cannot simply be determined with information retrieval techniques. Experimental results show that more parameters and legal knowledge contribute to the legal case entailment task. Finally, we get the third place in COLIEE 2023. The implementation of our method can be found at this https URL.

 

이 논문은 COLIEE 2023 Legal에서 TUIR 팀의 접근 방식을 설명한다 사례 수반 태스크. 이 작업을 수행하려면 참가자가 특정 항목을 식별해야 합니다 질문에 대한 결정을 수반하는 특정 지원 사례의 단락 우리는 전통적인 어휘 매칭 방법과 사전 훈련된 언어를 시도한다 크기가 다른 모델. 또한, 학습 대 순위 방법이 사용된다 성능을 더욱 향상시킬 수 있습니다. 그러나 순위에 대한 학습은 매우 강력하지 않다 이 일. 그것은 답 구절이 단순히 결정될 수 없다는 것을 시사한다 정보 검색 기술. 실험 결과는 더 많은 것을 보여준다 매개변수와 법적 지식은 법적 사건 수반 과제에 기여한다. 마침내, 우리는 COLIEE 2023에서 3위를 차지했다. 당사의 구현 메서드는 이 https URL에서 찾을 수 있습니다.