[2023-12-09] 오늘의 자연어처리

nerblackbox: A High-level Library for Named Entity Recognition in Python

 

Abstract:We present nerblackbox, a python library to facilitate the use of state-of-the-art transformer-based models for named entity recognition. It provides simple-to-use yet powerful methods to access data and models from a wide range of sources, for fully automated model training and evaluation as well as versatile model inference. While many technical challenges are solved and hidden from the user by default, nerblackbox also offers fine-grained control and a rich set of customizable features. It is thus targeted both at application-oriented developers as well as machine learning experts and researchers.

 

추상화:명명된 엔티티 인식을 위한 최첨단 트랜스포머 기반 모델의 사용을 용이하게 하기 위해 파이썬 라이브러리인 nerblackbox를 제시한다. 사용하기 간편하면서도 강력한 방법을 제공하여 다양한 소스에서 데이터와 모델에 액세스하여 완전히 자동화된 모델 훈련 및 평가는 물론 다재다능한 모델 추론을 가능하게 한다. 많은 기술적인 문제들이 기본적으로 해결되고 사용자로부터 숨겨지지만, nerblackbox는 세부적인 제어와 사용자 정의가 가능한 풍부한 기능들을 제공한다. 따라서 응용 지향 개발자뿐만 아니라 기계 학습 전문가와 연구자 모두를 대상으로 한다. 

 

 

RoAST: Robustifying Language Models via Adversarial Perturbation with Selective Training

 

Abstract:Fine-tuning pre-trained language models (LMs) has become the de facto standard in many NLP tasks. Nevertheless, fine-tuned LMs are still prone to robustness issues, such as adversarial robustness and model calibration. Several perspectives of robustness for LMs have been studied independently, but lacking a unified consideration in multiple perspectives. In this paper, we propose Robustifying LMs via Adversarial perturbation with Selective Training (RoAST), a simple yet effective fine-tuning technique to enhance the multi-perspective robustness of LMs in a unified way. RoAST effectively incorporates two important sources for the model robustness, robustness on the perturbed inputs and generalizable knowledge in pre-trained LMs. To be specific, RoAST introduces adversarial perturbation during fine-tuning while the model parameters are selectively updated upon their relative importance to minimize unnecessary deviation. Under a unified evaluation of fine-tuned LMs by incorporating four representative perspectives of model robustness, we demonstrate the effectiveness of RoAST compared to state-of-the-art fine-tuning methods on six different types of LMs, which indicates its usefulness in practice.

 

추상화:사전 훈련된 언어 모델(LM)을 미세 조정하는 것은 많은 NLP 작업에서 사실상의 표준이 되었다. 그럼에도 불구하고 미세 조정된 LM은 여전히 적대적 강건성 및 모델 보정과 같은 강건성 문제에 취약하다. LM에 대한 견고성에 대한 여러 관점은 독립적으로 연구되었지만 여러 관점에서 통일된 고려 사항이 부족했다. 본 논문에서는 통일된 방식으로 LM의 다관점 강건성을 향상시키기 위한 간단하지만 효과적인 미세 조정 기법인 RoAST(Adversarial perturbation with Selective Training)를 통한 LM 강건화를 제안한다. RoAST는 모델 견고성을 위한 두 가지 중요한 소스, 즉 교란된 입력에 대한 견고성과 사전 훈련된 LM에서 일반화 가능한 지식을 효과적으로 통합한다. 구체적으로, RoAST는 모델 매개변수가 상대적 중요도에 따라 선택적으로 업데이트되어 불필요한 편차를 최소화하는 동안 미세 조정 중에 적대적 섭동을 도입한다. 모델 견고성의 네 가지 대표적인 관점을 통합하여 미세 조정된 LM에 대한 통일된 평가를 통해 6가지 유형의 LM에 대한 최첨단 미세 조정 방법과 비교하여 RoAST의 효과를 입증하며, 이는 실제 유용성을 나타낸다. 

 

 

CLadder: A Benchmark to Assess Causal Reasoning Capabilities of Language Models

 

Abstract:The ability to perform causal reasoning is widely considered a core feature of intelligence. In this work, we investigate whether large language models (LLMs) can coherently reason about causality. Much of the existing work in natural language processing (NLP) focuses on evaluating commonsense causal reasoning in LLMs, thus failing to assess whether a model can perform causal inference in accordance with a set of well-defined formal rules. To address this, we propose a new NLP task, causal inference in natural language, inspired by the "causal inference engine" postulated by Judea Pearl et al. We compose a large dataset, CLadder, with 10K samples: based on a collection of causal graphs and queries (associational, interventional, and counterfactual), we obtain symbolic questions and ground-truth answers, through an oracle causal inference engine. These are then translated into natural language. We evaluate multiple LLMs on our dataset, and we introduce and evaluate a bespoke chain-of-thought prompting strategy, CausalCoT. We show that our task is highly challenging for LLMs, and we conduct an in-depth analysis to gain deeper insight into the causal reasoning abilities of LLMs. Our data is open-sourced at this https URL, and our code can be found at this https URL.

 

추상화:인과적 추론을 수행할 수 있는 능력은 지능의 핵심적 특징으로 널리 여겨지고 있다. 본 연구에서는 큰 언어 모델(LLM)이 인과성에 대해 일관성 있게 추론할 수 있는지 조사한다. 자연어 처리(NLP)의 기존 작업의 대부분은 LLM에서 상식적인 인과 추론을 평가하는 데 초점을 맞추고 있으므로 모델이 잘 정의된 공식 규칙에 따라 인과 추론을 수행할 수 있는지 여부를 평가하지 못한다. 이를 해결하기 위해, 우리는 Judea Pearl 등이 가정한 "인과 추론 엔진"에서 영감을 받아 자연어로 인과 추론이라는 새로운 NLP 과제를 제안한다. 우리는 10K 샘플로 대규모 데이터 세트인 CLadder를 구성한다: 인과 그래프 및 쿼리 모음(연관적, 중재적, 반사실적)을 기반으로 오라클 인과 추론 엔진을 통해 상징적 질문과 근거-진실 답변을 얻는다. 그리고 나서 이것들은 자연어로 번역됩니다. 데이터 세트에서 여러 LLM을 평가하고 맞춤형 사고 유도 전략인 인과 관계(AcausiveCoT)를 소개하고 평가한다. 우리는 LLM들에게 우리의 작업이 매우 어렵다는 것을 보여주며, LLM들의 인과적 추론 능력에 대한 더 깊은 통찰력을 얻기 위해 심층 분석을 수행한다. 우리의 데이터는 이 https URL에서 오픈 소스로 제공되며, 우리의 코드는 이 https URL에서 찾을 수 있다.