[2022-11-12] 오늘의 자연어처리

Exploring Robustness of Prefix Tuning in Noisy Data: A Case Study in Financial Sentiment Analysis

 

The invention of transformer-based models such as BERT, GPT, and RoBERTa has enabled researchers and financial companies to finetune these powerful models and use them in different downstream tasks to achieve state-of-the-art performance. Recently, a lightweight alternative (approximately 0.1% - 3% of the original model parameters) to fine-tuning, known as prefix tuning has been introduced. This method freezes the model parameters and only updates the prefix to achieve performance comparable to full fine-tuning. Prefix tuning enables researchers and financial practitioners to achieve similar results with much fewer parameters. In this paper, we explore the robustness of prefix tuning when facing noisy data. Our experiments demonstrate that fine-tuning is more robust to noise than prefix tuning -- the latter method faces a significant decrease in performance on most corrupted data sets with increasing noise levels. Furthermore, prefix tuning has high variances in the F1 scores compared to fine-tuning in many corruption methods. We strongly advocate that caution should be carefully taken when applying the state-of-the-art prefix tuning method to noisy data.

 

BERT, GPT, RoBERTa와 같은 변압기 기반 모델의 발명은 다음과 같다. 연구자와 금융 회사가 이러한 강력한 모델을 미세 조정할 수 있도록 지원했습니다. 다양한 다운스트림 작업에 사용하여 최첨단 기술을 구현합니다. 성능. 최근 경량 대안(약 0.1% - 3%). 원래 모델 매개 변수)에서 미세 조정(프리픽스 튜닝이라고 함)까지. 소개했다. 이 메서드는 모델 매개 변수를 중지하고 업데이트만 합니다. 전체 미세 조정에 버금가는 성능을 얻기 위한 접두사입니다. 접두사 튜닝 연구원 및 재무 실무자가 유사한 결과를 얻을 수 있도록 합니다. 훨씬 적은 수의 매개 변수입니다. 이 논문에서, 우리는 접두사의 견고성을 탐구한다. 노이즈가 많은 데이터를 마주할 때 튜닝합니다. 우리의 실험은 미세 조정이 프리픽스 튜닝보다 노이즈에 더 강하다 -- 후자의 방법은 다음과 같다. 대부분의 손상된 데이터 집합에서 성능 저하가 증가하고 있습니다. 소음 수준 게다가, 접두사 튜닝은 F1 점수의 차이가 크다. 많은 부패 방법의 미세 조정과 비교됩니다. 우리는 그것을 강력히 지지한다. 최첨단 접두사를 적용할 때 주의할 필요가 있다. 노이즈가 많은 데이터에 대한 튜닝 방법. 

 

 

An Inclusive Notion of Text

 

Natural language processing researchers develop models of grammar, meaning and human communication based on written text. Due to task and data differences, what is considered text can vary substantially across studies. A conceptual framework for systematically capturing these differences is lacking. We argue that clarity on the notion of text is crucial for reproducible and generalizable NLP. Towards that goal, we propose common terminology to discuss the production and transformation of textual data, and introduce a two-tier taxonomy of linguistic and non-linguistic elements that are available in textual sources and can be used in NLP modeling. We apply this taxonomy to survey existing work that extends the notion of text beyond the conservative language-centered view. We outline key desiderata and challenges of the emerging inclusive approach to text in NLP, and suggest systematic community-level reporting as a crucial next step to consolidate the discussion.

 

자연어 처리 연구원들은 의미인 문법 모델을 개발한다. 그리고 쓰여진 텍스트에 기반한 인간의 의사소통. 작업 및 데이터로 인해 차이점, 텍스트로 간주되는 것은 연구에 따라 상당히 다를 수 있습니다. a 이러한 차이를 체계적으로 포착하기 위한 개념적 프레임워크가 부족하다. 우리는 텍스트의 개념에 대한 명확성이 재현 가능하고 일반화된 NLP 그 목표를 향해, 우리는 논의할 공통 용어를 제안한다. 텍스트 데이터의 생성 및 변환, 그리고 2계층 도입 언어적 요소와 비언어적 요소의 분류학. 텍스트 소스이며 NLP 모델링에 사용할 수 있습니다. 우리는 이 분류법을 다음과 같이 적용한다. 텍스트의 개념을 보수주의 이상으로 확장한 기존 작업을 조사하다. 언어 중심적 견해 주요 요구 사항 및 당면 과제를 개략적으로 설명합니다. NLP의 텍스트에 대한 새로운 포괄적인 접근 방식, 그리고 체계적인 제안 토론을 통합하기 위한 중요한 다음 단계로서 커뮤니티 차원의 보고. 

 

 

Using contradictions to improve QA systems

 

Ensuring the safety of question answering (QA) systems is critical for deploying them in biomedical and scientific domains. One approach to improving these systems uses natural language inference (NLI) to determine whether answers are supported, or entailed, by some background context. However, these systems are vulnerable to supporting an answer with a source that is wrong or misleading. Our work proposes a critical approach by selecting answers based on whether they have been contradicted by some background context. We evaluate this system on multiple choice and extractive QA and find that while the contradiction-based systems are competitive with and often better than entailment-only systems, models that incorporate contradiction, entailment, and QA model confidence scores together are the best. Based on this result, we explore unique opportunities for leveraging contradiction-based approaches such for improving interpretability and selecting better answers.

 

질문 답변(QA) 시스템의 안전 보장은 다음과 같은 경우에 매우 중요합니다. 생물 의학 및 과학 분야에 배치하는 것. 개선을 위한 한 가지 접근 방식 이 시스템들은 자연어 추론(NLI)을 사용하여 여부를 결정한다. 답변은 일부 배경 컨텍스트에서 지원되거나 수반됩니다. 하지만, 이것들 시스템은 잘못된 소스로 답변을 지원하는 데 취약하거나 오해의 소지가 있는 우리의 작업은 다음을 기반으로 답을 선택함으로써 비판적인 접근법을 제안한다. 그들이 어떤 배경 문맥에 의해 모순되었는지 여부. 우리는 평가한다 다중 선택 및 추출 QA에 대한 이 시스템 및 그것을 찾는 동안 모순 기반 시스템은 경쟁적이며 종종 더 나은 시스템입니다. 수반 전용 시스템, 모순, 수반을 포함하는 모델 및 QA 모델 신뢰도 점수가 함께 최고입니다. 이 결과를 바탕으로, 우리는 다음과 같은 모순 기반 접근 방식을 활용할 수 있는 고유한 기회를 모색한다. 해석성을 개선하고 더 나은 답변을 선택할 수 있습니다.