[2023-06-25] 오늘의 자연어처리

Instruct-FinGPT: Financial Sentiment Analysis by Instruction Tuning of General-Purpose Large Language Models

 

Sentiment analysis is a vital tool for uncovering insights from financial articles, news, and social media, shaping our understanding of market movements. Despite the impressive capabilities of large language models (LLMs) in financial natural language processing (NLP), they still struggle with accurately interpreting numerical values and grasping financial context, limiting their effectiveness in predicting financial sentiment. In this paper, we introduce a simple yet effective instruction tuning approach to address these issues. By transforming a small portion of supervised financial sentiment analysis data into instruction data and fine-tuning a general-purpose LLM with this method, we achieve remarkable advancements in financial sentiment analysis. In the experiment, our approach outperforms state-of-the-art supervised sentiment analysis models, as well as widely used LLMs like ChatGPT and LLaMAs, particularly in scenarios where numerical understanding and contextual comprehension are vital.

 

감정 분석은 재무에서 통찰력을 발견하는 데 필수적인 도구입니다 시장에 대한 우리의 이해를 형성하는 기사, 뉴스, 소셜 미디어 동작. 대규모 언어 모델(LLM)의 뛰어난 기능에도 불구하고 금융 자연어 처리(NLP)에서, 그들은 여전히 어려움을 겪고 있다 수치를 정확하게 해석하고 재정적 맥락을 파악한다, 금융 심리를 예측하는 데 있어 그들의 효과를 제한한다. 이 논문에서, 우리는 해결하기 위해 간단하지만 효과적인 명령 튜닝 접근법을 도입한다 이 문제들. 감독되는 재무 심리의 작은 부분을 변화시킴으로써 명령 데이터로 데이터를 분석하고 범용 LLM을 미세 조정합니다 이 방법으로, 우리는 재정적인 정서에서 괄목할 만한 발전을 이루었다 분석. 실험에서 우리의 접근 방식은 최첨단 접근 방식을 능가한다 감독 감정 분석 모델 및 ChatGPT와 같이 널리 사용되는 LLM 그리고 LLaMAs, 특히 수치 이해가 가능한 시나리오에서 문맥 이해는 필수적이다. 

 

 

Class-Incremental Learning based on Label Generation

 

Despite the great success of pre-trained language models, it is still a challenge to use these models for continual learning, especially for the class-incremental learning (CIL) setting due to catastrophic forgetting (CF). This paper reports our finding that if we formulate CIL as a continual label generation problem, CF is drastically reduced and the generalizable representations of pre-trained models can be better retained. We thus propose a new CIL method (VAG) that also leverages the sparsity of vocabulary to focus the generation and creates pseudo-replay samples by using label semantics. Experimental results show that VAG outperforms baselines by a large margin.

 

사전 훈련된 언어 모델의 큰 성공에도 불구하고, 여전히 그것은 지속적인 학습을 위해 이러한 모델을 사용하는 것에 대한 도전, 특히 치명적인 망각(CF)으로 인한 클래스 증분 학습(CIL) 설정. 이 논문은 CIL을 연속 레이블로 공식화하면 생성 문제, CF는 극적으로 감소하고 일반화할 수 있다 사전 훈련된 모델의 표현은 더 잘 유지될 수 있다. 따라서 우리는 다음을 제안한다 또한 어휘의 희소성을 활용하여 초점을 맞추는 새로운 CIL 방법(VAG) 생성하고 레이블 의미론을 사용하여 유사-반복 샘플을 생성합니다. 실험 결과는 VAG가 기준선을 큰 차이로 능가한다는 것을 보여준다. 

 

 

CamChoice: A Corpus of Multiple Choice Questions and Candidate Response Distributions

 

Multiple Choice examinations are a ubiquitous form of assessment that is used to measure the ability of candidates across various domains and tasks. Maintaining the quality of proposed questions is of great importance to test designers, and therefore newly proposed questions go through several pre-test evaluation stages before they can be deployed into real-world exams. This process is currently quite manual, which can lead to time lags in the question development cycle. Automating this process would lead to a large improvement in efficiency, however, current datasets do not contain sufficient pre-test analysis information. In this paper, we introduce CamChoice; a multiple-choice comprehension dataset with questions at different target levels, where questions have the true candidate selected options distributions. We introduce the task of candidate distribution matching, propose several evaluation metrics for the task, and demonstrate that automatic systems trained on RACE++ can be leveraged as baselines for our task. We further demonstrate that these automatic systems can be used for practical pre-test evaluation tasks such as detecting underperforming distractors, where our detection systems can automatically identify poor distractors that few candidates select. We release the data publicly for future research.

 

객관식 검사는 어디서나 사용되는 평가 방식입니다 다양한 영역과 업무에 걸쳐 후보자의 능력을 측정한다. 제안된 질문의 품질을 유지하는 것은 테스트에 매우 중요합니다 설계자, 따라서 새로 제안된 질문은 몇 가지 사전 테스트를 거친다 실제 시험에 적용되기 전의 평가 단계. 이것. 프로세스는 현재 상당히 수동적이며, 이는 질문에서 시간 지연으로 이어질 수 있습니다 개발 주기. 이 프로세스를 자동화하면 시스템 성능이 크게 향상됩니다 그러나 효율성은 현재 데이터 세트에 충분한 사전 테스트가 포함되어 있지 않습니다 분석 정보. 본 논문에서는 객관식 CamChoice를 소개한다 서로 다른 목표 수준의 질문이 있는 이해 데이터 세트, 어디에서 질문에는 실제 후보가 선택한 옵션 분포가 있습니다. 소개합니다 후보 분배 매칭 작업, 몇 가지 평가 지표 제안 과제를 위해, 그리고 RACE++에서 훈련된 자동 시스템이 다음과 같을 수 있다는 것을 증명한다 우리 작업의 기준선으로 활용됩니다. 우리는 또한 이것들이 자동 시스템은 다음과 같은 실질적인 시험 전 평가 작업에 사용될 수 있다 우리의 탐지 시스템이 할 수 있는 성능이 떨어지는 방해물을 탐지한다 몇 명의 후보자가 선택한 불량한 방해 요소를 자동으로 식별합니다. 해제합니다 향후 연구를 위한 공개 자료.