[2023-09-07] 오늘의 자연어처리

Hierarchical MixUp Multi-label Classification with Imbalanced Interdisciplinary Research Proposals

 

Funding agencies are largely relied on a topic matching between domain experts and research proposals to assign proposal reviewers. As proposals are increasingly interdisciplinary, it is challenging to profile the interdisciplinary nature of a proposal, and, thereafter, find expert reviewers with an appropriate set of expertise. An essential step in solving this challenge is to accurately model and classify the interdisciplinary labels of a proposal. Existing methodological and application-related literature, such as textual classification and proposal classification, are insufficient in jointly addressing the three key unique issues introduced by interdisciplinary proposal data: 1) the hierarchical structure of discipline labels of a proposal from coarse-grain to fine-grain, e.g., from information science to AI to fundamentals of AI. 2) the heterogeneous semantics of various main textual parts that play different roles in a proposal; 3) the number of proposals is imbalanced between non-interdisciplinary and interdisciplinary research. Can we simultaneously address the three issues in understanding the proposal's interdisciplinary nature? In response to this question, we propose a hierarchical mixup multiple-label classification framework, which we called H-MixUp. H-MixUp leverages a transformer-based semantic information extractor and a GCN-based interdisciplinary knowledge extractor for the first and second issues. H-MixUp develops a fused training method of Wold-level MixUp, Word-level CutMix, Manifold MixUp, and Document-level MixUp to address the third issue.

 

자금 조달 기관은 주로 도메인 간의 주제 일치에 의존한다 전문가와 연구 제안서는 제안서 검토자를 지정합니다. 제안이 그러하듯이 점점 더 학제적으로, 프로파일링하는 것은 어렵다 제안서의 학제적 성격 및 그 후 전문 검토자를 찾는다 적절한 전문 지식을 가지고 있어요. 이를 해결하기 위한 필수적인 단계 도전은 a의 학제간 라벨을 정확하게 모델링하고 분류하는 것이다 제안. 다음과 같은 기존의 방법론 및 응용 관련 문헌 텍스트 분류와 제안 분류는 공동으로 불충분하다 학제간 제안에 의해 도입된 세 가지 핵심적인 고유한 문제를 해결한다 자료: 1) 제안서의 규율 라벨의 계층 구조 조잡한 것에서 미세한 것까지. 예를 들어, 정보에서과학을 인공지능에 접목하다 AI의 기본. 2) 다양한 주요 텍스트의 이질적 의미론 제안에서 다른 역할을 하는 부분; 3) 제안의 수는 비학제적 연구와 학제적 연구 사이의 불균형. 할 수 있을까요 제안의 내용을 이해함에 있어서 세 가지 문제를 동시에 다루다 학제간 성격? 이 질문에 대해 우리는 다음과 같이 제안한다 계층적 믹스업 다중 레이블 분류 프레임워크 H-Mix Up. H-MixUp은 트랜스포머 기반 시맨틱 정보 추출기를 활용한다 첫 번째와 두 번째를 위한 GCN 기반 학제간 지식 추출기 문제들. H-MixUp, Wold-level MixUp 융합 훈련법 개발, Word-level Cut Mix, Manifold MixUp 및 Document-level MixUp을 통해 다음과 같은 문제를 해결할 수 있습니다 제3호. 

 

 

Enhance Multi-domain Sentiment Analysis of Review Texts through Prompting Strategies

 

Large Language Models (LLMs) have made significant strides in both scientific research and practical applications. Existing studies have demonstrated the state-of-the-art (SOTA) performance of LLMs in various natural language processing tasks. However, the question of how to further enhance LLMs' performance in specific task using prompting strategies remains a pivotal concern. This paper explores the enhancement of LLMs' performance in sentiment analysis through the application of prompting strategies. We formulate the process of prompting for sentiment analysis tasks and introduce two novel strategies tailored for sentiment analysis: RolePlaying (RP) prompting and Chain-of-thought (CoT) prompting. Specifically, we also propose the RP-CoT prompting strategy which is a combination of RP prompting and CoT prompting. We conduct comparative experiments on three distinct domain datasets to evaluate the effectiveness of the proposed sentiment analysis strategies. The results demonstrate that the adoption of the proposed prompting strategies leads to a increasing enhancement in sentiment analysis accuracy. Further, the CoT prompting strategy exhibits a notable impact on implicit sentiment analysis, with the RP-CoT prompting strategy delivering the most superior performance among all strategies.

 

LLM(Large Language Models)은 두 과학 분야에서 모두 상당한 발전을 이루었다 연구와 실용화. 기존의 연구들은 다음을 증명했다 다양한 자연어로 된 LLM의 최첨단(SOTA) 성능 작업을 처리합니다. 그러나 LLM의 수준을 더욱 높일 수 있는 방안은 무엇인가에 대한 문제이다 촉진 전략을 사용하는 특정 작업의 성과는 여전히 중추적인 역할을 한다 고민. 본 논문은 정서적으로 LLM의 성과향상을 탐색한다 촉진 전략의 적용을 통한 분석. 우리는 공식화한다 감정 분석 작업을 촉구하는 과정과 두 권의 소설을 소개한다 감정 분석에 맞춘 전략: RP(Role Playing) 프롬프트 및 일련의 사고(CoT)가 유발됩니다. 구체적으로, 우리는 또한 RP-CoT를 제안한다 RP 프롬프트와 CoT 프롬프트의 조합인 프롬프트 전략. 우리가 평가할 세 개의 도메인 데이터 세트에 대한 비교 실험을 수행한다 제안된 정서분석 전략의 효과를 분석하였다. 결과는 제안된 촉진 전략의 채택이 다음으로 이어진다는 것을 입증한다 감정 분석 정확도의 향상. 더 나아가, CoT 촉진 전략은 암묵적 감정 분석에 주목할 만한 영향을 보인다, RP-CoT 촉진 전략을 통해 최고의 성능을 제공합니다 온갖 계략 중에. 

 

 

MathAttack: Attacking Large Language Models Towards Math Solving Ability

 

With the boom of Large Language Models (LLMs), the research of solving Math Word Problem (MWP) has recently made great progress. However, there are few studies to examine the security of LLMs in math solving ability. Instead of attacking prompts in the use of LLMs, we propose a MathAttack model to attack MWP samples which are closer to the essence of security in solving math problems. Compared to traditional text adversarial attack, it is essential to preserve the mathematical logic of original MWPs during the attacking. To this end, we propose logical entity recognition to identify logical entries which are then frozen. Subsequently, the remaining text are attacked by adopting a word-level attacker. Furthermore, we propose a new dataset RobustMath to evaluate the robustness of LLMs in math solving ability. Extensive experiments on our RobustMath and two another math benchmark datasets GSM8K and MultiAirth show that MathAttack could effectively attack the math solving ability of LLMs. In the experiments, we observe that (1) Our adversarial samples from higher-accuracy LLMs are also effective for attacking LLMs with lower accuracy (e.g., transfer from larger to smaller-size LLMs, or from few-shot to zero-shot prompts); (2) Complex MWPs (such as more solving steps, longer text, more numbers) are more vulnerable to attack; (3) We can improve the robustness of LLMs by using our adversarial samples in few-shot prompts. Finally, we hope our practice and observation can serve as an important attempt towards enhancing the robustness of LLMs in math solving ability. We will release our code and dataset.

 

LLM(Large Language Models)의 붐과 함께 수학 풀이 연구 단어 문제(MWP)는 최근 큰 진전을 보이고 있다. 하지만 몇 개 없다 수학 풀이 능력에서 LLM의 안전성을 조사하기 위한 연구들. 대신에 LLM의 사용에 있어서 공격 프롬프트를 제안하고, 우리는 공격하기 위한 MathAttack 모델을 제안한다 수학을 푸는 데 있어 보안의 본질에 더 가까운 MWP 샘플 문제. 전통적인 텍스트 적대 공격과 비교할 때, 다음과 같은 것이 필수적이다 공격하는 동안 원래 MWP의 수학적 논리를 보존해야 한다. 여기에 마지막으로, 우리는 논리적 실체 인식을 제안한다 그 다음에 냉동됩니다. 이어서 나머지 텍스트는 다음을 채택하여 공격한다 단어 수준의 공격자. 또한, 우리는 새로운 데이터 세트 Robust Math to 를 제안한다 수학 풀이 능력에서 LLM의 강건성을 평가한다. 광범위한 실험 Robust Math 및 두 개의 또 다른 수학 벤치마크 데이터 세트 GSM8K 및 MultiAirth에 대해 설명합니다 MathAttack이 LLM들의 수학 풀이 능력을 효과적으로 공격할 수 있음을 보여준다. 실험에서, 우리는 (1) 우리의 적대적 샘플들이 더 높은 정확도의 LLM은 또한 더 낮은 정확도로 LLM을 공격하는데 효과적이다 (예: 더 큰 LLM에서 더 작은 LLM으로 이동하거나, 퓨샷에서 제로샷으로 이동) 프롬프트); (2) 복잡한 MWP(더 많은 해결 단계, 더 긴 텍스트 등), 더 숫자) 공격에 더 취약하다; (3) 우리는 견고성을 향상시킬 수 있다 퓨샷 프롬프트에서 적대적 샘플을 사용하여 LLM. 마지막으로 저희가 연습과 관찰은 향상을 위한 중요한 시도로 작용할 수 있다 수학 풀이 능력에서 LLM의 강건성. 코드를 공개하고 데이터 세트.