[2023-09-04] 오늘의 자연어처리

Interpreting Sentiment Composition with Latent Semantic Tree

 

As the key to sentiment analysis, sentiment composition considers the classification of a constituent via classifications of its contained sub-constituents and rules operated on them. Such compositionality has been widely studied previously in the form of hierarchical trees including untagged and sentiment ones, which are intrinsically suboptimal in our view. To address this, we propose semantic tree, a new tree form capable of interpreting the sentiment composition in a principled way. Semantic tree is a derivation of a context-free grammar (CFG) describing the specific composition rules on difference semantic roles, which is designed carefully following previous linguistic conclusions. However, semantic tree is a latent variable since there is no its annotation in regular datasets. Thus, in our method, it is marginalized out via inside algorithm and learned to optimize the classification performance. Quantitative and qualitative results demonstrate that our method not only achieves better or competitive results compared to baselines in the setting of regular and domain adaptation classification, and also generates plausible tree explanations.

 

감정 분석의 핵심으로 감정 구성은 다음을 고려한다 성분의 분류에 의한 성분의 분류 하위 구성 요소와 규칙이 작동합니다. 그러한 구성은 지금까지 계속되어 왔다 태그 없이를 포함한 계층적 트리의 형태로 이전에 널리 연구되었다 그리고 정서적인 것들은 본질적으로 우리의 관점에서 최적이 아니다. 주소를 지정하려면 이것을 해석할 수 있는 새로운 트리 형태인 시맨틱 트리를 제안한다 원론적인 정서 구성. 시맨틱 트리는 a의 파생어이다 특정 구성 규칙을 설명하는 컨텍스트 없는 문법(CFG) 이전의 것을 따라 신중하게 설계된 차이 의미론적 역할 언어학적 결론. 그러나 의미 트리는 잠재 변수이다 는 일반 데이터 세트의 주석이 아닙니다. 따라서, 우리의 방법에서, 그것은 내부 알고리즘을 통해 소외되고 최적화하는 방법을 배웠다 분류 성능. 정량적 및 정성적 결과는 다음을 입증한다 우리의 방법이 다음과 비교하여 더 나은 또는 경쟁적인 결과를 얻을 뿐만 아니라 일반 및 도메인 적응 분류 설정의 기준선 및 또한 그럴듯한 트리 설명을 생성합니다. 

 

 

Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection

 

Chain-of-Thought Prompting (CoT) reinforces the reasoning capabilities of Large Language Models (LLMs) through the generation of intermediate rationales. However, these enhancements predominantly benefit large-scale models, leaving small LMs without significant performance improvements when directly applying CoT. Despite the advanced reasoning capabilities of LLMs, CoT relies primarily on their pre-trained internal knowledge. The external knowledge that is previously unknown to the model remains unexploited. This omission becomes pronounced in tasks such as stance detection, where the external background knowledge plays a pivotal role. Additionally, the large-scale architecture of LLMs inevitably present efficiency challenges during deployment. To address these challenges, we introduce the Ladder-of-Thought (LoT) for stance detection. Grounded in a dual-phase Cascaded Optimization framework, LoT directs the model to incorporate high-quality external knowledge, enhancing the intermediate rationales it generates. These bolstered rationales subsequently serve as the foundation for more precise predictions - akin to how a ladder facilitates reaching elevated goals. LoT achieves a balance between efficiency and accuracy, making it an adaptable and efficient framework for stance detection. Our empirical evaluations underscore LoT's effectiveness, marking a 16% improvement over ChatGPT and a 10% enhancement compared to ChatGPT with CoT.

 

CoT(Chain-of-Think Prompting)는 다음과 같은 추론 기능을 강화합니다 중간 추론 생성을 통한 LLM(Large Language Model). 그러나 이러한 개선은 대부분 대규모 모델에 혜택을 주며, 다음과 같다 직접 적용 시 성능이 크게 향상되지 않은 소형 LM 코트. LLM의 고급 추론 기능에도 불구하고 CoT는 주로 그들의 사전 훈련된 내부 지식에 대해. 외부의 지식은 이전에 모델이 알 수 없었던 상태로 남아 있습니다. 이 생략은 다음과 같다 외부 배경이 있는 자세 감지와 같은 작업에서 명확하게 표시됩니다 지식은 중추적인 역할을 한다. 또한, 대규모 아키텍처는 LLM은 구축 중에 필연적으로 효율성 문제를 야기합니다. 주소를 지정하려면 이러한 과제에 대해, 우리는 입장을 위한 생각의 사다리(LoT)를 소개한다 발각. 이중상 Cascaded Optimization 프레임워크 기반의 LoT 모델이 고품질의 외부 지식을 통합하도록 지시하여 모델을 향상시킵니다 그것이 생성하는 중간 합리화. 이러한 합리성은 이후에 강화되었다 사다리를 이용한 방법과 마찬가지로 보다 정확한 예측의 기초가 되다 높은 목표 달성을 촉진합니다. LoT를 통해 효율성 간의 균형을 유지합니다 그리고 정확성, 적응 가능하고 효율적인 입장의 틀을 만든다 발각. 우리의 경험적 평가는 LoT의 효과를 강조하며, a를 표시한다 ChatGPT 대비 16% 향상 및 ChatGPT 대비 10% 향상 코트. 

 

 

Developing a Scalable Benchmark for Assessing Large Language Models in Knowledge Graph Engineering

 

As the field of Large Language Models (LLMs) evolves at an accelerated pace, the critical need to assess and monitor their performance emerges. We introduce a benchmarking framework focused on knowledge graph engineering (KGE) accompanied by three challenges addressing syntax and error correction, facts extraction and dataset generation. We show that while being a useful tool, LLMs are yet unfit to assist in knowledge graph generation with zero-shot prompting. Consequently, our LLM-KG-Bench framework provides automatic evaluation and storage of LLM responses as well as statistical data and visualization tools to support tracking of prompt engineering and model performance.

 

LLM(Large Language Models) 분야가 가속화되는 속도로 진화함에 따라, 성능을 평가하고 모니터링해야 할 중요한 필요성이 대두됩니다. 우리는 소개합니다 지식 그래프 공학(KGE)에 초점을 맞춘 벤치마킹 프레임워크 구문 및 오류 수정, 사실을 다루는 세 가지 문제가 수반됩니다 추출 및 데이터 세트 생성. 우리는 유용한 도구인 LLM을 보여줍니다 제로샷 프롬프트로 지식 그래프 생성을 지원하기에는 아직 적합하지 않습니다. 결과적으로, 우리의 LLM-KG-Bench 프레임워크는 자동 평가를 제공하고 LLM 응답 저장 및 통계 데이터 및 시각화 도구 신속한 엔지니어링 및 모델 성능 추적을 지원합니다.