[2023-11-26] 오늘의 자연어처리

Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus

 

Abstract:Large Language Models (LLMs) have gained significant popularity for their impressive performance across diverse fields. However, LLMs are prone to hallucinate untruthful or nonsensical outputs that fail to meet user expectations in many real-world applications. Existing works for detecting hallucinations in LLMs either rely on external knowledge for reference retrieval or require sampling multiple responses from the LLM for consistency verification, making these methods costly and inefficient. In this paper, we propose a novel reference-free, uncertainty-based method for detecting hallucinations in LLMs. Our approach imitates human focus in factuality checking from three aspects: 1) focus on the most informative and important keywords in the given text; 2) focus on the unreliable tokens in historical context which may lead to a cascade of hallucinations; and 3) focus on the token properties such as token type and token frequency. Experimental results on relevant datasets demonstrate the effectiveness of our proposed method, which achieves state-of-the-art performance across all the evaluation metrics and eliminates the need for additional information.

 

추상화:LLM(Large Language Model)은 다양한 분야에서 인상적인 성능으로 상당한 인기를 얻었다. 그러나 LLM은 많은 실제 응용 프로그램에서 사용자의 기대를 충족시키지 못하는 거짓 또는 무의미한 출력을 환각에 빠지기 쉽다. LLM에서 환각을 탐지하기 위한 기존 작업은 참조 검색을 위해 외부 지식에 의존하거나 일관성 검증을 위해 LLM에서 여러 응답을 샘플링해야 하므로 이러한 방법은 비용이 많이 들고 비효율적이다. 본 논문에서는 LLM에서 환각을 탐지하기 위한 새로운 무참조 불확실성 기반 방법을 제안한다. 우리의 접근 방식은 세 가지 측면에서 사실성에 대한 인간의 초점을 모방한다: 1) 주어진 텍스트에서 가장 유익하고 중요한 키워드에 초점을 맞추고, 2) 일련의 환각을 초래할 수 있는 역사적 맥락에서 신뢰할 수 없는 토큰에 초점을 맞추고, 3) 토큰 유형 및 토큰 빈도와 같은 토큰 속성에 초점을 맞춘다. 관련 데이터 세트에 대한 실험 결과는 모든 평가 지표에서 최첨단 성능을 달성하고 추가 정보가 필요하지 않은 제안 방법의 효과를 보여준다. 

 

 

Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus

 

Abstract:Large Language Models (LLMs) have gained significant popularity for their impressive performance across diverse fields. However, LLMs are prone to hallucinate untruthful or nonsensical outputs that fail to meet user expectations in many real-world applications. Existing works for detecting hallucinations in LLMs either rely on external knowledge for reference retrieval or require sampling multiple responses from the LLM for consistency verification, making these methods costly and inefficient. In this paper, we propose a novel reference-free, uncertainty-based method for detecting hallucinations in LLMs. Our approach imitates human focus in factuality checking from three aspects: 1) focus on the most informative and important keywords in the given text; 2) focus on the unreliable tokens in historical context which may lead to a cascade of hallucinations; and 3) focus on the token properties such as token type and token frequency. Experimental results on relevant datasets demonstrate the effectiveness of our proposed method, which achieves state-of-the-art performance across all the evaluation metrics and eliminates the need for additional information.

 

추상화:LLM(Large Language Model)은 다양한 분야에서 인상적인 성능으로 상당한 인기를 얻었다. 그러나 LLM은 많은 실제 응용 프로그램에서 사용자의 기대를 충족시키지 못하는 거짓 또는 무의미한 출력을 환각에 빠지기 쉽다. LLM에서 환각을 탐지하기 위한 기존 작업은 참조 검색을 위해 외부 지식에 의존하거나 일관성 검증을 위해 LLM에서 여러 응답을 샘플링해야 하므로 이러한 방법은 비용이 많이 들고 비효율적이다. 본 논문에서는 LLM에서 환각을 탐지하기 위한 새로운 무참조 불확실성 기반 방법을 제안한다. 우리의 접근 방식은 세 가지 측면에서 사실성에 대한 인간의 초점을 모방한다: 1) 주어진 텍스트에서 가장 유익하고 중요한 키워드에 초점을 맞추고, 2) 일련의 환각을 초래할 수 있는 역사적 맥락에서 신뢰할 수 없는 토큰에 초점을 맞추고, 3) 토큰 유형 및 토큰 빈도와 같은 토큰 속성에 초점을 맞춘다. 관련 데이터 세트에 대한 실험 결과는 모든 평가 지표에서 최첨단 성능을 달성하고 추가 정보가 필요하지 않은 제안 방법의 효과를 보여준다. 

 

 

Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus

 

Abstract:Large Language Models (LLMs) have gained significant popularity for their impressive performance across diverse fields. However, LLMs are prone to hallucinate untruthful or nonsensical outputs that fail to meet user expectations in many real-world applications. Existing works for detecting hallucinations in LLMs either rely on external knowledge for reference retrieval or require sampling multiple responses from the LLM for consistency verification, making these methods costly and inefficient. In this paper, we propose a novel reference-free, uncertainty-based method for detecting hallucinations in LLMs. Our approach imitates human focus in factuality checking from three aspects: 1) focus on the most informative and important keywords in the given text; 2) focus on the unreliable tokens in historical context which may lead to a cascade of hallucinations; and 3) focus on the token properties such as token type and token frequency. Experimental results on relevant datasets demonstrate the effectiveness of our proposed method, which achieves state-of-the-art performance across all the evaluation metrics and eliminates the need for additional information.

 

추상화:LLM(Large Language Model)은 다양한 분야에서 인상적인 성능으로 상당한 인기를 얻었다. 그러나 LLM은 많은 실제 응용 프로그램에서 사용자의 기대를 충족시키지 못하는 거짓 또는 무의미한 출력을 환각에 빠지기 쉽다. LLM에서 환각을 탐지하기 위한 기존 작업은 참조 검색을 위해 외부 지식에 의존하거나 일관성 검증을 위해 LLM에서 여러 응답을 샘플링해야 하므로 이러한 방법은 비용이 많이 들고 비효율적이다. 본 논문에서는 LLM에서 환각을 탐지하기 위한 새로운 무참조 불확실성 기반 방법을 제안한다. 우리의 접근 방식은 세 가지 측면에서 사실성에 대한 인간의 초점을 모방한다: 1) 주어진 텍스트에서 가장 유익하고 중요한 키워드에 초점을 맞추고, 2) 일련의 환각을 초래할 수 있는 역사적 맥락에서 신뢰할 수 없는 토큰에 초점을 맞추고, 3) 토큰 유형 및 토큰 빈도와 같은 토큰 속성에 초점을 맞춘다. 관련 데이터 세트에 대한 실험 결과는 모든 평가 지표에서 최첨단 성능을 달성하고 추가 정보가 필요하지 않은 제안 방법의 효과를 보여준다.