[2024-01-04] 오늘의 자연어처리

Halo: Estimation and Reduction of Hallucinations in Open-Source Weak Large Language Models

 

Abstract:Large Language Models (LLMs) have revolutionized Natural Language Processing (NLP). Although convenient for research and practical applications, open-source LLMs with fewer parameters often suffer from severe hallucinations compared to their larger counterparts. This paper focuses on measuring and reducing hallucinations in BLOOM 7B, a representative of such weaker open-source LLMs that are publicly available for research and commercial applications. We introduce HaloCheck, a lightweight BlackBox knowledge-free framework designed to quantify the severity of hallucinations in LLMs. Additionally, we explore techniques like knowledge injection and teacher-student approaches to alleviate hallucinations in low-parameter LLMs. Our experiments effectively demonstrate the reduction of hallucinations in challenging domains for these LLMs.

 

추상화:LLM(Large Language Model)은 자연어 처리(NLP)에 혁명을 일으켰다. 연구 및 실제 응용에 편리하지만 파라미터가 적은 오픈 소스 LLM은 더 큰 LLM에 비해 심각한 환각에 시달리는 경우가 많다. 본 논문은 연구 및 상업적 응용을 위해 공개적으로 이용 가능한 이러한 더 약한 오픈 소스 LLM의 대표적인 BLOM 7B에서 환각을 측정하고 감소시키는 것에 초점을 맞춘다. LLM에서 환각의 심각도를 측정하기 위해 설계된 경량 블랙박스 지식 없는 프레임워크인 헤일로체크(HaloCheck)를 소개한다. 또한 저모수 LLM에서 환각을 완화하기 위한 지식 주입 및 교사-학생 접근법과 같은 방법을 연구한다. 우리의 실험은 이러한 LLM에 대한 도전적인 영역에서 환각의 감소를 효과적으로 보여준다. 

 

 

Halo: Estimation and Reduction of Hallucinations in Open-Source Weak Large Language Models

 

Abstract:Large Language Models (LLMs) have revolutionized Natural Language Processing (NLP). Although convenient for research and practical applications, open-source LLMs with fewer parameters often suffer from severe hallucinations compared to their larger counterparts. This paper focuses on measuring and reducing hallucinations in BLOOM 7B, a representative of such weaker open-source LLMs that are publicly available for research and commercial applications. We introduce HaloCheck, a lightweight BlackBox knowledge-free framework designed to quantify the severity of hallucinations in LLMs. Additionally, we explore techniques like knowledge injection and teacher-student approaches to alleviate hallucinations in low-parameter LLMs. Our experiments effectively demonstrate the reduction of hallucinations in challenging domains for these LLMs.

 

추상화:LLM(Large Language Model)은 자연어 처리(NLP)에 혁명을 일으켰다. 연구 및 실제 응용에 편리하지만 파라미터가 적은 오픈 소스 LLM은 더 큰 LLM에 비해 심각한 환각에 시달리는 경우가 많다. 본 논문은 연구 및 상업적 응용을 위해 공개적으로 이용 가능한 이러한 더 약한 오픈 소스 LLM의 대표적인 BLOM 7B에서 환각을 측정하고 감소시키는 것에 초점을 맞춘다. LLM에서 환각의 심각도를 측정하기 위해 설계된 경량 블랙박스 지식 없는 프레임워크인 헤일로체크(HaloCheck)를 소개한다. 또한 저모수 LLM에서 환각을 완화하기 위한 지식 주입 및 교사-학생 접근법과 같은 방법을 연구한다. 우리의 실험은 이러한 LLM에 대한 도전적인 영역에서 환각의 감소를 효과적으로 보여준다. 

 

 

Quokka: An Open-source Large Language Model ChatBot for Material Science

 

Abstract:This paper presents the development of a specialized chatbot for materials science, leveraging the Llama-2 language model, and continuing pre-training on the expansive research articles in the materials science domain from the S2ORC dataset. The methodology involves an initial pretraining phase on over one million domain-specific papers, followed by an instruction-tuning process to refine the chatbot's capabilities. The chatbot is designed to assist researchers, educators, and students by providing instant, context-aware responses to queries in the field of materials science. We make the four trained checkpoints (7B, 13B, with or without chat ability) freely available to the research community at this https URL.

 

추상화:본 논문은 재료 과학에 특화된 챗봇 개발, Lama-2 언어 모델 활용, S2ORC 데이터 세트에서 재료 과학 영역의 광범위한 연구 논문에 대한 지속적인 사전 교육을 제시한다. 이 방법론은 100만 개 이상의 도메인별 논문에 대한 초기 사전 교육 단계를 거쳐 챗봇의 기능을 개선하기 위한 명령 조정 과정을 거친다. 챗봇은 재료과학 분야의 질의에 대해 즉각적이고 맥락 인식적인 응답을 제공함으로써 연구자, 교육자 및 학생을 지원하도록 설계되었다. 우리는 이 https URL에서 연구 커뮤니티에서 4개의 훈련된 체크포인트(7B, 13B, 채팅 기능 유무)를 자유롭게 사용할 수 있도록 한다.