[2023-11-25] 오늘의 자연어처리

Enhancing Summarization Performance through Transformer-Based Prompt Engineering in Automated Medical Reporting

 

Abstract:Customized medical prompts enable Large Language Models (LLM) to effectively address medical dialogue summarization. The process of medical reporting is often time-consuming for healthcare professionals. Implementing medical dialogue summarization techniques presents a viable solution to alleviate this time constraint by generating automated medical reports. The effectiveness of LLMs in this process is significantly influenced by the formulation of the prompt, which plays a crucial role in determining the quality and relevance of the generated reports. In this research, we used a combination of two distinct prompting strategies, known as shot prompting and pattern prompting to enhance the performance of automated medical reporting. The evaluation of the automated medical reports is carried out using the ROUGE score and a human evaluation with the help of an expert panel. The two-shot prompting approach in combination with scope and domain context outperforms other methods and achieves the highest score when compared to the human reference set by a general practitioner. However, the automated reports are approximately twice as long as the human references, due to the addition of both redundant and relevant statements that are added to the report.

 

추상화:맞춤형 의료 프롬프트를 통해 LLM(Large Language Model)이 의료 대화 요약을 효과적으로 다룰 수 있습니다. 의료 보고 과정은 의료 전문가에게 시간이 많이 소요되는 경우가 많다. 의료 대화 요약 기법을 구현하는 것은 자동화된 의료 보고서를 생성함으로써 이러한 시간 제약을 완화할 수 있는 실행 가능한 해결책을 제시한다. 이 과정에서 LLM의 효과는 프롬프트의 공식화에 의해 크게 영향을 받으며, 이는 생성된 보고서의 품질과 관련성을 결정하는 데 중요한 역할을 한다. 본 연구에서는 자동화된 의료 보고의 성능을 향상시키기 위해 샷 촉구와 패턴 촉구라는 두 가지 별개의 촉구 전략의 조합을 사용했다. 자동화된 의료 보고서의 평가는 전문가 패널의 도움을 받아 ROUGE 점수와 인적 평가를 사용하여 수행된다. 범위 및 도메인 컨텍스트와 결합된 2-샷 촉구 접근법은 일반 실무자가 설정한 인간 참조와 비교할 때 다른 방법을 능가하고 가장 높은 점수를 달성한다. 그러나 자동화된 보고서는 보고서에 추가되는 중복 및 관련 진술을 모두 추가하기 때문에 인간 참조보다 약 2배 더 길다. 

 

 

Complexity-Guided Curriculum Learning for Text Graphs

 

Abstract:Curriculum learning provides a systematic approach to training. It refines training progressively, tailors training to task requirements, and improves generalization through exposure to diverse examples. We present a curriculum learning approach that builds on existing knowledge about text and graph complexity formalisms for training with text graph data. The core part of our approach is a novel data scheduler, which employs "spaced repetition" and complexity formalisms to guide the training process. We demonstrate the effectiveness of the proposed approach on several text graph tasks and graph neural network architectures. The proposed model gains more and uses less data; consistently prefers text over graph complexity indices throughout training, while the best curricula derived from text and graph complexity indices are equally effective; and it learns transferable curricula across GNN models and datasets. In addition, we find that both node-level (local) and graph-level (global) graph complexity indices, as well as shallow and traditional text complexity indices play a crucial role in effective curriculum learning.

 

추상화:교육과정 학습은 훈련에 대한 체계적인 접근을 제공한다. 훈련을 점진적으로 개선하고, 훈련을 과제 요구 사항에 맞게 조정하며, 다양한 사례에 대한 노출을 통해 일반화를 향상시킨다. 우리는 텍스트 그래프 데이터로 훈련하기 위해 텍스트 및 그래프 복잡성 형식에 대한 기존 지식을 기반으로 하는 커리큘럼 학습 접근 방식을 제시한다. 우리의 접근 방식의 핵심 부분은 훈련 과정을 안내하기 위해 "공간 반복"과 복잡성 형식을 사용하는 새로운 데이터 스케줄러이다. 우리는 여러 텍스트 그래프 작업과 그래프 신경망 아키텍처에 대해 제안된 접근 방식의 효과를 보여준다. 제안된 모델은 더 많은 것을 얻고 더 적은 데이터를 사용한다. 교육 전반에 걸쳐 그래프 복잡성 지수보다 텍스트를 일관되게 선호하는 반면, 텍스트 및 그래프 복잡성 지수에서 도출된 최고의 커리큘럼은 동일하게 효과적이다. 그리고 GNN 모델 및 데이터 세트 전반에 걸쳐 전송 가능한 커리큘럼을 학습한다. 또한 노드 수준(로컬) 및 그래프 수준(글로벌) 그래프 복잡도 지수와 얕은 텍스트 및 전통적 텍스트 복잡도 지수 모두 효과적인 교육과정 학습에 중요한 역할을 한다는 것을 발견했다. 

 

 

Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus

 

Abstract:Large Language Models (LLMs) have gained significant popularity for their impressive performance across diverse fields. However, LLMs are prone to hallucinate untruthful or nonsensical outputs that fail to meet user expectations in many real-world applications. Existing works for detecting hallucinations in LLMs either rely on external knowledge for reference retrieval or require sampling multiple responses from the LLM for consistency verification, making these methods costly and inefficient. In this paper, we propose a novel reference-free, uncertainty-based method for detecting hallucinations in LLMs. Our approach imitates human focus in factuality checking from three aspects: 1) focus on the most informative and important keywords in the given text; 2) focus on the unreliable tokens in historical context which may lead to a cascade of hallucinations; and 3) focus on the token properties such as token type and token frequency. Experimental results on relevant datasets demonstrate the effectiveness of our proposed method, which achieves state-of-the-art performance across all the evaluation metrics and eliminates the need for additional information.

 

추상화:LLM(Large Language Model)은 다양한 분야에서 인상적인 성능으로 상당한 인기를 얻었다. 그러나 LLM은 많은 실제 응용 프로그램에서 사용자의 기대를 충족시키지 못하는 거짓 또는 무의미한 출력을 환각에 빠지기 쉽다. LLM에서 환각을 탐지하기 위한 기존 작업은 참조 검색을 위해 외부 지식에 의존하거나 일관성 검증을 위해 LLM에서 여러 응답을 샘플링해야 하므로 이러한 방법은 비용이 많이 들고 비효율적이다. 본 논문에서는 LLM에서 환각을 탐지하기 위한 새로운 무참조 불확실성 기반 방법을 제안한다. 우리의 접근 방식은 세 가지 측면에서 사실성에 대한 인간의 초점을 모방한다: 1) 주어진 텍스트에서 가장 유익하고 중요한 키워드에 초점을 맞추고, 2) 일련의 환각을 초래할 수 있는 역사적 맥락에서 신뢰할 수 없는 토큰에 초점을 맞추고, 3) 토큰 유형 및 토큰 빈도와 같은 토큰 속성에 초점을 맞춘다. 관련 데이터 세트에 대한 실험 결과는 모든 평가 지표에서 최첨단 성능을 달성하고 추가 정보가 필요하지 않은 제안 방법의 효과를 보여준다.