[2023-03-26] 오늘의 자연어처리

SPeC: A Soft Prompt-Based Calibration on Mitigating Performance Variability in Clinical Notes Summarization

 

Electronic health records (EHRs) store an extensive array of patient information, encompassing medical histories, diagnoses, treatments, and test outcomes. These records are crucial for enabling healthcare providers to make well-informed decisions regarding patient care. Summarizing clinical notes further assists healthcare professionals in pinpointing potential health risks and making better-informed decisions. This process contributes to reducing errors and enhancing patient outcomes by ensuring providers have access to the most pertinent and current patient data. Recent research has shown that incorporating prompts with large language models (LLMs) substantially boosts the efficacy of summarization tasks. However, we show that this approach also leads to increased output variance, resulting in notably divergent outputs even when prompts share similar meanings. To tackle this challenge, we introduce a model-agnostic Soft Prompt-Based Calibration (SPeC) pipeline that employs soft prompts to diminish variance while preserving the advantages of prompt-based summarization. Experimental findings on multiple clinical note tasks and LLMs indicate that our method not only bolsters performance but also effectively curbs variance for various LLMs, providing a more uniform and dependable solution for summarizing vital medical information.

 

전자 건강 기록(EHR)은 광범위한 환자군을 저장할 것 의료 기록, 진단, 치료 및 검사를 포함하는 정보 결과. 이러한 기록은 의료 제공자가 다음을 수행할 수 있도록 하는 데 중요합니다 환자 치료에 관한 충분한 정보를 바탕으로 한 결정. 임상 기록 요약 의료 전문가가 잠재적인 건강 위험을 정확히 파악할 수 있도록 추가 지원 더 나은 정보에 입각한 결정을 내리는 것입니다. 이 프로세스는 감소에 기여합니다 제공자가 액세스할 수 있도록 보장함으로써 오류 및 환자 결과 개선 가장 관련성이 높은 최신 환자 데이터. 최근의 연구는 그것이 프롬프트를 대규모 언어 모델(LLM)과 통합하면 상당히 향상됩니다 요약 작업의 효과. 그러나, 우리는 이 접근법 또한 출력 분산을 증가시켜 현저하게 다른 출력을 생성합니다 프롬프트가 유사한 의미를 공유하는 경우. 이 문제를 해결하기 위해, 우리는 다음을 소개한다 소프트를 사용하는 모델에 구애받지 않는 소프트 프롬프트 기반 보정(SPEC) 파이프라인 프롬프트 기반의 이점을 유지하면서 분산을 줄이려는 프롬프트 요약. 여러 임상 기록 작업 및 LLM에 대한 실험 결과 우리의 방법이 성능을 강화할 뿐만 아니라 효과적이라는 것을 나타낸다 다양한 LLM에 대한 변동을 억제하여 보다 균일하고 신뢰할 수 있도록 합니다 중요한 의료 정보를 요약하기 위한 솔루션. 

 

 

Leveraging Foundation Models for Clinical Text Analysis

 

Infectious diseases are a significant public health concern globally, and extracting relevant information from scientific literature can facilitate the development of effective prevention and treatment strategies. However, the large amount of clinical data available presents a challenge for information extraction. To address this challenge, this study proposes a natural language processing (NLP) framework that uses a pre-trained transformer model fine-tuned on task-specific data to extract key information related to infectious diseases from free-text clinical data. The proposed framework includes three components: a data layer for preparing datasets from clinical texts, a foundation model layer for entity extraction, and an assessment layer for performance analysis. The results of the evaluation indicate that the proposed method outperforms standard methods, and leveraging prior knowledge through the pre-trained transformer model makes it useful for investigating other infectious diseases in the future.

 

전염병은 전 세계적으로 중요한 공중 보건 관심사이다 과학 문헌으로부터 관련 정보를 추출하는 것은 다음을 촉진할 수 있다 효과적인 예방 및 치료 전략의 개발. 하지만, 그 이용 가능한 많은 양의 임상 데이터는 정보에 대한 도전을 제시한다 추출. 이 문제를 해결하기 위해, 이 연구는 자연어를 제안한다 미세 조정된 사전 훈련된 변압기 모델을 사용하는 처리(NLP) 프레임워크 감염성 질환과 관련된 핵심 정보를 추출하기 위한 업무별 데이터에 대해 자유 텍스트 임상 데이터로부터. 제안된 프레임워크는 세 가지 구성요소를 포함한다: 임상 텍스트에서 데이터 세트를 준비하기 위한 데이터 계층, 기초 모델 엔티티 추출을 위한 계층 및 성능 분석을 위한 평가 계층. 평가 결과는 제안된 방법이 성능을 능가한다는 것을 나타낸다 표준 방법 및 사전 교육을 통한 사전 지식 활용 변압기 모델은 그것을 다른 전염병을 조사하는 데 유용하게 만든다 미래에. 

 

 

Multi-View Zero-Shot Open Intent Induction from Dialogues: Multi Domain Batch and Proxy Gradient Transfer

 

In Task Oriented Dialogue (TOD) system, detecting and inducing new intents are two main challenges to apply the system in the real world. In this paper, we suggest the semantic multi-view model to resolve these two challenges: (1) SBERT for General Embedding (GE), (2) Multi Domain Batch (MDB) for dialogue domain knowledge, and (3) Proxy Gradient Transfer (PGT) for cluster-specialized semantic. MDB feeds diverse dialogue datasets to the model at once to tackle the multi-domain problem by learning the multiple domain knowledge. We introduce a novel method PGT, which employs the Siamese network to fine-tune the model with a clustering method directly.Our model can learn how to cluster dialogue utterances by using PGT. Experimental results demonstrate that our multi-view model with MDB and PGT significantly improves the Open Intent Induction performance compared to baseline systems.

 

TOD(Task Oriented Dialogue) 시스템에서 새로운 의도 감지 및 유도 현실 세계에서 시스템을 적용하기 위한 두 가지 주요 과제입니다. 이 논문에서, 우리는 이 두 가지 과제를 해결하기 위해 의미론적 다중 뷰 모델을 제안한다: (1) 일반 임베딩(GE)을 위한 SBERT, (2) 대화를 위한 다중 도메인 배치(MDB) 도메인 지식 및 (3) 클러스터 전문화를 위한 프록시 그레이디언트 전송(PGT) 의미론의. MDB는 다양한 대화 데이터 세트를 모델에 한 번에 제공하여 해결합니다 다중 도메인 지식을 학습하여 다중 도메인 문제를 해결합니다. 우리가 샴 네트워크를 사용하여 미세 조정하는 새로운 방법 PGT를 소개한다 군집화 방법을 직접 사용한 모형입니다.우리 모델은 클러스터링 방법을 배울 수 있다 PGT를 사용한 대화 발언. 실험 결과는 우리의 MDB 및 PGT를 사용한 다중 뷰 모델은 Open Intent를 크게 향상시킵니다 기준 시스템과 비교한 유도 성능.