[2023-05-04] 오늘의 자연어처리

Clinical Note Generation from Doctor-Patient Conversations using Large Language Models: Insights from MEDIQA-Chat

 

This paper describes our submission to the MEDIQA-Chat 2023 shared task for automatic clinical note generation from doctor-patient conversations. We report results for two approaches: the first fine-tunes a pre-trained language model (PLM) on the shared task data, and the second uses few-shot in-context learning (ICL) with a large language model (LLM). Both achieve high performance as measured by automatic metrics (e.g. ROUGE, BERTScore) and ranked second and first, respectively, of all submissions to the shared task. Expert human scrutiny indicates that notes generated via the ICL-based approach with GPT-4 are preferred about as often as human-written notes, making it a promising path toward automated note generation from doctor-patient conversations.

 

이 문서는 MEDIQA-Chat 2023 공유 작업에 대한 제출에 대해 설명합니다 의사-환자 대화에서 자동으로 임상 기록을 생성합니다. 우리는 보고합니다 두 가지 접근법에 대한 결과: 사전 훈련된 언어 모델을 미세 조정한 첫 번째 결과 공유 작업 데이터에 대한 (PLM), 두 번째는 퓨샷 인 컨텍스트 학습을 사용한다 LLM(대규모 언어 모델)을 사용하는 ICL. 둘 다 다음과 같은 높은 성능을 달성합니다 자동 측정 기준(예: ROUGE, BERS 점수)에 의해 측정되며 2위 및 공유 작업에 대한 모든 제출 중 첫 번째. 전문가 인간 정밀 조사는 GPT-4를 사용한 ICL 기반 접근법을 통해 생성된 노트를 나타낸다 사람이 쓴 노트만큼 자주 선호되므로 유망한 경로가 된다 의사와 환자 간의 대화에서 자동으로 노트를 생성합니다. 

 

 

What makes a good pause? Investigating the turn-holding effects of fillers

 

Filled pauses (or fillers), such as "uh" and "um", are frequent in spontaneous speech and can serve as a turn-holding cue for the listener, indicating that the current speaker is not done yet. In this paper, we use the recently proposed Voice Activity Projection (VAP) model, which is a deep learning model trained to predict the dynamics of conversation, to analyse the effects of filled pauses on the expected turn-hold probability. The results show that, while filled pauses do indeed have a turn-holding effect, it is perhaps not as strong as could be expected, probably due to the redundancy of other cues. We also find that the prosodic properties and position of the filler has a significant effect on the turn-hold probability. However, contrary to what has been suggested in previous work, there is no difference between "uh" and "um" in this regard.

 

"uh" 및 "um"과 같은 채워진 일시 중지(또는 채우기)는 다음에서 자주 발생합니다 자발적인 연설로 듣는 사람을 위한 차례 대기 신호 역할을 할 수 있다, 현재 스피커가 아직 완료되지 않았음을 나타냅니다. 이 논문에서, 우리는 다음을 사용한다 최근에 제안된 음성 활동 투영(VAP) 모델은 심오하다 대화의 역학을 예측하고, 분석하기 위해 훈련된 학습 모델 예상 턴 홀드 확률에 대한 채우기 일시 중지의 영향. 결과 채워진 휴지가 실제로 턴 홀딩 효과가 있음을 보여주는 반면, 그것은 아마도 예상했던 것만큼 강하지 않을 것이다, 아마도 중복 때문일 것이다 다른 단서들. 우리는 또한 운율적 특성과 위치가 주입구는 턴홀드 확률에 유의한 영향을 미칩니다. 그러나 반대로 이전 작업에서 제안된 것에 대해, 사이에는 차이가 없다 이와 관련하여 "어"와 "음". 

 

 

Identifying the Correlation Between Language Distance and Cross-Lingual Transfer in a Multilingual Representation Space

 

Prior research has investigated the impact of various linguistic features on cross-lingual transfer performance. In this study, we investigate the manner in which this effect can be mapped onto the representation space. While past studies have focused on the impact on cross-lingual alignment in multilingual language models during fine-tuning, this study examines the absolute evolution of the respective language representation spaces produced by MLLMs. We place a specific emphasis on the role of linguistic characteristics and investigate their inter-correlation with the impact on representation spaces and cross-lingual transfer performance. Additionally, this paper provides preliminary evidence of how these findings can be leveraged to enhance transfer to linguistically distant languages.

 

이전의 연구는 다양한 언어적 특징들이 에 미치는 영향을 조사했다 다국어 전송 성능. 이 연구에서, 우리는 그 방식을 조사한다 이 효과를 표현 공간에 매핑할 수 있습니다. 지나간 동안 연구는 다국어의 교차 언어 정렬에 미치는 영향에 초점을 맞추었다 이 연구는 미세 조정 동안의 언어 모델, 절대적인 진화를 조사한다 MLLM에 의해 생성된 각각의 언어 표현 공간. 우리는 다음과 같이 배치한다 언어적 특성의 역할에 대한 구체적인 강조와 조사 표현 공간에 미치는 영향과 그들의 상호 연관성 다국어 전송 성능. 추가적으로, 이 논문은 다음을 제공한다 이러한 결과를 활용하여 이전을 개선할 수 있는 방법에 대한 예비 증거 언어학적으로 먼 언어로.