[2023-06-02] 오늘의 자연어처리

MedNgage: A Dataset for Understanding Engagement in Patient-Nurse Conversations

 

Patients who effectively manage their symptoms often demonstrate higher levels of engagement in conversations and interventions with healthcare practitioners. This engagement is multifaceted, encompassing cognitive and socio-affective dimensions. Consequently, it is crucial for AI systems to understand the engagement in natural conversations between patients and practitioners to better contribute toward patient care. In this paper, we present a novel dataset (MedNgage), which consists of patient-nurse conversations about cancer symptom management. We manually annotate the dataset with a novel framework of categories of patient engagement from two different angles, namely: i) socio-affective engagement (3.1K spans), and ii) cognitive engagement (1.8K spans). Through statistical analysis of the data that is annotated using our framework, we show a positive correlation between patient symptom management outcomes and their engagement in conversations. Additionally, we demonstrate that pre-trained transformer models fine-tuned on our dataset can reliably predict engagement categories in patient-nurse conversations. Lastly, we use LIME (Ribeiro et al., 2016) to analyze the underlying challenges of the tasks that state-of-the-art transformer models encounter. The de-identified data is available for research purposes upon request.

 

증상을 효과적으로 관리하는 환자들은 종종 더 높은 수치를 보인다 의료 서비스에 대한 대화 및 개입 수준 개업의. 이 참여는 다면적이고 인지적이고 사회 건설적 차원. 결과적으로, AI 시스템이 다음을 수행하는 것이 중요하다 환자와 환자 사이의 자연스러운 대화에 참여하는 것을 이해한다 환자 치료에 더 잘 기여할 수 있는 의사들. 이 논문에서 우리는 환자-간호사로 구성된 새로운 데이터 세트(MedNgage)를 제시한다 암 증상 관리에 대한 대화. 우리는 수동으로 데이터 세트에 주석을 달았다 두 개의 다른 환자 참여 범주의 새로운 프레임워크로 각도, 즉, i) 사회적으로 영향력 있는 참여(3.1K 범위) 및 ii) 인지적 계약(1.8K 범위). 데이터의 통계적 분석을 통해 우리의 프레임워크를 사용하여 주석이 달린, 우리는 환자 사이의 긍정적인 상관관계를 보여준다 증상 관리 결과와 대화에 참여합니다. 또한, 우리는 사전 훈련된 변압기 모델이 미세 조정되었음을 보여준다 우리의 데이터 세트는 환자 맞춤의 참여 범주를 신뢰성 있게 예측할 수 있다 대화. 마지막으로 LIME(Ribeiro et al., 2016)을 사용하여 분석한다 최첨단 변압기가 모델링하는 작업의 근본적인 과제 맞닥뜨리다. 비식별화된 데이터는 다음과 같은 연구 목적으로 이용할 수 있다 부탁한다. 

 

 

Findings of the VarDial Evaluation Campaign 2023

 

This report presents the results of the shared tasks organized as part of the VarDial Evaluation Campaign 2023. The campaign is part of the tenth workshop on Natural Language Processing (NLP) for Similar Languages, Varieties and Dialects (VarDial), co-located with EACL 2023. Three separate shared tasks were included this year: Slot and intent detection for low-resource language varieties (SID4LR), Discriminating Between Similar Languages -- True Labels (DSL-TL), and Discriminating Between Similar Languages -- Speech (DSL-S). All three tasks were organized for the first time this year.

 

이 보고서는 의 일부로 구성된 공유 작업의 결과를 제공합니다 VarDial 평가 캠페인 2023. 이 캠페인은 다음에 대한 10번째 워크샵의 일부입니다 유사 언어, 다양성 및 방언을 위한 자연어 처리(NLP) (VarDial), EACL 2023과 공동 위치. 세 개의 개별 공유 작업이 포함되었습니다 올해: 저자원 언어 품종에 대한 슬롯 및 의도 탐지 (SID4LR), 유사한 언어 식별 -- 실제 레이블(DSL-TL) 및 유사한 언어 간의 구별 -- 음성(DSL-S). 세 가지 작업 모두 올해 처음으로 조직되었다. 

 

 

Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency

 

We introduce Logical Offline Cycle Consistency Optimization (LOCCO), a scalable, semi-supervised method for training a neural semantic parser. Conceptually, LOCCO can be viewed as a form of self-learning where the semantic parser being trained is used to generate annotations for unlabeled text that are then used as new supervision. To increase the quality of annotations, our method utilizes a count-based prior over valid formal meaning representations and a cycle-consistency score produced by a neural text generation model as additional signals. Both the prior and semantic parser are updated in an alternate fashion from full passes over the training data, which can be seen as approximating the marginalization of latent structures through stochastic variational inference. The use of a count-based prior, frozen text generation model, and offline annotation process yields an approach with negligible complexity and latency increases as compared to conventional self-learning. As an added bonus, the annotations produced by LOCCO can be trivially repurposed to train a neural text generation model. We demonstrate the utility of LOCCO on the well-known WebNLG benchmark where we obtain an improvement of 2 points against a self-learning parser under equivalent conditions, an improvement of 1.3 points against the previous state-of-the-art parser, and competitive text generation performance in terms of BLEU score.

 

우리는 논리적 오프라인 주기 일관성 최적화(LOCCO)를 소개한다 신경 시맨틱 파서를 훈련하기 위한 확장 가능한 준지도 방법. 개념적으로, LOCCO는 의미론적인 것이 있는 자가 학습의 한 형태로 볼 수 있다 훈련 중인 파서는 레이블이 지정되지 않은 텍스트에 대한 주석을 생성하는 데 사용됩니다 그런 다음 새로운 감독으로 사용됩니다. 주석의 품질을 높이기 위해, 우리의 방법은 유효한 형식적 의미 표현보다 이전의 카운트 기반을 활용한다 그리고 신경 텍스트 생성 모델에 의해 생성된 주기 일관성 점수 추가 신호. 이전 구문 분석기와 의미 구문 분석기는 모두 다음과 같이 업데이트됩니다 훈련 데이터에 대한 풀 패스에서 대체 패션을 볼 수 있다 확률론적 방법을 통해 잠재 구조의 주변화를 근사화한다 변분 추론. 카운트 기반의 이전 고정 텍스트 생성 사용 모델, 그리고 오프라인 주석 프로세스는 무시할 수 있는 접근법을 산출한다 기존의 자체 학습에 비해 복잡성과 대기 시간이 증가한다. ~하듯이 추가 보너스, LOCCO에 의해 생성된 주석은 사소한 용도 변경이 가능합니다 신경 텍스트 생성 모델을 훈련시킨다. 우리는 LOCCO의 유용성을 보여준다 우리가 2점의 개선점을 얻는 잘 알려진 WebNLG 벤치마크 동등한 조건에서 자가 학습 파서에 대항하여, 개선 이전 최첨단 파서 대비 1.3점 및 경쟁사 텍스트 BLEU 점수 측면에서 발전 성능.