[2022-11-29] 오늘의 자연어처리

Multi-label Few-shot ICD Coding as Autoregressive Generation with Prompt

 

Automatic International Classification of Diseases (ICD) coding aims to assign multiple ICD codes to a medical note with an average of 3,000+ tokens. This task is challenging due to the high-dimensional space of multi-label assignment (155,000+ ICD code candidates) and the long-tail challenge - Many ICD codes are infrequently assigned yet infrequent ICD codes are important clinically. This study addresses the long-tail challenge by transforming this multi-label classification task into an autoregressive generation task. Specifically, we first introduce a novel pretraining objective to generate free text diagnoses and procedure using the SOAP structure, the medical logic physicians use for note documentation. Second, instead of directly predicting the high dimensional space of ICD codes, our model generates the lower dimension of text descriptions, which then infer ICD codes. Third, we designed a novel prompt template for multi-label classification. We evaluate our Generation with Prompt model with the benchmark of all code assignment (MIMIC-III-full) and few shot ICD code assignment evaluation benchmark (MIMIC-III-few). Experiments on MIMIC-III-few show that our model performs with a marco F1 30.2, which substantially outperforms the previous MIMIC-III-full SOTA model (marco F1 4.3) and the model specifically designed for few/zero shot setting (marco F1 18.7). Finally, we design a novel ensemble learner, a cross attention reranker with prompts, to integrate previous SOTA and our best few-shot coding predictions. Experiments on MIMIC-III-full show that our ensemble learner substantially improves both macro and micro F1, from 10.4 to 14.6 and from 58.2 to 59.1, respectively.

 

국제 질병 자동 분류(ICD) 코딩의 목적은 다음과 같다. 평균 3,000개 이상의 토큰으로 의료 노트에 여러 개의 ICD 코드를 할당합니다. 이 작업은 다중 레이블의 고차원 공간 때문에 어렵다. 과제(155,000개 이상의 ICD 코드 후보) 및 롱테일 챌린지 - 다수 ICD 코드는 자주 할당되지 않지만 자주 할당되지 않는 ICD 코드는 중요합니다. 임상적으로 이 연구는 이것을 변형함으로써 긴 꼬리 문제를 해결한다. 다중 레이블 분류 작업을 자동 회귀 생성 작업으로 지정합니다. 구체적으로, 우리는 먼저 무료를 생성하기 위한 새로운 사전 훈련 목표를 소개한다. SOAP 구조를 사용한 텍스트 진단 및 절차, 의료 논리 의사는 노트 문서에 사용합니다. 둘째, 직접적으로 예측하는 대신 ICD 코드의 고차원 공간, 우리의 모델은 더 낮은 것을 생성한다. ICD 코드를 추론하는 텍스트 설명의 차원. 셋째, 우리는 디자인했다. 다중 레이블 분류를 위한 새로운 프롬프트 템플릿 우리는 우리의 모든 코드 할당의 벤치마크를 사용한 프롬프트 모델 생성 (MIMIC-III-full) 및 퓨샷 ICD 코드 할당 평가 벤치마크 (MIMIC-III-소수). MIMIC-III-few에 대한 실험은 우리의 모델이 다음과 같이 작동한다는 것을 보여준다. 마르코 F130.2는 이전의 MIMIC-III-풀을 상당히 능가한다. SOTA 모델(Marco F14.3) 및 퓨/제로 샷을 위해 특별히 설계된 모델 설정(마크 F118.7). 마지막으로, 우리는 새로운 앙상블 학습자를 설계한다. 이전 SOTA와 최고의 제품을 통합하기 위한 안내 메시지가 포함된 주의 리랭커 퓨샷 코딩 예측 MIMIC-III-full에 대한 실험을 통해 앙상블 학습자는 매크로와 마이크로 F1을 10.4에서 10.4로 크게 향상시킨다. 각각 14.6과 58.2에서 59.1까지. 

 

 

Using Selective Masking as a Bridge between Pre-training and Fine-tuning

 

Pre-training a language model and then fine-tuning it for downstream tasks has demonstrated state-of-the-art results for various NLP tasks. Pre-training is usually independent of the downstream task, and previous works have shown that this pre-training alone might not be sufficient to capture the task-specific nuances. We propose a way to tailor a pre-trained BERT model for the downstream task via task-specific masking before the standard supervised fine-tuning. For this, a word list is first collected specific to the task. For example, if the task is sentiment classification, we collect a small sample of words representing both positive and negative sentiments. Next, a word's importance for the task, called the word's task score, is measured using the word list. Each word is then assigned a probability of masking based on its task score. We experiment with different masking functions that assign the probability of masking based on the word's task score. The BERT model is further trained on MLM objective, where masking is done using the above strategy. Following this standard supervised fine-tuning is done for different downstream tasks. Results on these tasks show that the selective masking strategy outperforms random masking, indicating its effectiveness.

 

언어 모델을 사전 교육한 다음 다운스트림 작업을 위해 세부 조정 는 다양한 NLP 작업에 대한 최첨단 결과를 보여주었다. 사전 교육 일반적으로 다운스트림 작업과 독립적이며 이전 작업에서 보여주었다. 이 사전 훈련만으로는 충분하지 않을 수 있다. 태스크별 뉘앙스 우리는 다음을 위해 사전 훈련된 BERT 모델을 맞춤화하는 방법을 제안한다. 표준 감독 전 작업별 마스킹을 통한 다운스트림 작업 미세 조정의 이를 위해 먼저 작업에 관련된 단어 목록이 수집됩니다. 위해서 예를 들어, 만약 작업이 감정 분류라면, 우리는 작은 샘플을 수집한다. 긍정적인 감정과 부정적인 감정을 모두 나타내는 단어들 다음으로, 단어의 뜻은 단어의 작업 점수라고 불리는 작업의 중요성은 다음을 사용하여 측정됩니다. 단어 목록 그런 다음 각 단어에는 다음을 기반으로 마스킹 확률이 할당됩니다. 과제 점수 우리는 다음을 할당하는 다양한 마스킹 기능을 실험한다. 단어의 작업 점수에 기초한 마스킹 확률. BERT 모델은 MLM 목표에 대해 추가로 훈련되며, 여기서 위의 내용을 사용하여 마스킹이 수행됩니다. 전략. 이 표준을 따르는 감독 미세 조정은 서로 다른 용도로 수행됩니다. 다운스트림 작업 이러한 작업에 대한 결과는 선택적 마스킹이 전략은 랜덤 마스킹을 능가하여 그 효과를 나타낸다. 

 

 

Exposure and Emergence in Usage-Based Grammar: Computational Experiments in 35 Languages

 

This paper uses computational experiments to explore the role of exposure in the emergence of construction grammars. While usage-based grammars are hypothesized to depend on a learner's exposure to actual language use, the mechanisms of such exposure have only been studied in a few constructions in isolation. This paper experiments with (i) the growth rate of the constructicon, (ii) the convergence rate of grammars exposed to independent registers, and (iii) the rate at which constructions are forgotten when they have not been recently observed. These experiments show that the lexicon grows more quickly than the grammar and that the growth rate of the grammar is not dependent on the growth rate of the lexicon. At the same time, register-specific grammars converge onto more similar constructions as the amount of exposure increases. This means that the influence of specific registers becomes less important as exposure increases. Finally, the rate at which constructions are forgotten when they have not been recently observed mirrors the growth rate of the constructicon. This paper thus presents a computational model of usage-based grammar that includes both the emergence and the unentrenchment of constructions.

 

이 논문은 컴퓨터 실험을 사용하여 노출의 역할을 탐구한다. 구문 문법의 출현 사용법 기반 문법은 다음과 같다. 실제 언어 사용에 대한 학습자의 노출에 따라 달라지는 가설, 그러한 노출의 메커니즘은 단지 몇몇 구조에서 연구되었다. 고립의 이 논문은 (i)의 성장률로 실험한다. constructicon, (ii) 독립적으로 노출된 문법의 수렴률 레지스터, 그리고 (iii) 구조가 잊혀질 때의 비율 최근에 관찰되지 않았습니다. 이 실험들은 어휘가 성장한다는 것을 보여준다. 문법보다 더 빨리 그리고 문법의 성장률은 그렇지 않다. 어휘의 증가율에 따라 다릅니다. 동시에 레지스터 특정 문법은 더 유사한 구조로 수렴한다. 노출량이 증가합니다. 이것은 특정한 것의 영향력이 레지스터는 노출이 증가함에 따라 덜 중요해진다. 마지막으로, 비율은 최근에 관찰되지 않았을 때 잊혀지는 구성은 무엇인가. 구성 아이콘의 증가율을 반영합니다. 따라서 이 논문은 다음을 제시한다. 출현을 포함하는 사용 기반 문법의 계산 모델 구조의 비실축