[2022-08-19] 오늘의 자연어처리

Learning Transductions to Test Systematic Compositionality

 

Recombining known primitive concepts into larger novel combinations is a quintessentially human cognitive capability. Whether large neural models in NLP acquire this ability while learning from data is an open question. In this paper, we look at this problem from the perspective of formal languages. We use deterministic finite-state transducers to make an unbounded number of datasets with controllable properties governing compositionality. By randomly sampling over many transducers, we explore which of their properties (number of states, alphabet size, number of transitions etc.) contribute to learnability of a compositional relation by a neural network. In general, we find that the models either learn the relations completely or not at all. The key is transition coverage, setting a soft learnability limit at 400 examples per transition.

 

알려진 원시 개념을 더 큰 새로운 조합으로 재결합하는 것은 전형적으로 인간의 인지 능력. NLP의 대형 신경 모델이 있는지 여부 데이터에서 배우는 동안 이 능력을 습득하는 것은 미해결 문제이다. 이 점에서. 논문, 우리는 형식 언어의 관점에서 이 문제를 본다. 우리는 사용한다 무한한 수의 데이터 세트를 만들기 위한 결정론적 유한 상태 변환기 구성성을 제어하는 제어 가능한 특성을 가지고 있습니다. 랜덤 표본 추출에 의한 많은 변환기에 걸쳐서, 우리는 어떤 특성(상태의 수, 알파벳 크기, 전환 횟수 등)의 학습 능력에 기여한다. 신경망에 의한 구성 관계 일반적으로, 우리는 모델들이 관계를 완전히 배우거나 아예 배우지 않거나 둘 중 하나입니다. 핵심은 전환이다. 적용 범위, 전환당 400개의 예제로 소프트 학습 가능성 제한 설정. 

 

 

Summarizing Patients Problems from Hospital Progress Notes Using Pre-trained Sequence-to-Sequence Models

 

Automatically summarizing patients' main problems from daily progress notes using natural language processing methods helps to battle against information and cognitive overload in hospital settings and potentially assists providers with computerized diagnostic decision support. Problem list summarization requires a model to understand, abstract, and generate clinical documentation. In this work, we propose a new NLP task that aims to generate a list of problems in a patient's daily care plan using input from the provider's progress notes during hospitalization. We investigate the performance of T5 and BART, two state-of-the-art seq2seq transformer architectures, in solving this problem. We provide a corpus built on top of progress notes from publicly available electronic health record progress notes in the Medical Information Mart for Intensive Care (MIMIC)-III. T5 and BART are trained on general domain text, and we experiment with a data augmentation method and a domain adaptation pre-training method to increase exposure to medical vocabulary and knowledge. Evaluation methods include ROUGE, BERTScore, cosine similarity on sentence embedding, and F-score on medical concepts. Results show that T5 with domain adaptive pre-training achieves significant performance gains compared to a rule-based system and general domain pre-trained language models, indicating a promising direction for tackling the problem summarization task.

 

일별 진행 상황 메모에서 환자의 주요 문제를 자동으로 요약 자연어 처리 방법을 사용하는 것은 정보와 싸우는 것을 돕는다. 그리고 병원 환경에서 인지 과부하가 발생하며 잠재적으로 제공자를 지원한다. 컴퓨터화된 진단 결정 지원으로. 문제 목록 요약 임상 문서를 이해, 추상화 및 생성하기 위한 모델이 필요합니다. 이 작업에서, 우리는 다음의 목록을 생성하는 것을 목표로 하는 새로운 NLP 작업을 제안한다. 제공자의 입력을 사용한 환자의 일일 치료 계획의 문제 입원 중 경과 기록. 우리는 T5의 성능을 조사하고 이를 해결하기 위한 두 가지 최첨단 seq2seq 변압기 아키텍처인 BART 문제. 우리는 공개적으로 진행 상황 노트를 기반으로 구축된 말뭉치를 제공한다. 의료 정보에서 이용 가능한 전자 건강 기록 진행 기록 집중 치료를 위한 마트(MIMIC)-III T5와 BART는 일반 영역에서 훈련된다. 텍스트, 그리고 우리는 데이터 확대 방법과 도메인 적응을 실험한다. 의학 어휘 및 지식에 대한 노출을 증가시키기 위한 사전 훈련 방법. 평가 방법에는 ROUGE, BERTS 점수, 문장의 코사인 유사성이 포함됩니다. 그리고 의학 개념에 대한 F-점수. 결과는 도메인이 있는 T5를 보여준다. 적응형 사전 교육은 다음과 같은 경우에 비해 상당한 성능 향상을 달성합니다. 규칙 기반 시스템 및 일반 도메인 사전 교육 언어 모델, 다음을 나타냅니다. 문제 요약 과제를 해결하기 위한 유망한 방향. 

 

 

DICE: Data-Efficient Clinical Event Extraction with Generative Models

 

Event extraction in the clinical domain is an under-explored research area. The lack of training data in addition to the high volume of domain-specific jargon that includes long entities with vague boundaries make the task especially challenging. In this paper, we introduce DICE, a robust and data-efficient generative model for clinical event extraction. DICE frames event extraction as a conditional generation problem and utilizes descriptions provided by domain experts to boost the performance under low-resource settings. Furthermore, DICE learns to locate and bound biomedical mentions with an auxiliary mention identification task trained jointly with event extraction tasks to leverage inter-task dependencies and further incorporates the identified mentions as trigger and argument candidates for their respective tasks. We also introduce MACCROBAT-EE, the first clinical event extraction dataset with event argument annotation. Our experiments demonstrate the robustness of DICE under low data settings for the clinical domain and the benefits of incorporating flexible joint training and mention markers into generative approaches.

 

임상 영역에서 사건 추출은 충분히 탐구되지 않은 연구 영역이다. 도메인별 데이터 양이 많을 뿐만 아니라 교육 데이터도 부족합니다. 막연한 경계를 가진 긴 실체를 포함하는 전문 용어가 작업을 만든다. 특히 도전적이다. 본 논문에서, 우리는 강력한 DICE를 소개한다. 임상 사건 추출을 위한 데이터 효율적인 생성 모델. DICE 프레임 조건부 생성 문제로 이벤트 추출 및 설명 활용 저자원 환경에서 성능을 높이기 위해 도메인 전문가에 의해 제공됨 설정 게다가, DICE는 생물의학 언급을 찾고 묶는 법을 배운다. 사건 추출과 함께 훈련되는 보조 언급 식별 작업 작업 간 종속성을 활용하고 추가로 통합하기 위한 작업 각각의 트리거 및 논쟁 후보로 식별된 언급 또한 첫 번째 임상 이벤트 추출인 MACCROBAT-EE를 소개합니다. 이벤트 인수 주석이 있는 데이터 집합입니다. 우리의 실험은 다음을 입증한다. 임상 영역 및 임상 영역에 대한 낮은 데이터 설정에서 DICE의 견고성 유연한 관절 훈련과 언급 마커를 통합함으로써 얻을 수 있는 이점 생성적 접근