[2022-08-31] 오늘의 자연어처리

NEAR: Named Entity and Attribute Recognition of clinical concepts

 

Named Entity Recognition (NER) or the extraction of concepts from clinical text is the task of identifying entities in text and slotting them into categories such as problems, treatments, tests, clinical departments, occurrences (such as admission and discharge) and others. NER forms a critical component of processing and leveraging unstructured data from Electronic Health Records (EHR). While identifying the spans and categories of concepts is itself a challenging task, these entities could also have attributes such as negation that pivot their meanings implied to the consumers of the named entities. There has been little research dedicated to identifying the entities and their qualifying attributes together. This research hopes to contribute to the area of detecting entities and their corresponding attributes by modelling the NER task as a supervised, multi-label tagging problem with each of the attributes assigned tagging sequence labels. In this paper, we propose 3 architectures to achieve this multi-label entity tagging: BiLSTM n-CRF, BiLSTM-CRF-Smax-TF and BiLSTM n-CRF-TF. We evaluate these methods on the 2010 i2b2/VA and the i2b2 2012 shared task datasets. Our different models obtain best NER F1 scores of 0. 894 and 0.808 on the i2b2 2010/VA and i2b2 2012 respectively. The highest span based micro-averaged F1 polarity scores obtained were 0.832 and 0.836 on the i2b2 2010/VA and i2b2 2012 datasets respectively, and the highest macro-averaged F1 polarity scores obtained were 0.924 and 0.888 respectively. The modality studies conducted on i2b2 2012 dataset revealed high scores of 0.818 and 0.501 for span based micro-averaged F1 and macro-averaged F1 respectively.

 

명명된 엔티티 인식(NER) 또는 임상 개념 추출 텍스트는 텍스트에서 엔티티를 식별하고 슬롯에 넣는 작업입니다. 문제, 치료, 시험, 임상 부서와 같은 범주 발생(입원 및 퇴원 등) 및 기타. NER가 중요한 역할을 한다. Electronic Health의 비정형 데이터 처리 및 활용 구성 요소 레코드(EHR). 개념의 범위와 범주를 식별하는 것은 그 자체이다. 어려운 작업, 이러한 엔티티는 부정과 같은 속성을 가질 수 있다. 지정된 주체의 소비자에게 암시되는 의미를 피벗합니다. 거기. 실체와 그 실체를 식별하는 데 전념한 연구는 거의 없었다. 속성을 함께 검증합니다. 이 연구는 그 지역에 기여하기를 희망한다. NER를 모델링하여 실체 및 해당 속성을 탐지하는 방법 각 속성에 대한 감독된 다중 레이블 태그 문제로서의 작업 할당된 태그 지정 시퀀스 레이블. 본 논문에서, 우리는 다음과 같은 3가지 아키텍처를 제안한다. BiLSTM n-CRF, BiLSTM-CRF-Smax-TF 및 BiLSTM n-CRF-TF. 2010 i2b2/VA 및 i2b2에서 이러한 방법을 평가한다. 2012 공유 작업 데이터 세트 우리의 다른 모델은 0의 최고의 NERF1 점수를 얻는다. i2b2 2010/VA 및 i2b2 2012에서 각각 894 및 0.808. 최고경간 기준 마이크로 평균 F1 극성 점수는 0.832와 0.836이었다. i2b2 2010/VA 및 i2b2 2012 데이터셋 및 최고 수준 매크로 평균 F1 극성 점수는 각각 0.924와 0.888이었다. i2b2 2012 데이터 세트에 대해 수행된 양식 연구는 높은 점수를 보여주었다. 스팬 기반 마이크로 평균 F1 및 매크로 평균 F1의 경우 0.818 및 0.51 각각 다음과 같다. 

 

 

Towards Boosting the Open-Domain Chatbot with Human Feedback

 

Many open-domain dialogue models pre-trained with social media comments can generate coherent replies but have difficulties producing engaging responses when interacting with real users. This phenomenon might mainly result from the deficiency of annotated human-human conversations and the misalignment with human preference. In this paper, we propose a novel and efficient approach Diamante to boost the open-domain chatbot, where two kinds of human feedback (including explicit demonstration and implicit preference) are collected and leveraged. By asking annotators to select or amend the model-generated candidate responses, Diamante efficiently collects the human demonstrated responses and constructs a Chinese chit-chat dataset. To enhance the alignment with human preference, Diamante leverages the implicit preference in the data collection process and introduces the generation-evaluation joint training. Comprehensive experiments indicate that the Diamante dataset and joint training paradigm can significantly boost the performance of Chinese pre-trained dialogue models.

 

소셜 미디어 코멘트로 사전 훈련된 많은 개방형 도메인 대화 모델은 다음을 할 수 있다. 일관된 답변을 생성하지만 매력적인 답변을 생성하는 데 어려움을 겪는다. 실제 사용자와 상호 작용할 때. 이 현상은 주로 다음과 같은 결과로 나타날 수 있다. 주석이 달린 인간-인간 대화의 부족과 와의 불일치 인간의 기호 본 논문에서, 우리는 새롭고 효율적인 접근법을 제안한다. 두 가지 종류의 인간 피드백이 있는 오픈 도메인 챗봇을 활성화하기 위한 디아만테 (명시적 시연 및 암묵적 선호 포함) 수집 및 레버리지의 주석자에게 모델 생성 선택 또는 수정 요청 후보 응답, 디아만테는 시연된 인간을 효율적으로 수집합니다. 응답하고 중국어 채팅 데이터 세트를 구성합니다. 정렬을 향상시키려면 인간의 선호와 함께, 디아만테는 데이터의 암묵적인 선호도를 활용한다. 수집 프로세스 및 세대-평가 공동 교육을 도입한다. 포괄적인 실험에 따르면 디아만테 데이터 세트와 공동 훈련은 패러다임은 사전 훈련된 중국인의 성과를 크게 향상시킬 수 있다. 대화 모델 

 

 

Transformers with Learnable Activation Functions

 

Activation functions can have a significant impact on reducing the topological complexity of input data and therefore improve the performance of the model. Selecting a suitable activation function is an essential step in neural model design. However, the choice of activation function is seldom discussed or explored in Transformer-based language models. Their activation functions are chosen beforehand and then remain fixed from pre-training to fine-tuning. As a result, the inductive biases they imposed on models cannot be adjusted during this long life cycle. Moreover, subsequently developed models (e.g., RoBERTa, BART, and GPT-3) often follow up prior work (e.g., BERT) to use the same activation function without justification. In this paper, we investigate the effectiveness of using Rational Activation Function (RAF), a learnable activation function, in the Transformer architecture. In contrast to conventional, predefined activation functions, RAFs can adaptively learn optimal activation functions during training according to input data. Our experiments show the RAF-based Transformer (RAFT) achieves a lower validation perplexity than a vanilla BERT with the GELU function. We further evaluate RAFT on downstream tasks in low- and full-data settings. Our results show that RAFT outperforms the counterpart model across the majority of tasks and settings. For instance, RAFT outperforms vanilla BERT on the GLUE benchmark by 5.71 points on average in low-data scenario (where 100 training examples are available) and by 2.05 points on SQuAD in full-data setting. Analysis of the shapes of learned RAFs further unveils that they substantially vary between different layers of the pre-trained model and mostly look very different from conventional activation functions. RAFT opens a new research direction for analyzing and interpreting pre-trained models according to the learned activation functions.

 

활성화 기능은 감소에 상당한 영향을 미칠 수 있습니다. 입력 데이터의 위상학적 복잡성, 따라서 성능 향상 모형 적절한 활성화 기능을 선택하는 것은 다음 중 필수 단계입니다. 신경 모형 설계 그러나 활성화 기능의 선택은 거의 없습니다. Transformer 기반 언어 모델에서 논의되거나 탐구되었습니다. 활성화 기능은 사전에 선택된 후 사전 교육에서 다음 단계로 고정됩니다. 미세 조정의 결과적으로, 그들이 모델에 부과한 귀납적 편향은 다음과 같을 수 없다. 이 긴 수명 주기 동안 조정됩니다. 게다가, 후속적으로 개발된 모델들 (예: RoBERTa, BART 및 GPT-3)는 종종 이전 작업(예: BERT)을 추적하여 사용한다. 정당성 없이 동일한 활성화 기능을 수행합니다. 이 논문에서, 우리는 Rational Activation Function(RAF)의 사용 효과 조사, Transformer 아키텍처에서 학습 가능한 활성화 기능을 제공합니다. 와는 대조적으로 기존의 사전 정의된 활성화 기능, RAF는 적응적으로 학습할 수 있다. 입력 데이터에 따라 교육 중 최적의 활성화 기능을 제공합니다. 우리들의 실험은 RAF 기반 트랜스포머(RAFT)가 낮은 검증을 달성한다는 것을 보여준다. GELU 기능이 있는 바닐라 BERT보다 더 복잡합니다. 우리는 RAFT를 추가로 평가한다. 낮은 데이터 및 전체 데이터 설정의 다운스트림 작업에 대해 설명합니다. 우리의 결과는 RAFT가 대부분의 작업 및 설정에서 상대 모델보다 성능이 우수합니다. 예를 들어, RAFT는 GLUE 벤치마크에서 바닐라 BERT를 5.71만큼 능가합니다. 낮은 데이터 시나리오에서 평균 점수(100개의 교육 예제가 있는 경우) 사용 가능) 및 전체 데이터 설정에서 SQuAD에서 2.05 포인트까지. 분석: 학습된 RAF의 모양은 그 사이에 실질적으로 다르다는 것을 추가로 드러낸다. 사전 훈련된 모델의 다른 레이어 및 대부분과 매우 다르게 보입니다. 기존의 활성화 기능 RAFT는 새로운 연구 방향을 연다. 학습한 사람에 따라 사전 훈련된 모델을 분석하고 해석하기 활성화 기능