[2023-02-11] 오늘의 자연어처리

Massively Multilingual Language Models for Cross Lingual Fact Extraction from Low Resource Indian Languages

 

Massive knowledge graphs like Wikidata attempt to capture world knowledge about multiple entities. Recent approaches concentrate on automatically enriching these KGs from text. However a lot of information present in the form of natural text in low resource languages is often missed out. Cross Lingual Information Extraction aims at extracting factual information in the form of English triples from low resource Indian Language text. Despite its massive potential, progress made on this task is lagging when compared to Monolingual Information Extraction. In this paper, we propose the task of Cross Lingual Fact Extraction(CLFE) from text and devise an end-to-end generative approach for the same which achieves an overall F1 score of 77.46.

 

Wikidata와 같은 대규모 지식 그래프를 통해 세계 지식 획득 시도 여러 엔터티에 대한 정보입니다. 최근의 접근 방식은 자동으로 집중된다 텍스트에서 이 KG를 풍부하게 합니다. 그러나 양식에 많은 정보가 있습니다 자원이 적은 언어로 된 자연어 텍스트를 자주 놓칩니다. 크로스 랭귀지어 정보 추출은 다음과 같은 형태로 사실 정보를 추출하는 것을 목표로 한다 자원이 부족한 인도어 텍스트의 영어 세 배. 거대함에도 불구하고 잠재력, 이 작업에 대한 진행률은 단일 언어와 비교할 때 느립니다 정보 추출. 본 논문에서, 우리는 교차 언어의 과제를 제안한다 텍스트에서 사실 추출(CLFE) 및 엔드 투 엔드 생성 접근 방식 고안 전체 F1 점수 77.46을 달성하는 동일한 것에 대해. 

 

 

Robust Question Answering against Distribution Shifts with Test-Time Adaptation: An Empirical Study

 

A deployed question answering (QA) model can easily fail when the test data has a distribution shift compared to the training data. Robustness tuning (RT) methods have been widely studied to enhance model robustness against distribution shifts before model deployment. However, can we improve a model after deployment? To answer this question, we evaluate test-time adaptation (TTA) to improve a model after deployment. We first introduce COLDQA, a unified evaluation benchmark for robust QA against text corruption and changes in language and domain. We then evaluate previous TTA methods on COLDQA and compare them to RT methods. We also propose a novel TTA method called online imitation learning (OIL). Through extensive experiments, we find that TTA is comparable to RT methods, and applying TTA after RT can significantly boost the performance on COLDQA. Our proposed OIL improves TTA to be more robust to variation in hyper-parameters and test distributions over time.

 

배포된 QA(Question Answering) 모델은 테스트 데이터가 있을 때 쉽게 실패할 수 있습니다 교육 데이터와 비교하여 분포 이동이 있습니다. 로버스트니스 튜닝(RT) 방법은 모델의 견고성을 향상시키기 위해 광범위하게 연구되어 왔다 모델 배포 전에 배포 이동을 수행할 수 있습니다. 하지만, 우리가 모델을 개선할 수 있을까요 배치 후에? 이 질문에 답하기 위해, 우리는 시험 시간 적응을 평가한다 (TTA) 배치 후 모델을 개선합니다. 먼저 통일된 COLDQA를 소개합니다 텍스트 손상 및 변경에 대한 강력한 QA를 위한 평가 벤치마크 언어와 영역. 그런 다음 COLDQA에 대한 이전 TTA 방법을 평가한다 RT 방법과 비교합니다. 우리는 또한 온라인이라고 불리는 새로운 TTA 방법을 제안한다 모방 학습. 광범위한 실험을 통해 우리는 TTA가 RT 방법과 유사하며, RT 후에 TTA를 적용하면 크게 향상될 수 있습니다 COLDQA에서의 공연. 우리가 제안한 오일은 TTA를 보다 견고하게 개선한다 시간에 따른 초 매개변수 및 검정 분포의 변동. 

 

 

Lightweight Transformers for Clinical Natural Language Processing

 

Specialised pre-trained language models are becoming more frequent in NLP since they can potentially outperform models trained on generic texts. BioBERT and BioClinicalBERT are two examples of such models that have shown promise in medical NLP tasks. Many of these models are overparametrised and resource-intensive, but thanks to techniques like Knowledge Distillation (KD), it is possible to create smaller versions that perform almost as well as their larger counterparts. In this work, we specifically focus on development of compact language models for processing clinical texts (i.e. progress notes, discharge summaries etc). We developed a number of efficient lightweight clinical transformers using knowledge distillation and continual learning, with the number of parameters ranging from 15 million to 65 million. These models performed comparably to larger models such as BioBERT and ClinicalBioBERT and significantly outperformed other compact models trained on general or biomedical data. Our extensive evaluation was done across several standard datasets and covered a wide range of clinical text-mining tasks, including Natural Language Inference, Relation Extraction, Named Entity Recognition, and Sequence Classification. To our knowledge, this is the first comprehensive study specifically focused on creating efficient and compact transformers for clinical NLP tasks. The models and code used in this study can be found on our Huggingface profile at this https URL and Github page at this https URL, respectively, promoting reproducibility of our results.

 

NLP에서 전문화된 사전 훈련된 언어 모델이 점점 더 빈번해지고 있다 일반 텍스트에 대해 훈련된 모델을 잠재적으로 능가할 수 있기 때문이다. 바이오베르트 및 B생물임상ERT는 다음과 같은 모델의 두 가지 예이다 의료 NLP 작업. 이 모델들 중 많은 것들이 지나치게 매개변수화되어 있다 리소스 집약적이지만 지식 증류(KD)와 같은 기술 덕분에, 그것들의 거의 같은 성능을 발휘하는 더 작은 버전을 만드는 것이 가능하다 더 큰 상대. 이 작업에서, 우리는 특히 개발에 초점을 맞춥니다 임상 텍스트를 처리하기 위한 컴팩트 언어 모델(즉, 진행률 노트, 요약 등). 우리는 효율적인 경량화를 많이 개발했다 지식 증류와 지속적인 학습을 사용하는 임상 변압기 1,500만에서 6,500만 사이의 매개변수 수. 이 모델들은 BioBERT 및 ClinicalBioB와 같은 더 큰 모델과 비교하여 수행됨ERT 및 일반적으로 훈련된 다른 컴팩트 모델을 크게 능가했다 생물 의학 자료. 우리의 광범위한 평가는 여러 기준에 걸쳐 수행되었다 데이터 세트와 다음을 포함한 광범위한 임상 텍스트 수집 작업을 다루었다 자연어 추론, 관계 추출, 명명된 개체 인식 및 시퀀스 분류. 우리가 아는 한, 이것은 첫 번째 포괄적인 것이다 특히 효율적이고 콤팩트한 변압기를 만드는 것에 초점을 맞춘 연구 임상 NLP 작업. 이 연구에 사용된 모델과 코드는 다음에서 찾을 수 있다 이 https URL 및 Github 페이지에서 얼굴 프로필 포옹하기 이 https URL, 각각 결과의 재현성을 촉진한다.