[2023-06-11] 오늘의 자연어처리

Mapping Brains with Language Models: A Survey

 

Over the years, many researchers have seemingly made the same observation: Brain and language model activations exhibit some structural similarities, enabling linear partial mappings between features extracted from neural recordings and computational language models. In an attempt to evaluate how much evidence has been accumulated for this observation, we survey over 30 studies spanning 10 datasets and 8 metrics. How much evidence has been accumulated, and what, if anything, is missing before we can draw conclusions? Our analysis of the evaluation methods used in the literature reveals that some of the metrics are less conservative. We also find that the accumulated evidence, for now, remains ambiguous, but correlations with model size and quality provide grounds for cautious optimism.

 

지난 몇 년간 많은 연구자들이 동일한 관찰을 한 것으로 보인다: 뇌와 언어 모델 활성화는 몇 가지 구조적 유사성을 보여준다, 신경에서 추출된 형상 사이의 선형 부분 매핑 활성화 기록과 컴퓨터 언어 모델. 방법을 평가하기 위한 시도로 이 관찰에 대한 많은 증거가 축적되었다, 우리는 30개 이상의 조사를 했다 10개의 데이터 세트와 8개의 메트릭에 걸친 연구. 얼마나 많은 증거들이 누적되고, 만약 있다면, 우리가 결론을 도출하기 전에 무엇이 누락되었는가? 문헌에 사용된 평가 방법에 대한 우리의 분석은 몇몇이 측정 기준 중에서 덜 보수적입니다. 우리는 또한 누적된 사람들이 증거는, 현재, 모호하게 남아있지만, 모델 크기와의 상관관계와 품질은 신중한 낙관론의 근거를 제공한다. 

 

 

Overview of the Problem List Summarization (ProbSum) 2023 Shared Task on Summarizing Patients' Active Diagnoses and Problems from Electronic Health Record Progress Notes

 

The BioNLP Workshop 2023 initiated the launch of a shared task on Problem List Summarization (ProbSum) in January 2023. The aim of this shared task is to attract future research efforts in building NLP models for real-world diagnostic decision support applications, where a system generating relevant and accurate diagnoses will augment the healthcare providers decision-making process and improve the quality of care for patients. The goal for participants is to develop models that generated a list of diagnoses and problems using input from the daily care notes collected from the hospitalization of critically ill patients. Eight teams submitted their final systems to the shared task leaderboard. In this paper, we describe the tasks, datasets, evaluation metrics, and baseline systems. Additionally, the techniques and results of the evaluation of the different approaches tried by the participating teams are summarized.

 

BioNLP 워크샵 2023은 문제에 대한 공유 작업의 시작을 시작했습니다 2023년 1월 목록 요약(ProbSum). 이 공유 작업의 목적은 다음과 같습니다 실제 환경을 위한 NLP 모델 구축에 대한 향후 연구 노력을 유치하다 진단 의사결정 지원 애플리케이션, 관련 시스템 생성 그리고 정확한 진단은 의료 제공자의 의사 결정을 강화할 것이다 환자를 위한 치료의 질을 개선하고 처리한다. 참가자 목표 사용하여 진단 및 문제 목록을 생성한 모델을 개발하는 것입니다 입원에서 수집한 일일 관리 노트에서 입력한 정보 위독한 환자. 8개 팀이 최종 시스템을 제출했습니다 공유 작업 리더보드입니다. 이 논문에서, 우리는 작업, 데이터 세트, 평가 지표 및 기준 시스템. 추가적으로, 기술과 다양한 접근법에 대한 평가 결과 참가 팀을 요약한다. 

 

 

Revisit Few-shot Intent Classification with PLMs: Direct Fine-tuning vs. Continual Pre-training

 

We consider the task of few-shot intent detection, which involves training a deep learning model to classify utterances based on their underlying intents using only a small amount of labeled data. The current approach to address this problem is through continual pre-training, i.e., fine-tuning pre-trained language models (PLMs) on external resources (e.g., conversational corpora, public intent detection datasets, or natural language understanding datasets) before using them as utterance encoders for training an intent classifier. In this paper, we show that continual pre-training may not be essential, since the overfitting problem of PLMs on this task may not be as serious as expected. Specifically, we find that directly fine-tuning PLMs on only a handful of labeled examples already yields decent results compared to methods that employ continual pre-training, and the performance gap diminishes rapidly as the number of labeled data increases. To maximize the utilization of the limited available data, we propose a context augmentation method and leverage sequential self-distillation to boost performance. Comprehensive experiments on real-world benchmarks show that given only two or more labeled samples per class, direct fine-tuning outperforms many strong baselines that utilize external data sources for continual pre-training. The code can be found at this https URL.

 

우리는 훈련을 포함하는 퓨샷 의도 탐지 작업을 고려한다 기본 의도에 따라 발언을 분류하는 딥 러닝 모델 적은 양의 레이블이 지정된 데이터만 사용합니다. 이 문제를 해결하기 위한 현재의 접근 방식 문제는 지속적인 사전 훈련, 즉 사전 훈련된 미세 조정을 통해 발생한다 외부 자원에 대한 언어 모델(PLM)(예: 대화형 말뭉치, 공공 의도 탐지 데이터 세트 또는 자연어 이해 데이터 세트) 의도 분류기를 훈련하기 위한 발화 인코더로 사용하기 전에. 인 이 논문, 우리는 지속적인 사전 훈련이 필수적이지 않을 수 있음을 보여준다 이 작업에 대한 PLM의 과적합 문제는 예상보다 심각하지 않을 수 있습니다. 특히, 우리는 소수의 PLM에서만 직접 미세 조정하는 것을 발견했다 레이블이 지정된 예제는 이미 사용하는 방법에 비해 적절한 결과를 산출합니다 지속적인 사전 훈련, 그리고 성능 격차는 빠르게 감소한다 레이블이 지정된 데이터의 수가 증가합니다. 제한된 사용률 극대화 사용 가능한 데이터, 우리는 문맥 확대 방법과 레버리지를 제안한다 성능 향상을 위한 순차적 자가 진단. 에 대한 포괄적인 실험 실제 벤치마크는 1인당 2개 이상의 라벨링된 샘플만 주어진다는 것을 보여준다 클래스, 직접 미세 조정은 활용하는 많은 강력한 기준선을 능가합니다 지속적인 사전 교육을 위한 외부 데이터 소스. 코드는 다음 사이트에서 확인할 수 있습니다 이 https URL.