[2023-05-08] 오늘의 자연어처리

SemEval-2023 Task 7: Multi-Evidence Natural Language Inference for Clinical Trial Data

 

This paper describes the results of SemEval 2023 task 7 -- Multi-Evidence Natural Language Inference for Clinical Trial Data (NLI4CT) -- consisting of 2 tasks, a Natural Language Inference (NLI) task, and an evidence selection task on clinical trial data. The proposed challenges require multi-hop biomedical and numerical reasoning, which are of significant importance to the development of systems capable of large-scale interpretation and retrieval of medical evidence, to provide personalized evidence-based care. Task 1, the entailment task, received 643 submissions from 40 participants, and Task 2, the evidence selection task, received 364 submissions from 23 participants. The tasks are challenging, with the majority of submitted systems failing to significantly outperform the majority class baseline on the entailment task, and we observe significantly better performance on the evidence selection task than on the entailment task. Increasing the number of model parameters leads to a direct increase in performance, far more significant than the effect of biomedical pre-training. Future works could explore the limitations of large models for generalization and numerical inference, and investigate methods to augment clinical datasets to allow for more rigorous testing and to facilitate fine-tuning. We envisage that the dataset, models, and results of this task will be useful to the biomedical NLI and evidence retrieval communities. The dataset, competition leaderboard, and website are publicly available.

 

이 논문은 SemEval 2023 과제 7의 결과를 설명한다 -- 다중 증거 임상 시험 데이터(NLI4CT)를 위한 자연어 추론 - 2개로 구성된다 작업, 자연어 추론(NLI) 작업 및 증거 선택 작업 임상 시험 데이터에 대한. 제안된 과제는 다중 홉 생물 의학을 필요로 한다 그리고 발전에 중요한 수치 추론 의료의 대규모 해석 및 검색이 가능한 시스템의 개인화된 증거 기반 관리를 제공하는 증거. 수반 과제인 과제 1은 40명의 참가자로부터 643건의 제출을 받았다, 그리고 증거 선택 과제인 과제 2는 23명으로부터 364건의 제출을 받았다 참가자들. 제출된 대부분의 시스템으로 인해 작업이 어렵습니다 에서 다수 클래스 기준을 크게 능가하지 못함 수반 작업, 그리고 우리는 훨씬 더 나은 성능을 관찰한다 수반 작업보다 증거 선택 작업. 의 수를 늘림 모델 매개 변수는 성능의 직접적인 증가로 이어집니다 생물 의학 사전 훈련의 효과보다 중요하다. 미래의 작품들은 할 수 있다 일반화 및 수치화를 위한 대형 모델의 한계를 탐구하다 추론, 그리고 임상 데이터 세트를 증가시키는 방법을 조사한다 보다 엄격한 테스트 및 미세 조정을 용이하게 합니다. 우리는 이 작업의 데이터 세트, 모델 및 결과가 유용할 것으로 예상한다 생물 의학 NLI 및 증거 검색 커뮤니티에. 데이터 세트, 대회 리더보드, 그리고 웹사이트는 공개적으로 이용할 수 있다. 

 

 

The Elephant in the Room: Analyzing the Presence of Big Tech in Natural Language Processing Research

 

Recent advances in deep learning methods for natural language processing (NLP) have created new business opportunities and made NLP research critical for industry development. As one of the big players in the field of NLP, together with governments and universities, it is important to track the influence of industry on research. In this study, we seek to quantify and characterize industry presence in the NLP community over time. Using a corpus with comprehensive metadata of 78,187 NLP publications and 701 resumes of NLP publication authors, we explore the industry presence in the field since the early 90s. We find that industry presence among NLP authors has been steady before a steep increase over the past five years (180% growth from 2017 to 2022). A few companies account for most of the publications and provide funding to academic researchers through grants and internships. Our study shows that the presence and impact of the industry on natural language processing research are significant and fast-growing. This work calls for increased transparency of industry influence in the field.

 

자연어 처리를 위한 딥 러닝 방법의 최근 발전 (NLP)는 새로운 비즈니스 기회를 창출하고 NLP 연구를 중요하게 만들었습니다 산업 발전을 위해. NLP 분야의 거물 중 한 명으로서, 정부와 대학들과 함께, 그것을 추적하는 것은 중요하다 산업이 연구에 미치는 영향. 이 연구에서, 우리는 정량화를 추구하고 시간이 지남에 따라 NLP 커뮤니티에서 업계의 존재를 특징짓습니다. 말뭉치 사용하기 78,187개의 NLP 출판물과 701개의 NLP 이력서의 포괄적인 메타데이터를 통해 출판 작가들, 우리는 그 분야에서 산업의 존재를 탐구한다 90년대 초반. 우리는 NLP 저자들 사이에서 업계의 존재감이 꾸준하다는 것을 발견했다 지난 5년간 급격한 증가 이전(2017년에서 2017년까지 180% 성장) 2022). 일부 기업이 출판물의 대부분을 차지하고 있으며, 자금을 제공하고 있다 장학금과 인턴쉽을 통해 학술 연구원들에게. 우리의 연구는 그것을 보여준다 자연어 처리 연구에 대한 산업의 존재와 영향 중요하고 빠르게 성장하고 있습니다. 이 작업은 투명성 향상을 요구한다 그 분야에서 산업계의 영향력. 

 

 

Affective Reasoning at Utterance Level in Conversations: A Causal Discovery Approach

 

The affective reasoning task is a set of emerging affect-based tasks in conversation, including Emotion Recognition in Conversation (ERC),Emotion-Cause Pair Extraction (ECPE), and Emotion-Cause Span Recognition (ECSR). Existing methods make various assumptions on the apparent relationship while neglecting the essential causal model due to the nonuniqueness of skeletons and unobservability of implicit causes. This paper settled down the above two problems and further proposed Conversational Affective Causal Discovery (CACD). It is a novel causal discovery method showing how to discover causal relationships in a conversation via designing a common skeleton and generating a substitute for implicit causes. CACD contains two steps: (i) building a common centering one graph node causal skeleton for all utterances in variable-length conversations; (ii) Causal Auto-Encoder (CAE) correcting the skeleton to yield causal representation through generated implicit causes and known explicit causes. Comprehensive experiments demonstrate that our novel method significantly outperforms the SOTA baselines in six affect-related datasets on the three tasks.

 

정서적 추론 과제는 다음과 같은 일련의 새로운 감정 기반 과제이다 대화(ERC)에서 감정 인식(Emotion Recognition in Conversation, Emotion-Cause)을 포함한 대화 쌍 추출(ECPE) 및 감정 원인 범위 인식(ECSR). 존재하는 방법은 무시하면서 겉보기 관계에 대해 다양한 가정을 한다 골격의 비특이성으로 인한 본질적인 인과 모델과 암묵적 원인의 관찰 불가능성. 이 논문은 위의 두 가지를 정리했다 문제 및 추가로 제안된 대화형 감정적 인과 관계 발견(CACD). 그것은 인과관계를 발견하는 방법을 보여주는 새로운 인과관계 발견 방법이다 공통 골격 설계 및 생성을 통한 대화에서의 관계 암묵적인 원인의 대용물. CACD는 두 단계를 포함한다: (i) 구축 공통은 모든 발화에 대해 하나의 그래프 노드 인과 골격을 중심으로 한다 가변 길이 대화; (ii) 원인 자동 인코더(CAE) 수정 생성된 암묵적 원인을 통해 인과적 표현을 산출하는 골격 알려진 명백한 원인. 포괄적인 실험은 우리의 소설이 방법은 6가지 영향 관련에서 SOTA 기준선을 크게 능가한다 세 가지 작업에 대한 데이터 세트.