[2023-06-26] 오늘의 자연어처리

CamChoice: A Corpus of Multiple Choice Questions and Candidate Response Distributions

 

Multiple Choice examinations are a ubiquitous form of assessment that is used to measure the ability of candidates across various domains and tasks. Maintaining the quality of proposed questions is of great importance to test designers, and therefore newly proposed questions go through several pre-test evaluation stages before they can be deployed into real-world exams. This process is currently quite manual, which can lead to time lags in the question development cycle. Automating this process would lead to a large improvement in efficiency, however, current datasets do not contain sufficient pre-test analysis information. In this paper, we introduce CamChoice; a multiple-choice comprehension dataset with questions at different target levels, where questions have the true candidate selected options distributions. We introduce the task of candidate distribution matching, propose several evaluation metrics for the task, and demonstrate that automatic systems trained on RACE++ can be leveraged as baselines for our task. We further demonstrate that these automatic systems can be used for practical pre-test evaluation tasks such as detecting underperforming distractors, where our detection systems can automatically identify poor distractors that few candidates select. We release the data publicly for future research.

 

객관식 검사는 어디서나 사용되는 평가 방식입니다 다양한 영역과 업무에 걸쳐 후보자의 능력을 측정한다. 제안된 질문의 품질을 유지하는 것은 테스트에 매우 중요합니다 설계자, 따라서 새로 제안된 질문은 몇 가지 사전 테스트를 거친다 실제 시험에 적용되기 전의 평가 단계. 이것. 프로세스는 현재 상당히 수동적이며, 이는 질문에서 시간 지연으로 이어질 수 있습니다 개발 주기. 이 프로세스를 자동화하면 시스템 성능이 크게 향상됩니다 그러나 효율성은 현재 데이터 세트에 충분한 사전 테스트가 포함되어 있지 않습니다 분석 정보. 본 논문에서는 객관식 CamChoice를 소개한다 서로 다른 목표 수준의 질문이 있는 이해 데이터 세트, 어디에서 질문에는 실제 후보가 선택한 옵션 분포가 있습니다. 소개합니다 후보 분배 매칭 작업, 몇 가지 평가 지표 제안 과제를 위해, 그리고 RACE++에서 훈련된 자동 시스템이 다음과 같을 수 있다는 것을 증명한다 우리 작업의 기준선으로 활용됩니다. 우리는 또한 이것들이 자동 시스템은 다음과 같은 실질적인 시험 전 평가 작업에 사용될 수 있다 우리의 탐지 시스템이 할 수 있는 성능이 떨어지는 방해물을 탐지한다 몇 명의 후보자가 선택한 불량한 방해 요소를 자동으로 식별합니다. 해제합니다 향후 연구를 위한 공개 자료. 

 

 

Mapping and Cleaning Open Commonsense Knowledge Bases with Generative Translation

 

Structured knowledge bases (KBs) are the backbone of many know\-ledge-intensive applications, and their automated construction has received considerable attention. In particular, open information extraction (OpenIE) is often used to induce structure from a text. However, although it allows high recall, the extracted knowledge tends to inherit noise from the sources and the OpenIE algorithm. Besides, OpenIE tuples contain an open-ended, non-canonicalized set of relations, making the extracted knowledge's downstream exploitation harder. In this paper, we study the problem of mapping an open KB into the fixed schema of an existing KB, specifically for the case of commonsense knowledge. We propose approaching the problem by generative translation, i.e., by training a language model to generate fixed-schema assertions from open ones. Experiments show that this approach occupies a sweet spot between traditional manual, rule-based, or classification-based canonicalization and purely generative KB construction like COMET. Moreover, it produces higher mapping accuracy than the former while avoiding the association-based noise of the latter.

 

구조화된 지식 기반(KB)은 많은 사람들의 중추이다 지식 집약적인 애플리케이션과 자동화된 구축이 가능합니다 상당한 관심을 받았다. 특히, 개방형 정보 추출 (OpenIE)는 종종 텍스트에서 구조를 유도하는 데 사용된다. 하지만, 비록 그렇다 하더라도 높은 리콜을 허용하며, 추출된 지식은 소음을 상속하는 경향이 있다 소스 앤 더 오픈IE 알고리즘. 게다가, 오픈IE 튜플에는 개방형이 포함되어 있습니다, 추출된 지식을 다운스트림으로 만들면서, 비연속적인 관계 집합 더 심한 착취. 이 논문에서, 우리는 열린 KB를 매핑하는 문제를 연구한다 기존 KB의 고정 스키마로, 특히 의 경우에 상식. 우리는 생성적으로 문제에 접근할 것을 제안한다 번역, 즉, 고정 언어를 생성하도록 언어 모델을 훈련함으로써 공공연한 주장. 실험은 이 접근법이 달콤함을 차지한다는 것을 보여준다 기존 매뉴얼, 규칙 기반 또는 분류 기반 사이의 스팟 표준화 및 COMET과 같은 순수 생성 KB 구성. 게다가, 그것은 전자보다 더 높은 매핑 정확도를 생성하는 동시에 전자를 피합니다 후자의 연관 기반 소음. 

 

 

Unveiling Global Narratives: A Multilingual Twitter Dataset of News Media on the Russo-Ukrainian Conflict

 

The ongoing Russo-Ukrainian conflict has been a subject of intense media coverage worldwide. Understanding the global narrative surrounding this topic is crucial for researchers that aim to gain insights into its multifaceted dimensions. In this paper, we present a novel dataset that focuses on this topic by collecting and processing tweets posted by news or media companies on social media across the globe. We collected tweets from February 2022 to May 2023 to acquire approximately 1.5 million tweets in 60 different languages. Each tweet in the dataset is accompanied by processed tags, allowing for the identification of entities, stances, concepts, and sentiments expressed. The availability of the dataset serves as a valuable resource for researchers aiming to investigate the global narrative surrounding the ongoing conflict from various aspects such as who are the prominent entities involved, what stances are taken, where do these stances originate, and how are the different concepts related to the event portrayed.

 

현재 진행 중인 러시아-우크라이나 분쟁은 언론의 집중적인 주제가 되어왔다 세계적인 보도. 이 주제를 둘러싼 세계적인 이야기 이해 그것의 다면성에 대한 통찰력을 얻는 것을 목표로 하는 연구자들에게 중요하다 치수. 이 논문에서, 우리는 이것에 초점을 맞춘 새로운 데이터 세트를 제시한다 뉴스나 미디어 회사들에 의해 게시된 트윗들을 수집하고 처리함으로써 토픽 전 세계의 소셜 미디어. 우리는 2022년 2월부터 5월까지 트윗을 수집했다 2023년에는 60개 언어로 된 약 150만 개의 트윗을 획득했다. 데이터 세트의 각 트윗에는 처리된 태그가 함께 제공되므로 표현된 실체, 입장, 개념 및 정서의 식별. 그 데이터 세트의 가용성은 연구자들에게 귀중한 자원으로 작용한다 진행 중인 분쟁을 둘러싼 세계적인 이야기를 조사하는 것을 목표로 한다 관련된 저명한 실체가 누구인지, 무엇인지와 같은 다양한 측면에서 입장이 취해지고, 이러한 입장은 어디에서 비롯되며, 어떻게 다른가 묘사된 사건과 관련된 개념들.