[2022-12-24] 오늘의 자연어처리

Evaluation for Change

 

Evaluation is the central means for assessing, understanding, and communicating about NLP models. In this position paper, we argue evaluation should be more than that: it is a force for driving change, carrying a sociological and political character beyond its technical dimensions. As a force, evaluation's power arises from its adoption: under our view, evaluation succeeds when it achieves the desired change in the field. Further, by framing evaluation as a force, we consider how it competes with other forces. Under our analysis, we conjecture that the current trajectory of NLP suggests evaluation's power is waning, in spite of its potential for realizing more pluralistic ambitions in the field. We conclude by discussing the legitimacy of this power, who acquires this power and how it distributes. Ultimately, we hope the research community will more aggressively harness evaluation for change.

 

평가는 평가, 이해 및 이해를 위한 중심 수단이다. NLP 모델에 대해 통신합니다. 이 포지션 페이퍼에서, 우리는 평가를 주장한다. 그 이상이어야 한다: 그것은 변화를 주도하는 힘이다. 기술적 차원을 넘어선 사회학적, 정치적 특성 로서 힘, 평가의 힘은 그것의 채택으로부터 발생한다: 우리의 관점에서, 평가. 필드에서 원하는 변경 사항을 달성하면 성공합니다. 더 나아가, 틀을 짜서 힘으로서의 평가, 우리는 그것이 다른 힘과 어떻게 경쟁하는지 고려한다. 우리 밑에 분석, 우리는 NLP의 현재 궤적이 제안한다고 추측한다. 더 많은 것을 실현할 수 있는 잠재력에도 불구하고, 평가의 힘은 약해지고 있다. 그 분야의 다원적 야심 우리는 의 정당성에 대해 논의함으로써 결론을 내린다. 누가 이 권력을 획득하고 어떻게 분배하는지에 대한 이 권력. 궁극적으로, 우리는 희망한다. 연구 공동체는 변화를 위한 평가를 더 적극적으로 활용할 것이다. 

 

 

Resolving Indirect Referring Expressions for Entity Selection

 

Recent advances in language modeling have enabled new conversational systems. In particular, it is often desirable for people to make choices among specified options when using such systems. We address the problem of reference resolution, when people use natural expressions to choose between real world entities. For example, given the choice `Should we make a Simnel cake or a Pandan cake?' a natural response from a non-expert may be indirect: `let's make the green one'. Reference resolution has been little studied with natural expressions, thus robustly understanding such language has large potential for improving naturalness in dialog, recommendation, and search systems. We create AltEntities (Alternative Entities), a new public dataset of entity pairs and utterances, and develop models for the disambiguation problem. Consisting of 42K indirect referring expressions across three domains, it enables for the first time the study of how large language models can be adapted to this task. We find they achieve 82%-87% accuracy in realistic settings, which while reasonable also invites further advances.

 

최근 언어 모델링의 발전은 새로운 대화 시스템을 가능하게 했다. 특히, 사람들이 특정한 것 중에서 선택하는 것이 종종 바람직하다. 이러한 시스템 사용 시 옵션. 우리는 참조 문제를 다룬다. 해상도, 사람들이 실제 세계 중 하나를 선택하기 위해 자연스러운 표현을 사용할 때. 실체 예를 들어, "심넬 케이크를 만들까, 아니면 케이크를 만들까? '판단 케이크?' 비전문가의 자연스러운 반응은 간접적일 수 있다: '만들자. 녹색의 것 기준 분해능은 자연적으로 거의 연구되지 않았다. 표현들, 그러므로 그러한 언어를 강하게 이해하는 것은 큰 잠재력을 가지고 있다. 대화, 추천 및 검색 시스템에서 자연스러움을 개선합니다. 우리는 창조한다. AltEntities(Alternative Entities), 엔티티 쌍의 새로운 공개 데이터 세트 및 발언, 그리고 명확화 문제에 대한 모델을 개발한다. 로 구성됨 3개의 도메인에 걸친 42K 간접 참조 표현, 그것은 다음을 가능하게 한다. 처음으로 큰 언어 모델이 이 작업에 어떻게 적용될 수 있는지에 대한 연구. 우리는 그들이 현실적인 설정에서 82%-87%의 정확도를 달성한다는 것을 발견했다. 합리적인 것은 또한 더 많은 발전을 불러 일으킨다. 

 

 

Esports Data-to-commentary Generation on Large-scale Data-to-text Dataset

 

Esports, a sports competition using video games, has become one of the most important sporting events in recent years. Although the amount of esports data is increasing than ever, only a small fraction of those data accompanies text commentaries for the audience to retrieve and understand the plays. Therefore, in this study, we introduce a task of generating game commentaries from structured data records to address the problem. We first build a large-scale esports data-to-text dataset using structured data and commentaries from a popular esports game, League of Legends. On this dataset, we devise several data preprocessing methods including linearization and data splitting to augment its quality. We then introduce several baseline encoder-decoder models and propose a hierarchical model to generate game commentaries. Considering the characteristics of esports commentaries, we design evaluation metrics including three aspects of the output: correctness, fluency, and strategic depth. Experimental results on our large-scale esports dataset confirmed the advantage of the hierarchical model, and the results revealed several challenges of this novel task.

 

비디오 게임을 이용한 스포츠 대회인 e스포츠는 가장 많은 것들 중 하나가 되었다. 근년의 중요한 스포츠 행사 e스포츠 데이터의 양에도 불구하고 그 어느 때보다 증가하고 있으며, 텍스트를 수반하는 데이터는 극히 일부에 불과합니다. 관객들이 연극을 읽고 이해할 수 있도록 해설. 그러므로, 이 연구에서, 우리는 게임 해설을 생성하는 작업을 소개한다. 문제를 해결하기 위한 구조화된 데이터 레코드. 우리는 먼저 대규모로 건설한다. e스포츠 데이터 투 텍스트 데이터 세트는 구조화된 데이터와 의 주석을 사용한다. 인기있는 e스포츠 게임인 리그 오브 레전드. 이 데이터 세트에서, 우리는 몇 가지를 고안한다. 선형화 및 데이터 분할을 포함한 데이터 전처리 방법 그 질을 높이다 그런 다음 몇 가지 기본 인코더-디코더 모델을 소개한다. 그리고 게임 해설을 생성하기 위한 계층적 모델을 제안한다. 을 고려하면 e스포츠 해설의 특징, 우리는 다음을 포함한 평가 지표를 설계한다. 정확성, 유창성 및 전략적 깊이의 세 가지 측면. 대규모 e스포츠 데이터 세트에 대한 실험 결과는 이점을 확인했다. 계층적 모델의, 그리고 결과는 이것의 몇 가지 도전을 드러냈다. 참신한 일