[2023-02-23] 오늘의 자연어처리

Dynamic Named Entity Recognition

 

Named Entity Recognition (NER) is a challenging and widely studied task that involves detecting and typing entities in text. So far,NER still approaches entity typing as a task of classification into universal classes (e.g. date, person, or location). Recent advances innatural language processing focus on architectures of increasing complexity that may lead to overfitting and memorization, and thus, underuse of context. Our work targets situations where the type of entities depends on the context and cannot be solved solely by memorization. We hence introduce a new task: Dynamic Named Entity Recognition (DNER), providing a framework to better evaluate the ability of algorithms to extract entities by exploiting the context. The DNER benchmark is based on two datasets, DNER-RotoWire and DNER-IMDb. We evaluate baseline models and present experiments reflecting issues and research axes related to this novel task.

 

명명된 엔티티 인식(NER)은 도전적이고 광범위하게 연구되는 작업이다 에는 텍스트에서 엔티티를 검색하고 입력하는 작업이 포함됩니다. 지금까지, NER는 여전히 접근하고 있다 보편적 클래스로 분류하는 작업으로 엔티티 타이핑(예: 날짜, 사용자 또는 위치). 자연어 처리의 최근 발전은 다음에 초점을 맞추고 있다 과적합을 초래할 수 있는 복잡성 증가 아키텍처 암기, 따라서 문맥의 사용이 부족하다. 우리의 작업은 다음과 같은 상황을 대상으로 합니다 실체의 유형은 문맥에 따라 달라지며 단독으로 해결될 수 없다 암기법. 따라서 우리는 새로운 작업을 소개한다: 동적 명명된 엔티티 인식 (DNER), 알고리즘의 능력을 더 잘 평가하기 위한 프레임워크 제공 컨텍스트를 이용하여 엔티티를 추출합니다. DNER 벤치마크는 다음 두 가지를 기반으로 합니다 데이터 세트, DNER-RotoWire 및 DNER-IMDb. 우리는 기준 모델을 평가하고 제시한다 이 새로운 과제와 관련된 이슈와 연구 축을 반영하는 실험들. 

 

 

Fantastic Rewards and How to Tame Them: A Case Study on Reward Learning for Task-oriented Dialogue Systems

 

When learning task-oriented dialogue (ToD) agents, reinforcement learning (RL) techniques can naturally be utilized to train dialogue strategies to achieve user-specific goals. Prior works mainly focus on adopting advanced RL techniques to train the ToD agents, while the design of the reward function is not well studied. This paper aims at answering the question of how to efficiently learn and leverage a reward function for training end-to-end (E2E) ToD agents. Specifically, we introduce two generalized objectives for reward-function learning, inspired by the classical learning-to-rank literature. Further, we utilize the learned reward function to guide the training of the E2E ToD agent. With the proposed techniques, we achieve competitive results on the E2E response-generation task on the Multiwoz 2.0 dataset. Source code and checkpoints are publicly released at this https URL.

 

업무 중심 대화(ToD) 에이전트 학습 시 강화 학습 (RL) 기술은 자연스럽게 대화 전략을 훈련하기 위해 사용될 수 있다 사용자별 목표를 달성합니다. 이전 작업은 주로 고급 RL 채택에 초점을 맞춘다 보상 기능의 설계가 다음과 같은 동안 ToD 에이전트를 훈련시키는 기술 공부가 부족한. 이 논문의 목적은 다음과 같은 질문에 답하는 것이다 E2E(End-to-End) 교육을 위한 보상 기능을 효율적으로 학습하고 활용합니다 ToD 에이전트. 특히, 우리는 다음과 같은 두 가지 일반화된 목표를 소개한다 고전적인 순위 학습에서 영감을 받은 보상 함수 학습 문학. 또한, 우리는 학습된 보상 함수를 활용하여 다음을 안내한다 E2E ToD 에이전트 교육. 제안된 기법으로, 우리는 다음을 달성한다 Multiwoz 2.0의 E2E 응답 생성 과제에 대한 경쟁 결과 데이터 집합. 소스 코드 및 체크포인트는 다음 사이트에서 공개됩니다 이 https URL. 

 

 

Efficient CTC Regularization via Coarse Labels for End-to-End Speech Translation

 

For end-to-end speech translation, regularizing the encoder with the Connectionist Temporal Classification (CTC) objective using the source transcript or target translation as labels can greatly improve quality metrics. However, CTC demands an extra prediction layer over the vocabulary space, bringing in nonnegligible model parameters and computational overheads, although this layer is typically not used for inference. In this paper, we re-examine the need for genuine vocabulary labels for CTC for regularization and explore strategies to reduce the CTC label space, targeting improved efficiency without quality degradation. We propose coarse labeling for CTC (CoLaCTC), which merges vocabulary labels via simple heuristic rules, such as using truncation, division or modulo (MOD) operations. Despite its simplicity, our experiments on 4 source and 8 target languages show that CoLaCTC with MOD particularly can compress the label space aggressively to 256 and even further, gaining training efficiency (1.18x ~ 1.77x speedup depending on the original vocabulary size) yet still delivering comparable or better performance than the CTC baseline. We also show that CoLaCTC successfully generalizes to CTC regularization regardless of using transcript or translation for labeling.

 

엔드 투 엔드 음성 변환의 경우, 인코더를 정규화합니다 소스를 이용한 연결주의 시간분류(CTC) 목표 라벨로서의 전사 또는 대상 번역은 품질 지표를 크게 향상시킬 수 있다. 그러나 CTC는 어휘 공간에 대한 추가 예측 계층을 요구한다, 무시할 수 없는 모델 매개변수와 계산 오버헤드를 가져오고, 비록 이 계층은 일반적으로 추론에 사용되지 않는다. 이 논문에서, 우리는 정규화를 위한 CTC의 진정한 어휘 라벨의 필요성을 재검토한다 CTC 라벨 공간을 줄이기 위한 전략을 탐구하고 개선된 목표를 목표로 합니다 품질 저하가 없는 효율성. 우리는 CTC에 대한 대략적인 라벨링을 제안한다 (CoLaCTC)는 다음과 같은 간단한 휴리스틱 규칙을 통해 어휘 레이블을 병합한다 절단, 분할 또는 모듈로(MOD) 작업을 사용합니다. 단순함에도 불구하고, 4개의 소스 및 8개의 대상 언어에 대한 우리의 실험은 MOD를 사용한 CoLaCTC를 보여준다 특히 라벨 공간을 256으로 공격적으로 압축할 수 있으며, 더 나아가, 교육 효율성 향상(원본에 따라 1.18배~1.77배 향상) 어휘 크기)는 여전히 동등하거나 더 나은 성능을 제공합니다 CTC 기준선. 우리는 또한 CoLaCTC가 CTC로 성공적으로 일반화된다는 것을 보여준다 레이블링을 위해 스크립트 또는 번역을 사용하는 것에 관계없이 정규화.