[2022-09-03] 오늘의 자연어처리

Efficient Methods for Natural Language Processing: A Survey

 

Getting the most out of limited resources allows advances in natural language processing (NLP) research and practice while being conservative with resources. Those resources may be data, time, storage, or energy. Recent work in NLP has yielded interesting results from scaling; however, using only scale to improve results means that resource consumption also scales. That relationship motivates research into efficient methods that require less resources to achieve similar results. This survey relates and synthesises methods and findings in those efficiencies in NLP, aiming to guide new researchers in the field and inspire the development of new methods.

 

제한된 자원을 최대한 활용하는 것은 자연어의 발전을 허용한다. 리소스를 보수적으로 사용하면서 NLP(Processing) 연구 및 실습. 이러한 리소스는 데이터, 시간, 스토리지 또는 에너지일 수 있습니다. NLP의 최근 연구는 다음과 같다. 스케일링에서 흥미로운 결과를 산출했습니다. 그러나 스케일만을 사용하여 개선했습니다. 결과는 리소스 소비도 확장된다는 것을 의미합니다. 그 관계 하기 위해 더 적은 자원을 필요로 하는 효율적인 방법에 대한 연구에 동기를 부여한다. 비슷한 결과를 얻다 이 설문조사는 방법과 관련이 있고 통합된다. NLP의 효율성에 대한 발견, 새로운 연구자를 안내하는 것을 목표로 한다. 새로운 방법의 개발을 촉진합니다. 

 

 

An Ion Exchange Mechanism Inspired Story Ending Generator for Different Characters

 

Story ending generation aims at generating reasonable endings for a given story context. Most existing studies in this area focus on generating coherent or diversified story endings, while they ignore that different characters may lead to different endings for a given story. In this paper, we propose a Character-oriented Story Ending Generator (CoSEG) to customize an ending for each character in a story. Specifically, we first propose a character modeling module to learn the personalities of characters from their descriptive experiences extracted from the story context. Then, inspired by the ion exchange mechanism in chemical reactions, we design a novel vector breaking/forming module to learn the intrinsic interactions between each character and the corresponding context through an analogical information exchange procedure. Finally, we leverage the attention mechanism to learn effective character-specific interactions and feed each interaction into a decoder to generate character-orient endings. Extensive experimental results and case studies demonstrate that CoSEG achieves significant improvements in the quality of generated endings compared with state-of-the-art methods, and it effectively customizes the endings for different characters.

 

스토리 엔딩 생성은 주어진 것에 대해 합리적인 엔딩을 생성하는 것을 목표로 합니다. 이야기의 맥락 이 분야의 대부분의 기존 연구는 일관성 있는 생성에 초점을 맞추고 있다. 또는 다양한 이야기의 결말을, 그들은 다른 등장인물들이 할 수 있다는 것을 무시한다. 어떤 이야기의 결말을 바꾸다 이 논문에서, 우리는 다음을 제안한다. CoSEG(캐릭터 지향 스토리 엔딩 생성기)를 사용하여 엔딩을 사용자 정의합니다. 이야기 속의 각 인물 구체적으로, 우리는 먼저 캐릭터 모델링을 제안한다. 설명에서 인물의 성격을 학습하기 위한 모듈 이야기의 맥락에서 추출된 경험들 그리고 이온에서 영감을 받아 화학 반응에서 교환 메커니즘, 우리는 새로운 벡터를 설계한다. 각 모듈 간의 고유한 상호 작용을 학습하기 위한 모듈 분리/형성 유사 정보를 통한 캐릭터 및 해당 컨텍스트 교환 절차 마지막으로, 우리는 주의 메커니즘을 활용하여 학습합니다. 효과적인 캐릭터별 상호 작용과 각 상호 작용을 a에 공급한다. 문자 지향 엔딩을 생성하는 디코더입니다. 광범위한 실험 결과 그리고 사례 연구는 CoSEG가 상당한 개선을 달성한다는 것을 보여준다. 최첨단 방법과 비교하여 생성된 엔딩의 품질, 그리고 그것. 다양한 캐릭터의 엔딩을 효과적으로 사용자 지정합니다. 

 

 

Tradeoffs in Resampling and Filtering for Imbalanced Classification

 

Imbalanced classification problems are extremely common in natural language processing and are solved using a variety of resampling and filtering techniques, which often involve making decisions on how to select training data or decide which test examples should be labeled by the model. We examine the tradeoffs in model performance involved in choices of training sample and filter training and test data in heavily imbalanced token classification task and examine the relationship between the magnitude of these tradeoffs and the base rate of the phenomenon of interest. In experiments on sequence tagging to detect rare phenomena in English and Arabic texts, we find that different methods of selecting training data bring tradeoffs in effectiveness and efficiency. We also see that in highly imbalanced cases, filtering test data using first-pass retrieval models is as important for model performance as selecting training data. The base rate of a rare positive class has a clear effect on the magnitude of the changes in performance caused by the selection of training or test data. As the base rate increases, the differences brought about by those choices decreases.

 

불균형 분류 문제는 자연어에서 매우 흔하다. 다양한 리샘플링 및 필터링을 사용하여 처리 및 해결 교육 데이터를 선택하는 방법에 대한 결정을 종종 수반하는 기술 또는 모형에 의해 레이블이 지정되어야 하는 검정 예제를 결정합니다. 우리는 검사한다. 훈련 샘플 선택과 관련된 모델 성능의 트레이드오프 불균형 토큰 분류 작업에서 교육 및 테스트 데이터 필터링 그리고 이러한 트레이드오프의 규모와 그 사이의 관계를 조사한다. 이자 현상의 기준 금리 시퀀스 태그 지정에 대한 실험에서 영어와 아랍어 텍스트에서 희귀한 현상을 감지하고, 우리는 다른 것을 발견한다. 교육 데이터를 선택하는 방법은 효과적이고 효율성. 또한 매우 불균형한 경우 테스트 데이터를 필터링할 수 있습니다. 첫 번째 패스 검색 모델을 사용하는 것은 모델 성능에 있어 중요하다. 교육 데이터 선택 희귀한 양성 클래스의 기본 비율은 명확합니다. 선택으로 인한 성능 변화의 크기에 미치는 영향 교육 또는 테스트 데이터의. 기준금리가 상승함에 따라, 차이가 가져온다. 그 선택들에 의해 약해진다.