[2022-11-06] 오늘의 자연어처리

Human in the loop approaches in multi-modal conversational task guidance system development

 

Development of task guidance systems for aiding humans in a situated task remains a challenging problem. The role of search (information retrieval) and conversational systems for task guidance has immense potential to help the task performers achieve various goals. However, there are several technical challenges that need to be addressed to deliver such conversational systems, where common supervised approaches fail to deliver the expected results in terms of overall performance, user experience and adaptation to realistic conditions. In this preliminary work we first highlight some of the challenges involved during the development of such systems. We then provide an overview of existing datasets available and highlight their limitations. We finally develop a model-in-the-loop wizard-of-oz based data collection tool and perform a pilot experiment.

 

위치된 업무에서 인간을 지원하기 위한 업무 안내 시스템 개발 여전히 어려운 문제로 남아 있습니다. 검색(정보 검색)의 역할 및 업무 지침을 위한 대화 시스템은 업무를 도울 수 있는 엄청난 잠재력을 가지고 있다. 공연자들은 다양한 목표를 달성한다. 그러나, 몇 가지 기술적인 것이 있다. 이러한 대화 시스템을 제공하기 위해 해결해야 하는 과제 일반적인 감독 접근법이 기대 결과를 제공하지 못하는 경우 전반적인 성능, 사용자 경험 및 현실적 적응에 관한 용어 조건들. 이 예비 작업에서 먼저 몇 가지 과제를 강조합니다. 이러한 시스템 개발 중에 관련됩니다. 그런 다음 다음 에 대한 개요를 제공합니다. 기존 데이터셋을 사용할 수 있으며 그 한계를 강조합니다. 우리는 마침내 발전한다. Oz 기반 데이터 수집 도구의 루프 내 마법사 및 파일럿 수행 실험. 

 

 

Topic Taxonomy Expansion via Hierarchy-Aware Topic Phrase Generation

 

Topic taxonomies display hierarchical topic structures of a text corpus and provide topical knowledge to enhance various NLP applications. To dynamically incorporate new topic information, several recent studies have tried to expand (or complete) a topic taxonomy by inserting emerging topics identified in a set of new documents. However, existing methods focus only on frequent terms in documents and the local topic-subtopic relations in a taxonomy, which leads to limited topic term coverage and fails to model the global topic hierarchy. In this work, we propose a novel framework for topic taxonomy expansion, named TopicExpan, which directly generates topic-related terms belonging to new topics. Specifically, TopicExpan leverages the hierarchical relation structure surrounding a new topic and the textual content of an input document for topic term generation. This approach encourages newly-inserted topics to further cover important but less frequent terms as well as to keep their relation consistency within the taxonomy. Experimental results on two real-world text corpora show that TopicExpan significantly outperforms other baseline methods in terms of the quality of output taxonomies.

 

주제 분류학은 텍스트 말뭉치의 계층적 주제 구조를 보여준다. 다양한 NLP 애플리케이션을 개선하기 위한 주제별 지식을 제공한다. 동적으로 새로운 주제 정보를 통합하고, 몇몇 최근의 연구들은 확장하려고 시도했습니다. 집합에서 식별된 새로운 주제를 삽입하여 주제 분류법 새 문서의 그러나, 기존 방법은 오직 빈번한 용어에만 초점을 맞춘다. 분류학에서 문서와 로컬 주제-하위 주제 관계, 다음과 같이 이어진다. 제한된 주제 용어 적용 범위와 전역 주제 계층을 모델링하지 못합니다. 인 이 작업, 우리는 주제 분류법 확장을 위한 새로운 프레임워크를 제안한다. 새로운 항목에 속하는 주제 관련 용어를 직접 생성하는 주제 확장 특히, TopicExpans는 계층적 관계 구조를 활용합니다. 새로운 주제 및 주제에 대한 입력 문서의 텍스트 내용 둘러보기 용어 생성 이 접근 방식은 새로 삽입된 주제를 더 발전시키도록 장려한다. 그들의 관계를 유지하기 위해서뿐만 아니라 중요하지만 덜 빈번한 용어들을 다루다. 분류법 내의 일관성. 두 개의 실제 텍스트에 대한 실험 결과 corpa는 TopicExpan이 다른 기준 방법보다 훨씬 뛰어나다는 것을 보여준다. 출력 분류법의 품질 측면에서. 

 

 

Efficiently Trained Mongolian Text-to-Speech System Based On FullConv

 

Recurrent Neural Networks (RNNs) have become the standard modeling technique for sequence data, and are used in a number of novel text-to-speech models. However, training a TTS model including RNN components has certain requirements for GPU performance and takes a long time. In contrast, studies have shown that CNN-based sequence synthesis technology can greatly reduce training time in text-to-speech models while ensuring a certain performance due to its high parallelism. We propose a new text-to-speech system based on deep convolutional neural networks that does not employ any RNN components (recurrent units). At the same time, we improve the generality and robustness of our model through a series of data augmentation methods such as Time Warping, Frequency Mask, and Time Mask. The final experimental results show that the TTS model using only the CNN component can reduce the training time compared to the classic TTS models such as Tacotron while ensuring the quality of the synthesized speech.

 

반복 신경망(RNN)은 표준 모델링 기법이 되었다. 시퀀스 데이터의 경우 다수의 새로운 텍스트 대 텍스트 모델에 사용됩니다. 그러나 RNN 구성 요소를 포함한 TTS 모델 교육에는 특정 요구사항이 있습니다. GPU 성능 및 시간이 오래 걸립니다. 이와는 대조적으로, 연구는 다음과 같은 것을 보여주었다. CNN 기반 시퀀스 합성 기술은 훈련 시간을 크게 단축할 수 있다. 높은 성능으로 인해 특정 성능을 보장하면서 텍스트 대 텍스트 모델 평행성 우리는 심층 컨볼루션 기반의 새로운 텍스트 음성 변환 시스템을 제안한다. 어떤 RNN 구성 요소(현재 단위)도 사용하지 않는 신경망. 에 동시에, 우리는 다음을 통해 모델의 일반성과 견고성을 향상시킨다. 일련의 데이터 확대 방법(예: Time Warping, Frequency Mask, Frequency Mask) 타임 마스크. 최종 실험 결과는 TTS 모델이 오직 CNN 구성 요소는 고전적인 TTS에 비해 훈련 시간을 줄일 수 있다. 합성된 음성의 품질을 보장하면서 타코트론과 같은 모델들.