[2022-09-02] 오늘의 자연어처리

Efficient and Interpretable Neural Models for Entity Tracking

 

What would it take for a natural language model to understand a novel, such as The Lord of the Rings? Among other things, such a model must be able to: (a) identify and record new characters (entities) and their attributes as they are introduced in the text, and (b) identify subsequent references to the characters previously introduced and update their attributes. This problem of entity tracking is essential for language understanding, and thus, useful for a wide array of downstream applications in NLP such as question-answering, summarization. In this thesis, we focus on two key problems in relation to facilitating the use of entity tracking models: (i) scaling entity tracking models to long documents, such as a novel, and (ii) integrating entity tracking into language models. Applying language technologies to long documents has garnered interest recently, but computational constraints are a significant bottleneck in scaling up current methods. In this thesis, we argue that computationally efficient entity tracking models can be developed by representing entities with rich, fixed-dimensional vector representations derived from pretrained language models, and by exploiting the ephemeral nature of entities. We also argue for the integration of entity tracking into language models as it will allow for: (i) wider application given the current ubiquitous use of pretrained language models in NLP applications, and (ii) easier adoption since it is much easier to swap in a new pretrained language model than to integrate a separate standalone entity tracking model.

 

자연어 모델이 소설을 이해하기 위해서는 무엇이 필요할까? 반지의 제왕으로서? 무엇보다도, 그러한 모델은 다음을 할 수 있어야 한다: (a) 새로운 문자(어떤 문자)와 그 속성을 있는 그대로 식별하고 기록한다. 본문에 소개되고, (b) 다음에 대한 참조를 식별한다. 이전에 소개된 문자를 사용하여 속성을 업데이트합니다. 이 문제는 엔티티 추적은 언어 이해에 필수적이며, 따라서, a에 유용하다. 질의응답과 같은 NLP의 광범위한 다운스트림 애플리케이션 요약 이 논문에서, 우리는 촉진과 관련하여 두 가지 핵심 문제에 초점을 맞춘다. 엔티티 추적 모델 사용: (i) 엔티티 추적 모델을 길이로 확장 소설과 같은 문서 및 (ii) 엔티티 추적을 언어로 통합합니다. 모델. 긴 문서에 언어 기술을 적용하는 것은 관심을 끌었다. 최근, 그러나 컴퓨팅 제약은 확장에 있어 중요한 병목 현상입니다. 최신의 방법 이 논문에서, 우리는 계산적으로 효율적이라고 주장한다. 실체 추적 모델은 풍부한 실체를 표현함으로써 개발될 수 있다. 사전 훈련된 언어에서 파생된 고정 차원 벡터 표현 모델 및 엔티티의 일시적 특성을 활용합니다. 우리는 또한 을 주장한다. 엔티티 추적을 언어 모델에 통합하면 다음과 같은 이점이 있습니다. (i) 사전 훈련된 언어의 현재 유비쿼터스 사용을 고려할 때 더 광범위한 적용. NLP 애플리케이션의 모델, 그리고 (ii) 훨씬 더 쉬우므로 채택이 더 쉽다. 별도의 독립 실행형 통합보다 사전 훈련된 새로운 언어 모델을 스왑합니다. 엔티티 추적 모델. 

 

 

GRILLBot: An Assistant for Real-World Tasks with Neural Semantic Parsing and Graph-Based Representations

 

GRILLBot is the winning system in the 2022 Alexa Prize TaskBot Challenge, moving towards the next generation of multimodal task assistants. It is a voice assistant to guide users through complex real-world tasks in the domains of cooking and home improvement. These are long-running and complex tasks that require flexible adjustment and adaptation. The demo highlights the core aspects, including a novel Neural Decision Parser for contextualized semantic parsing, a new "TaskGraph" state representation that supports conditional execution, knowledge-grounded chit-chat, and automatic enrichment of tasks with images and videos.

 

그릴봇은 2022 알렉사상 태스크봇 챌린지의 우승 시스템이다. 차세대 멀티모달 작업 보조자를 향해 나아가고 있습니다. 그것은 목소리이다. 사용자들에게 복잡한 실제 작업을 안내하는 보조 도구 요리와 가정 개선 이러한 작업은 장기 실행이 가능하고 복잡한 작업입니다. 유연한 조정 및 적응이 필요합니다. 데모에서 핵심을 강조합니다. 문맥화된 의미론을 위한 새로운 신경 결정 분석기를 포함한 측면들 조건을 지원하는 새로운 "TaskGraph" 상태 표현인 구문 분석 실행, 지식 공유 채팅 및 작업 자동 강화 이미지 및 비디오 

 

 

Generating Intermediate Steps for NLI with Next-Step Supervision

 

The Natural Language Inference (NLI) task often requires reasoning over multiple steps to reach the conclusion. While the necessity of generating such intermediate steps (instead of a summary explanation) has gained popular support, it is unclear how to generate such steps without complete end-to-end supervision and how such generated steps can be further utilized. In this work, we train a sequence-to-sequence model to generate only the next step given an NLI premise and hypothesis pair (and previous steps); then enhance it with external knowledge and symbolic search to generate intermediate steps with only next-step supervision. We show the correctness of such generated steps through automated and human verification. Furthermore, we show that such generated steps can help improve end-to-end NLI task performance using simple data augmentation strategies, across multiple public NLI datasets.

 

자연어 추론(NLI) 작업은 종종 다음과 같은 추론을 필요로 한다. 결론에 도달하기 위한 여러 단계 그러한 생성의 필요성은 있지만. 중간 단계(요약 설명의 일부)가 인기를 얻었다. 완벽한 엔드 투 엔드 없이 이러한 단계를 생성하는 방법이 불분명합니다. 감독 및 이러한 생성된 단계가 어떻게 더 활용될 수 있는지. 이 작품에서, 우리는 주어진 다음 단계만 생성하도록 시퀀스 대 시퀀스 모델을 훈련시킨다. NLI 전제 및 가설 쌍(및 이전 단계)을 사용한 다음 다음과 같이 강화합니다. 외부 지식 및 기호 검색만으로 중간 단계를 생성할 수 있습니다. 다음 단계의 감독 우리는 이러한 생성된 단계의 정확성을 다음을 통해 보여준다. 자동 및 인적 검증. 게다가, 우리는 그것이 생성되었다는 것을 보여준다. 단계는 간단한 데이터를 사용하여 엔드 투 엔드 NLI 작업 성능을 향상시키는 데 도움이 될 수 있습니다. 여러 공용 NLI 데이터 세트에 걸쳐 확장 전략을 수립합니다.