[2022-09-06] 오늘의 자연어처리

Mind the Gap! Injecting Commonsense Knowledge for Abstractive Dialogue Summarization

 

In this paper, we propose to leverage the unique characteristics of dialogues sharing commonsense knowledge across participants, to resolve the difficulties in summarizing them. We present SICK, a framework that uses commonsense inferences as additional context. Compared to previous work that solely relies on the input dialogue, SICK uses an external knowledge model to generate a rich set of commonsense inferences and selects the most probable one with a similarity-based selection method. Built upon SICK, SICK++ utilizes commonsense as supervision, where the task of generating commonsense inferences is added upon summarizing the dialogue in a multi-task learning setting. Experimental results show that with injected commonsense knowledge, our framework generates more informative and consistent summaries than existing methods.

 

본 논문에서, 우리는 대화의 고유한 특성을 활용할 것을 제안한다. 참가자들 간에 상식적인 지식을 공유하고, 어려움을 해결한다. 요약하는 데 있어서. 우리는 상식을 사용하는 프레임워크인 SICK를 제시한다. 추론을 추가 컨텍스트로 사용합니다. 전작에 비해 의존도가 높다. 입력 대화에서, SICK는 풍부한 정보를 생성하기 위해 외부 지식 모델을 사용한다. 상식적인 추론의 집합과 가장 가능성이 높은 추론을 선택한다. 유사성 기반 선택 방법 SICK를 기반으로 구축된 SICK++는 상식을 활용합니다. 상식적인 추론을 생성하는 작업이 추가된 감독으로서. 멀티태스킹 학습 환경에서 대화를 요약할 때. 실험 결과는 상식적인 지식을 주입하면 우리의 프레임워크가 생성된다는 것을 보여준다. 기존 방법보다 더 유익하고 일관된 요약. 

 

 

Multi-Scale Contrastive Co-Training for Event Temporal Relation Extraction

 

Extracting temporal relationships between pairs of events in texts is a crucial yet challenging problem for natural language understanding. Depending on the distance between the events, models must learn to differently balance information from local and global contexts surrounding the event pair for temporal relation prediction. Learning how to fuse this information has proved challenging for transformer-based language models. Therefore, we present MulCo: Multi-Scale Contrastive Co-Training, a technique for the better fusion of local and global contextualized features. Our model uses a BERT-based language model to encode local context and a Graph Neural Network (GNN) to represent global document-level syntactic and temporal characteristics. Unlike previous state-of-the-art methods, which use simple concatenation on multi-view features or select optimal sentences using sophisticated reinforcement learning approaches, our model co-trains GNN and BERT modules using a multi-scale contrastive learning objective. The GNN and BERT modules learn a synergistic parameterization by contrasting GNN multi-layer multi-hop subgraphs (i.e., global context embeddings) and BERT outputs (i.e., local context embeddings) through end-to-end back-propagation. We empirically demonstrate that MulCo provides improved ability to fuse local and global contexts encoded using BERT and GNN compared to the current state-of-the-art. Our experimental results show that MulCo achieves new state-of-the-art results on several temporal relation extraction datasets.

 

텍스트에서 이벤트 쌍 사이의 시간적 관계를 추출하는 것은 자연어 이해를 위한 중요하지만 어려운 문제 부수적인 사건들 사이의 거리에서, 모델들은 다른 균형을 잡는 법을 배워야 한다. 이벤트 쌍을 둘러싼 로컬 및 글로벌 컨텍스트의 정보 시간 관계 예측 이 정보를 융합하는 방법을 배우는 것이 증명되었습니다. 변압기 기반 언어 모델에 대한 도전입니다. 따라서, 우리는 MulCo를 제시한다. 국소적 융합을 위한 기술인 다중 스케일 대조적 공동 훈련 및 전역 상황별 기능. 우리 모델은 BERT 기반 언어 모델을 사용한다. 글로벌을 나타내기 위해 로컬 컨텍스트와 그래프 신경망(GNN)을 인코딩하다 문서 수준의 구문 및 시간적 특성. 이전과 달리 멀티뷰 기능에 간단한 연결을 사용하는 최첨단 방법 또는 정교한 강화 학습을 사용하여 최적의 문장을 선택한다. 접근 방식, 우리 모델은 다중 스케일을 사용하여 GNN 및 BERT 모듈을 공동 교육한다. 대조적인 학습 목표 GNN 및 BERT 모듈은 시너지 효과를 학습합니다. GNN 다중 계층 다중 홉 하위 그래프를 대조하여 매개 변수화(즉, 전역 컨텍스트 임베딩) 및 BERT 출력(즉, 로컬 컨텍스트 임베딩) 엔드 투 엔드 백트래픽을 통해. 우리는 MulCo를 경험적으로 BERT를 사용하여 인코딩된 로컬 및 글로벌 컨텍스트를 융합하는 향상된 기능을 제공합니다. 그리고 GNN을 현재의 최첨단 기술과 비교한다. 우리의 실험 결과는 MulCo가 여러 시간적 관계에서 새로운 최첨단 결과를 달성한다는 것. 추출 데이터 세트 

 

 

In conversation with Artificial Intelligence: aligning language models with human values

 

Large-scale language technologies are increasingly used in various forms of communication with humans across different contexts. One particular use case for these technologies is conversational agents, which output natural language text in response to prompts and queries. This mode of engagement raises a number of social and ethical questions. For example, what does it mean to align conversational agents with human norms or values? Which norms or values should they be aligned with? And how can this be accomplished? In this paper, we propose a number of steps that help answer these questions. We start by developing a philosophical analysis of the building blocks of linguistic communication between conversational agents and human interlocutors. We then use this analysis to identify and formulate ideal norms of conversation that can govern successful linguistic communication between humans and conversational agents. Furthermore, we explore how these norms can be used to align conversational agents with human values across a range of different discursive domains. We conclude by discussing the practical implications of our proposal for the design of conversational agents that are aligned with these norms and values.

 

대규모 언어 기술은 다양한 형태로 점점 더 많이 사용되고 있다. 다른 맥락에 걸친 인간과의 의사소통. 한 가지 특정 사용 사례 이러한 기술들은 자연어를 출력하는 대화 에이전트이다. 프롬프트 및 쿼리에 응답하는 텍스트입니다. 이러한 참여 방식은 다음과 같은 결과를 낳습니다. 사회적, 윤리적 질문의 수 예를 들어, 정렬한다는 것은 무엇을 의미합니까? 인간 규범이나 가치관을 가진 대화 요원들? 어떤 규범이나 가치가 있어야 하는가? 그들이 정렬되어 있습니까? 그리고 어떻게 이것이 성취될 수 있을까요? 이 논문에서, 우리는 이러한 질문에 답하는 데 도움이 되는 여러 단계를 제안합니다. 우리는 시작한다. 언어학의 구성 요소에 대한 철학적 분석을 개발하는 것 대화 요원과 인간 대화자 사이의 의사소통 그때 우리는 이 분석을 사용하여 대화의 이상적인 규범을 식별하고 공식화한다. 인간과 인간 사이의 성공적인 언어적 의사소통을 통제할 수 있다. 대화하는 요원 게다가, 우리는 이러한 규범이 어떻게 사용될 수 있는지 탐구한다. 대화 에이전트를 다양한 범위의 인간 가치에 맞춥니다. 산재 영역 우리는 우리의 실제적인 의미에 대해 논의함으로써 결론을 내린다. 이것들과 연계된 대화 에이전트 설계에 대한 제안. 규범과 가치관