[2022-08-24] 오늘의 자연어처리

Few-Shot Table-to-Text Generation with Prefix-Controlled Generator

 

Neural table-to-text generation approaches are data-hungry, limiting their adaptation for low-resource real-world applications. Previous works mostly resort to Pre-trained Language Models (PLMs) to generate fluent summaries of a table. However, they often contain hallucinated contents due to the uncontrolled nature of PLMs. Moreover, the topological differences between tables and sequences are rarely studied. Last but not least, fine-tuning on PLMs with a handful of instances may lead to over-fitting and catastrophic forgetting. To alleviate these problems, we propose a prompt-based approach, Prefix-Controlled Generator (i.e., PCG), for few-shot table-to-text generation. We prepend a task-specific prefix for a PLM to make the table structure better fit the pre-trained input. In addition, we generate an input-specific prefix to control the factual contents and word order of the generated text. Both automatic and human evaluations on different domains (humans, books and songs) of the Wikibio dataset show substantial improvements over baseline approaches.

 

신경 테이블 대 텍스트 생성 접근 방식은 데이터가 많이 필요하기 때문에 제한적이다. 저자원 실생활 애플리케이션을 위한 적응. 전작들이 대부분이다. 사전 훈련된 언어 모델(PLM)에 의존하여 유창한 요약 정보를 생성합니다. 그러나, 그것들은 종종 환각된 내용물을 포함한다. PLM의 통제되지 않는 특성. 게다가, 사이의 위상적 차이. 테이블과 시퀀스는 거의 연구되지 않습니다. 마지막으로, 미세 조정: 소수의 사례가 있는 PLM은 과적합 및 치명적인 결과를 초래할 수 있습니다. 망각의 이러한 문제를 완화하기 위해, 우리는 신속한 기반 접근법을 제안한다. 프리픽스 제어 생성기(예: PCG)로, 몇 번의 샷으로 테이블에서 텍스트로 생성할 수 있습니다. 테이블 구조를 개선하기 위해 PLM에 작업별 접두사를 추가한다. 사전 교육된 입력에 맞춥니다. 또한 다음과 같은 입력 관련 접두사를 생성합니다. 생성된 텍스트의 사실 내용 및 어순을 제어합니다. 둘다요. 서로 다른 영역(도메인, 책 및 노래)에 대한 자동 및 인간 평가 위키비오 데이터 세트의 기본 접근 방식에 비해 상당한 개선을 보여준다. 

 

 

Improving Personality Consistency in Conversation by Persona Extending

 

Endowing chatbots with a consistent personality plays a vital role for agents to deliver human-like interactions. However, existing personalized approaches commonly generate responses in light of static predefined personas depicted with textual description, which may severely restrict the interactivity of human and the chatbot, especially when the agent needs to answer the query excluded in the predefined personas, which is so-called out-of-predefined persona problem (named OOP for simplicity). To alleviate the problem, in this paper we propose a novel retrieval-to-prediction paradigm consisting of two subcomponents, namely, (1) Persona Retrieval Model (PRM), it retrieves a persona from a global collection based on a Natural Language Inference (NLI) model, the inferred persona is consistent with the predefined personas; and (2) Posterior-scored Transformer (PS-Transformer), it adopts a persona posterior distribution that further considers the actual personas used in the ground response, maximally mitigating the gap between training and inferring. Furthermore, we present a dataset called IT-ConvAI2 that first highlights the OOP problem in personalized dialogue. Extensive experiments on both IT-ConvAI2 and ConvAI2 demonstrate that our proposed model yields considerable improvements in both automatic metrics and human evaluations.

 

일관된 성격의 챗봇을 허용하는 것은 에이전트에게 매우 중요한 역할을 합니다. 인간과 같은 상호 작용을 전달하기 위해. 그러나 기존의 개인화된 접근 방식 일반적으로 그림과 같이 정적 사전 정의된 인물을 고려하여 응답을 생성합니다. 텍스트 설명과 함께, 그것은 상호 작용을 심각하게 제한할 수 있다. 인간과 챗봇, 특히 에이전트가 질문에 답해야 할 때. 미리 정의된 캐릭터에서 제외되며, 이른바 아웃 오브 더니즈(out of out-out-out-out-contined. 페르소나 문제(간단함을 위해 OOP로 명명됨). 이 문제를 완화하기 위해, 논문 우리는 두 가지로 구성된 새로운 검색-전환 패러다임을 제안한다. 하위 구성 요소, 즉 (1) Persona Retrieve Model(PRM)을 검색한다. 자연어 추론(NLI)을 기반으로 한 글로벌 컬렉션의 페르소나 모델, 추론된 페르소나는 사전 정의된 페르소나와 일치한다. 후점 변압기(PS-Transformer), 후점 변압기를 채택합니다. 실제 인물을 지상에서 사용한 것으로 더 고려하는 분포 대응, 훈련과 추론 사이의 격차를 최대한 완화합니다. 또한, 우리는 IT-Conv라는 데이터 세트를 제시한다.가장 먼저 강조되는 AI2 개인화된 대화의 OOP 문제. 두 IT-Conv에 대한 광범위한 실험AI2 및 컨벤션AI2는 우리가 제안한 모델이 상당한 결과를 낳는다는 것을 보여준다. 자동 측정 기준과 인간 평가의 개선. 

 

 

Inductive Knowledge Graph Reasoning for Multi-batch Emerging Entities

 

Over the years, reasoning over knowledge graphs (KGs), which aims to infer new conclusions from known facts, has mostly focused on static KGs. The unceasing growth of knowledge in real life raises the necessity to enable the inductive reasoning ability on expanding KGs. Existing inductive work assumes that new entities all emerge once in a batch, which oversimplifies the real scenario that new entities continually appear. This study dives into a more realistic and challenging setting where new entities emerge in multiple batches. We propose a walk-based inductive reasoning model to tackle the new setting. Specifically, a graph convolutional network with adaptive relation aggregation is designed to encode and update entities using their neighboring relations. To capture the varying neighbor importance, we employ a query-aware feedback attention mechanism during the aggregation. Furthermore, to alleviate the sparse link problem of new entities, we propose a link augmentation strategy to add trustworthy facts into KGs. We construct three new datasets for simulating this multi-batch emergence scenario. The experimental results show that our proposed model outperforms state-of-the-art embedding-based, walk-based and rule-based models on inductive KG reasoning.

 

수년간, 추론하는 것을 목표로 하는 지식 그래프(KG)에 대한 추론. 알려진 사실로부터 나온 새로운 결론은 대부분 정적 KG에 초점을 맞추고 있다. 그 실생활에서 지식의 끊임없는 성장은 그것을 가능하게 할 필요성을 제기한다. KGs 확장에 대한 귀납적 추론 능력. 기존 귀납적 작업은 다음과 같이 가정한다. 새로운 실체는 모두 한 번에 나타나며, 이는 실제를 지나치게 단순화한다. 새로운 엔티티가 지속적으로 나타나는 시나리오입니다. 이 연구는 더 깊이 파고든다. 새로운 실체가 여러 개 출현하는 현실적이고 도전적인 환경 묶음 우리는 새로운 것을 다루기 위해 걷기 기반 귀납적 추론 모델을 제안한다. 세팅 특히, 적응 관계가 있는 그래프 컨볼루션 네트워크 집계는 인접 도면요소를 사용하여 도면요소를 인코딩하고 업데이트하도록 설계되었습니다. 관계 다양한 이웃의 중요성을 포착하기 위해, 우리는 쿼리 인식을 사용한다. 집계 중 피드백 주의 메커니즘. 게다가, 완화하기 위해서. 새로운 실체의 희박한 링크 문제, 우리는 링크 증대를 제안한다. KGs에 신뢰할 수 있는 사실을 추가하는 전략 다음과 같은 세 가지 새로운 데이터셋을 구축합니다. 이 다중 계층 출현 시나리오를 시뮬레이션합니다. 실험 결과는 다음과 같다. 우리가 제안한 모델이 최첨단 임베딩 기반보다 성능이 뛰어나다는 것을, 유도 KG 추론에 대한 보행 기반 및 규칙 기반 모델.