[2022-12-01] 오늘의 자연어처리

Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs

 

Existing knowledge graph (KG) embedding models have primarily focused on static KGs. However, real-world KGs do not remain static, but rather evolve and grow in tandem with the development of KG applications. Consequently, new facts and previously unseen entities and relations continually emerge, necessitating an embedding model that can quickly learn and transfer new knowledge through growth. Motivated by this, we delve into an expanding field of KG embedding in this paper, i.e., lifelong KG embedding. We consider knowledge transfer and retention of the learning on growing snapshots of a KG without having to learn embeddings from scratch. The proposed model includes a masked KG autoencoder for embedding learning and update, with an embedding transfer strategy to inject the learned knowledge into the new entity and relation embeddings, and an embedding regularization method to avoid catastrophic forgetting. To investigate the impacts of different aspects of KG growth, we construct four datasets to evaluate the performance of lifelong KG embedding. Experimental results show that the proposed model outperforms the state-of-the-art inductive and lifelong embedding baselines.

 

기존 지식 그래프(KG) 임베딩 모델은 주로 다음에 초점을 맞추었다. 정적 KG 그러나 실제 KG는 정적으로 유지되지 않고 오히려 진화하고 KG 응용 프로그램의 개발과 함께 성장합니다. 결과적으로, 새로운 사실들은 그리고 이전에는 볼 수 없었던 실체와 관계가 지속적으로 나타나며, 필요하다. 새로운 지식을 빠르게 배우고 전달할 수 있는 임베딩 모델 성장. 이것에 의해, 우리는 KG 임베딩의 확장된 분야를 탐구한다. 이 논문, 즉 평생 KG 임베딩. 우리는 지식 이전을 고려한다. 학습할 필요 없이 KG의 성장 스냅샷에 대한 학습 보존 처음부터 내장된 것부터. 제안된 모델은 마스킹된 KG 자동 인코더를 포함한다. 임베딩 학습 및 업데이트를 위해 임베딩 전송 전략을 사용하여 학습된 지식을 새로운 실체와 관계 임베딩에 주입한다. 치명적인 망각을 방지하기 위한 임베딩 정규화 방법. 로. KG 성장의 다른 측면의 영향을 조사하고, 우리는 네 가지를 구성한다. 평생 KG 임베딩의 성능을 평가하기 위한 데이터 세트. 실험적 결과는 제안된 모델이 최첨단 유도성을 능가한다는 것을 보여준다. 그리고 평생의 임베딩 기준선. 

 

 

BotSIM: An End-to-End Bot Simulation Toolkit for Commercial Task-Oriented Dialog Systems

 

We introduce BotSIM, a modular, open-source Bot SIMulation environment with dialog generation, user simulation and conversation analytics capabilities. BotSIM aims to serve as a one-stop solution for large-scale data-efficient end-to-end evaluation, diagnosis and remediation of commercial task-oriented dialog (TOD) systems to significantly accelerate commercial bot development and evaluation, reduce cost and time-to-market. BotSIM adopts a layered design comprising the infrastructure layer, the adaptor layer and the application layer. The infrastructure layer hosts key models and components to support BotSIM's major functionalities via a streamlined "generation-simulation-remediation" pipeline. The adaptor layer is used to extend BotSIM to accommodate new bot platforms. The application layer provides a suite of command line tools and a Web App to significantly lower the entry barrier for BotSIM users such as bot admins or practitioners. In this report, we focus on the technical designs of various system components. A detailed case study using Einstein BotBuilder is also presented to show how to apply BotSIM pipeline for bot evaluation and remediation. The detailed system descriptions can be found in our system demo paper. The toolkit is available at: this https URL .

 

봇을 소개합니다.SIM은 모듈식 오픈 소스 봇 시뮬레이션 환경으로 대화 생성, 사용자 시뮬레이션 및 대화 분석 기능. BotSIM은 대규모 데이터 효율성을 위한 원스톱 솔루션을 목표로 합니다. 상업적 업무 중심의 엔드 투 엔드 평가, 진단 및 교정 상용 봇 개발을 상당히 가속화하는 대화상자(TOD) 시스템 및 평가, 비용 절감 및 출시 시간 단축. BotSIM은 레이어드 디자인을 채택합니다. 인프라 계층, 어댑터 계층 및 애플리케이션으로 구성됩니다. 계층. 인프라 계층은 지원할 주요 모델과 구성요소를 호스트합니다. 간소화를 통한 BotSIM의 주요 기능 "세대-시뮬레이션-조사" 파이프라인. 어댑터 레이어는 다음과 같이 사용됩니다. 확장 봇새로운 봇 플랫폼을 수용하기 위한 SIM. 애플리케이션 계층은 다음을 제공합니다. 명령 줄 도구 모음 및 항목을 크게 줄일 수 있는 웹 앱 봇의 장벽봇 관리자 또는 실무자와 같은 SIM 사용자. 이 보고서에서 우리는 다양한 시스템 구성요소의 기술적 설계에 초점을 맞춘다. 상세한 사례 아인슈타인 봇빌더를 사용한 연구 또한 봇을 적용하는 방법을 보여주기 위해 제시된다.심 평가 및 교정을 위한 파이프라인. 자세한 시스템 설명 시스템 데모 논문에서 확인할 수 있습니다. 이 툴킷은 다음 사이트에서 사용할 수 있습니다. 이 https URL. 

 

 

BotSIM: An End-to-End Bot Simulation Toolkit for Commercial Task-Oriented Dialog Systems

 

We introduce BotSIM, a modular, open-source Bot SIMulation environment with dialog generation, user simulation and conversation analytics capabilities. BotSIM aims to serve as a one-stop solution for large-scale data-efficient end-to-end evaluation, diagnosis and remediation of commercial task-oriented dialog (TOD) systems to significantly accelerate commercial bot development and evaluation, reduce cost and time-to-market. BotSIM adopts a layered design comprising the infrastructure layer, the adaptor layer and the application layer. The infrastructure layer hosts key models and components to support BotSIM's major functionalities via a streamlined "generation-simulation-remediation" pipeline. The adaptor layer is used to extend BotSIM to accommodate new bot platforms. The application layer provides a suite of command line tools and a Web App to significantly lower the entry barrier for BotSIM users such as bot admins or practitioners. In this report, we focus on the technical designs of various system components. A detailed case study using Einstein BotBuilder is also presented to show how to apply BotSIM pipeline for bot evaluation and remediation. The detailed system descriptions can be found in our system demo paper. The toolkit is available at: this https URL .

 

봇을 소개합니다.SIM은 모듈식 오픈 소스 봇 시뮬레이션 환경으로 대화 생성, 사용자 시뮬레이션 및 대화 분석 기능. BotSIM은 대규모 데이터 효율성을 위한 원스톱 솔루션을 목표로 합니다. 상업적 업무 중심의 엔드 투 엔드 평가, 진단 및 교정 상용 봇 개발을 상당히 가속화하는 대화상자(TOD) 시스템 및 평가, 비용 절감 및 출시 시간 단축. BotSIM은 레이어드 디자인을 채택합니다. 인프라 계층, 어댑터 계층 및 애플리케이션으로 구성됩니다. 계층. 인프라 계층은 지원할 주요 모델과 구성요소를 호스트합니다. 간소화를 통한 BotSIM의 주요 기능 "세대-시뮬레이션-조사" 파이프라인. 어댑터 레이어는 다음과 같이 사용됩니다. 확장 봇새로운 봇 플랫폼을 수용하기 위한 SIM. 애플리케이션 계층은 다음을 제공합니다. 명령 줄 도구 모음 및 항목을 크게 줄일 수 있는 웹 앱 봇의 장벽봇 관리자 또는 실무자와 같은 SIM 사용자. 이 보고서에서 우리는 다양한 시스템 구성요소의 기술적 설계에 초점을 맞춘다. 상세한 사례 아인슈타인 봇빌더를 사용한 연구 또한 봇을 적용하는 방법을 보여주기 위해 제시된다.심 평가 및 교정을 위한 파이프라인. 자세한 시스템 설명 시스템 데모 논문에서 확인할 수 있습니다. 이 툴킷은 다음 사이트에서 사용할 수 있습니다. 이 https URL.