[2023-01-05] 오늘의 자연어처리

Analogical Inference Enhanced Knowledge Graph Embedding

 

Knowledge graph embedding (KGE), which maps entities and relations in a knowledge graph into continuous vector spaces, has achieved great success in predicting missing links in knowledge graphs. However, knowledge graphs often contain incomplete triples that are difficult to inductively infer by KGEs. To address this challenge, we resort to analogical inference and propose a novel and general self-supervised framework AnKGE to enhance KGE models with analogical inference capability. We propose an analogical object retriever that retrieves appropriate analogical objects from entity-level, relation-level, and triple-level. And in AnKGE, we train an analogy function for each level of analogical inference with the original element embedding from a well-trained KGE model as input, which outputs the analogical object embedding. In order to combine inductive inference capability from the original KGE model and analogical inference capability enhanced by AnKGE, we interpolate the analogy score with the base model score and introduce the adaptive weights in the score function for prediction. Through extensive experiments on FB15k-237 and WN18RR datasets, we show that AnKGE achieves competitive results on link prediction task and well performs analogical inference.

 

지식 그래프 임베딩(KGE), 엔티티 및 관계를 매핑합니다 지식 그래프를 연속적인 벡터 공간으로, 큰 성공을 이루었다 지식 그래프에서 누락된 링크를 예측합니다. 그러나 지식 그래프는 종종 KGE에 의해 유도적으로 추론하기 어려운 불완전한 삼중항을 포함한다. 로. 이 과제를 해결하고, 우리는 유추에 의존하고 소설을 제안한다 그리고 KGE 모델을 향상시키기 위한 일반적인 자체 감독 프레임워크 AnKGE 유추 능력. 우리는 다음과 같은 아날로그 객체 리트리버를 제안한다 엔티티 수준, 관계 수준 및 에서 적절한 아날로그 개체를 검색합니다 삼단의. 그리고 AnKGE에서, 우리는 각 수준에 대한 유추 함수를 훈련한다 잘 훈련된 것에서 내장된 원래 요소를 사용한 유추 KGE 모델을 입력으로, 아날로그 객체 임베딩을 출력한다. 위하여 원래 KGE 모델의 귀납적 추론 능력을 결합하고 AnKGE에 의해 향상된 유추 능력, 우리는 유추를 보간한다 기본 모델 점수로 점수를 매기고 점수에 적응형 가중치를 도입합니다 예측 기능을 하다. FB15k-237 및 WN18RR에 대한 광범위한 실험을 통해 데이터 세트, 우리는 AnKGE가 링크 예측에서 경쟁력 있는 결과를 달성한다는 것을 보여준다 작업을 수행하고 아날로그 추론을 잘 수행합니다. 

 

 

Large Language Models as Corporate Lobbyists

 

We demonstrate a proof-of-concept of a large language model conducting corporate lobbying related activities. We use an autoregressive large language model (OpenAI's text-davinci-003) to determine if proposed U.S. Congressional bills are relevant to specific public companies and provide explanations and confidence levels. For the bills the model deems as relevant, the model drafts a letter to the sponsor of the bill in an attempt to persuade the congressperson to make changes to the proposed legislation. We use hundreds of ground-truth labels of the relevance of a bill to a company to benchmark the performance of the model, which outperforms the baseline of predicting the most common outcome of irrelevance. However, we test the ability to determine the relevance of a bill with the previous OpenAI GPT-3 model (text-davinci-002), which was state-of-the-art on many language tasks until text-davinci-003 was released on November 28, 2022. The performance of text-davinci-002 is worse than simply always predicting that a bill is irrelevant to a company. These results suggest that, as large language models continue to improve core natural language understanding capabilities, performance on corporate lobbying related tasks will continue to improve. We then discuss why this could be problematic for societal-AI alignment.

 

우리는 수행하는 대규모 언어 모델의 개념 증명을 시연한다 기업 로비 관련 활동. 우리는 자기 회귀적 대언어를 사용한다 제안된 미국 의회인지 여부를 결정하기 위한 모델(OpenAI의 text-davinci-003) 법안들은 특정한 공공 회사들과 관련이 있고 설명을 제공한다 신뢰 수준. 모델이 관련이 있다고 간주하는 청구서의 경우, 모델 초안 그 법안을 설득하기 위한 시도로 그 법안의 후원자에게 보낸 편지 제안된 법안을 수정할 국회의원. 우리는 수백 개의 벤치마크를 위한 회사에 대한 법안의 관련성에 대한 지상 평가 라벨 가장 많은 것을 예측하는 기준선을 능가하는 모델의 성능 무관의 공통된 결과. 그러나, 우리는 다음을 결정하는 능력을 테스트한다 이전 오픈과 법안의 관련성AI GPT-3 모델(text-davinci-002), 그것은 text-davinci-003이 되기 전까지 많은 언어 작업에서 최첨단이었다 2022년 11월 28일에 발매되었다. text-davinci-002의 성능이 더 좋지 않습니다 단순히 청구서가 회사와 무관하다고 항상 예측하는 것보다. 이것들 결과는 큰 언어 모델이 계속해서 핵심 자연을 개선함에 따라 제안한다 언어 이해 능력, 기업 로비 관련 성과 작업은 계속해서 개선될 것입니다. 그런 다음 문제가 될 수 있는 이유에 대해 논의합니다 사회적-AI 조정을 위해. 

 

 

EZInterviewer: To Improve Job Interview Performance with Mock Interview Generator

 

Interview has been regarded as one of the most crucial step for recruitment. To fully prepare for the interview with the recruiters, job seekers usually practice with mock interviews between each other. However, such a mock interview with peers is generally far away from the real interview experience: the mock interviewers are not guaranteed to be professional and are not likely to behave like a real interviewer. Due to the rapid growth of online recruitment in recent years, recruiters tend to have online interviews, which makes it possible to collect real interview data from real interviewers. In this paper, we propose a novel application named EZInterviewer, which aims to learn from the online interview data and provides mock interview services to the job seekers. The task is challenging in two ways: (1) the interview data are now available but still of low-resource; (2) to generate meaningful and relevant interview dialogs requires thorough understanding of both resumes and job descriptions. To address the low-resource challenge, EZInterviewer is trained on a very small set of interview dialogs. The key idea is to reduce the number of parameters that rely on interview dialogs by disentangling the knowledge selector and dialog generator so that most parameters can be trained with ungrounded dialogs as well as the resume data that are not low-resource. Evaluation results on a real-world job interview dialog dataset indicate that we achieve promising results to generate mock interviews. With the help of EZInterviewer, we hope to make mock interview practice become easier for job seekers.

 

면접은 채용을 위한 가장 중요한 단계 중 하나로 여겨져 왔다. 채용담당자와의 면접을 충분히 준비하기 위해, 구직자들은 보통 서로 모의 면접 연습을 하다 하지만, 이런 조롱은 동료들과의 인터뷰는 일반적으로 실제 인터뷰 경험에서 멀리 떨어져 있다. 모의 면접관은 전문성이 보장되지 않으며 그럴 것 같지 않다. 진짜 면접관처럼 행동하다. 온라인의 빠른 성장으로 인해 최근 몇 년 동안, 채용 담당자들은 온라인 인터뷰를 하는 경향이 있다 실제 면접관으로부터 실제 면접 데이터를 수집하는 것을 가능하게 한다. 인 이 논문에서, 우리는 EZinterviewer라는 이름의 새로운 애플리케이션을 제안하는데, 그것은 다음을 목표로 한다 온라인 인터뷰 데이터로부터 배우고 모의 인터뷰 서비스를 제공한다 구직자들. 과제는 두 가지 면에서 도전적이다: (1) 인터뷰 데이터 현재 사용 가능하지만 여전히 자원이 부족합니다. (2) 의미 있는 그리고 관련 인터뷰 대화는 이력서와 이력서 모두에 대한 철저한 이해를 필요로 한다 직무 기술서. 리소스 부족 문제를 해결하기 위해 EZInterviewer는 아주 작은 인터뷰 대화 세트에 대해 훈련을 받았습니다. 핵심 아이디어는 다음을 줄이는 것입니다 인터뷰 대화 상자를 분리하여 의존하는 매개 변수의 수 대부분의 매개 변수를 학습할 수 있도록 지식 선택기 및 대화 상자 생성기 리소스가 부족하지 않은 재개 데이터뿐만 아니라 접지되지 않은 대화 상자도 포함됩니다. 실제 취업 면접 대화 상자 데이터 세트에 대한 평가 결과는 다음을 나타낸다 우리는 모의 인터뷰를 생성할 수 있는 유망한 결과를 얻는다. 의 도움으로 EZ 면접관님, 모의 면접 연습이 취업에 더 수월해지길 바랍니다 찾는 사람들.