[2022-08-20] 오늘의 자연어처리

Neural Embeddings for Text

 

We propose a new kind of embedding for natural language text that deeply represents semantic meaning. Standard text embeddings use the vector output of a pretrained language model. In our method, we let a language model learn from the text and then literally pick its brain, taking the actual weights of the model's neurons to generate a vector. We call this representation of the text a neural embedding. The technique may generalize beyond text and language models, but we first explore its properties for natural language processing. We compare neural embeddings with GPT sentence (SGPT) embeddings on several datasets. We observe that neural embeddings achieve comparable performance with a far smaller model, and the errors are different.

 

우리는 자연어 텍스트를 위한 새로운 종류의 임베딩을 제안한다. 의미론적 의미를 나타냅니다. 표준 텍스트 임베딩은 벡터 출력을 사용합니다. 사전 훈련된 언어 모델 우리의 방법에서, 우리는 언어 모델이 다음을 배우도록 한다. 텍스트와 말 그대로 그것의 뇌를 선택하여 실제 무게를 잰다. 벡터를 생성하기 위한 모델의 뉴런. 우리는 이 텍스트의 표현을 a라고 부른다. 신경 내장 이 기술은 텍스트와 언어 모델을 넘어 일반화될 수 있습니다. 그러나 우리는 먼저 자연어 처리를 위한 그것의 속성을 탐구한다. 우리는 비교한다 여러 데이터 세트에 GPT 문장(SGPT) 임베딩이 있는 신경 임베딩. 우리가 신경 임베딩이 먼 곳과 비슷한 성능을 달성하는지 관찰한다. 더 작은 모델, 그리고 오차는 다릅니다. 

 

 

Brand Celebrity Matching Model Based on Natural Language Processing

 

Celebrity Endorsement is one of the most significant strategies in brand communication. Nowadays, more and more companies try to build a vivid characteristic for themselves. Therefore, their brand identity communications should accord with some characteristics as humans and regulations. However, the previous works mostly stop by assumptions, instead of proposing a specific way to perform matching between brands and celebrities. In this paper, we propose a brand celebrity matching model (BCM) based on Natural Language Processing (NLP) techniques. Given a brand and a celebrity, we firstly obtain some descriptive documents of them from the Internet, then summarize these documents, and finally calculate a matching degree between the brand and the celebrity to determine whether they are matched. According to the experimental result, our proposed model outperforms the best baselines with a 0.362 F1 score and 6.3% of accuracy, which indicates the effectiveness and application value of our model in the real-world scene. What's more, to our best knowledge, the proposed BCM model is the first work on using NLP to solve endorsement issues, so it can provide some novel research ideas and methodologies for the following works.

 

유명인사 추천은 브랜드에서 가장 중요한 전략 중 하나입니다. 의사소통. 오늘날, 점점 더 많은 회사들이 생생한 것을 만들기 위해 노력한다. 그들 자신의 특징. 그러므로, 그들의 브랜드 아이덴티티 커뮤니케이션 인간과 규정으로서의 일부 특성과 일치해야 한다. 하지만, 그 이전 작품들은 특정한 방법을 제안하는 대신 대부분 가정에 의해 멈춘다. 브랜드와 연예인의 매칭을 하기 위해서. 이 논문에서, 우리는 다음을 제안한다. 자연어 처리(NLP) 기반 브랜드 연예인 매칭 모델(BCM) 기술. 브랜드와 유명인이 주어졌을 때, 우리는 먼저 약간의 설명적인 것을 얻는다. 인터넷에서 문서를 가져온 다음, 이 문서들을 요약하고, 마침내 브랜드와 유명인사 사이의 일치 정도를 계산하다 일치 여부를 확인합니다. 실험 결과에 따르면, 우리의 제안된 모델은 0.362 F1 점수와 6.3%로 최고의 기준선을 능가한다. 정확도, 이것은 우리 모델의 효과와 응용 가치를 나타낸다. 현실 세계에서 게다가, 우리가 아는 한, 제안된 BCM은 모델은 NLP를 사용하여 보증 문제를 해결하는 첫 번째 작업이다. 다음 작업에 대한 몇 가지 새로운 연구 아이디어와 방법론을 제공합니다. 

 

 

Exploiting Sentiment and Common Sense for Zero-shot Stance Detection

 

The stance detection task aims to classify the stance toward given documents and topics. Since the topics can be implicit in documents and unseen in training data for zero-shot settings, we propose to boost the transferability of the stance detection model by using sentiment and commonsense knowledge, which are seldom considered in previous studies. Our model includes a graph autoencoder module to obtain commonsense knowledge and a stance detection module with sentiment and commonsense. Experimental results show that our model outperforms the state-of-the-art methods on the zero-shot and few-shot benchmark dataset--VAST. Meanwhile, ablation studies prove the significance of each module in our model. Analysis of the relations between sentiment, common sense, and stance indicates the effectiveness of sentiment and common sense.

 

스탠스 감지 작업은 주어진 문서에 대한 스탠스를 분류하는 것을 목표로 한다. 및 주제. 주제는 문서에 내포될 수 있고 에서 보이지 않을 수 있기 때문이다. 제로샷 설정에 대한 교육 데이터, 우리는 전송 가능성을 높일 것을 제안한다. 정서 및 상식적 지식을 이용한 자세 감지 모델, 이전 연구에서 거의 고려되지 않았습니다. 우리의 모델에는 그래프가 포함되어 있다. 자동 인코더 모듈 - 상식적 지식 및 자세 검출을 획득합니다. 감정과 상식으로 모듈화하다. 실험 결과는 우리의 모델이 제로샷 및 퓨샷에서 최첨단 방법을 능가합니다. 벤치마크 데이터 집합--VAST. 한편, 절제 연구는 의 중요성을 증명합니다. 각 모듈을 선택합니다. 감정 간의 관계 분석, 공통 감각, 그리고 입장은 감정과 상식의 효과를 나타낸다.