[2023-01-26] 오늘의 자연어처리

Can Very Large Pretrained Language Models Learn Storytelling With A Few Examples?

 

While pre-trained language models can generate individually fluent sentences for automatic story generation, they struggle to generate stories that are coherent, sensible and interesting. Current state-of-the-art (SOTA) story generation models explore using higher-level features such as plots or commonsense knowledge to improve the quality of generated stories. Prompt-based learning using very large pre-trained language models (VLPLMs) such as GPT3 has demonstrated impressive performance even across various NLP tasks. In this paper, we present an extensive study using automatic and human evaluation to compare the story generation capability of VLPLMs to those SOTA models in three different datasets where stories differ in style, register and length. Our results show that VLPLMs generate much higher quality stories than other story generation models, and to a certain extent rival human authors, although preliminary investigation also reveals that they tend to ``plagiarise'' real stories in scenarios that involve world knowledge.

 

사전 훈련된 언어 모델은 개별적으로 유창한 문장을 생성할 수 있다 자동 스토리 생성을 위해, 그들은 다음과 같은 스토리를 생성하기 위해 고군분투한다 조리 있고, 분별 있고, 흥미롭다. 현재의 SOTA(최첨단 기술) 사례 생성 모델은 플롯 또는 같은 더 높은 수준의 기능을 사용하여 탐색합니다 생성된 이야기의 질을 향상시키기 위한 상식적인 지식. 프롬프트 기반 GPT3와 같은 매우 큰 사전 훈련된 언어 모델(VLPLM)을 사용한 학습은 다양한 NLP 작업에서도 인상적인 성능을 보여주었습니다. 이 점에서. 논문, 우리는 자동 및 인간 평가를 사용하여 광범위한 연구를 제시한다 VLPLM의 스토리 생성 능력을 SOTA 모델과 3가지로 비교합니다 스토리가 스타일, 레지스터 및 길이가 다른 다양한 데이터 세트. 우리들의 결과는 VPLM이 다른 이야기보다 훨씬 더 높은 품질의 이야기를 생성한다는 것을 보여준다 세대 모델, 그리고 어느 정도 경쟁적인 인간 작가들, 그러나 예비 조사는 또한 그들이 진짜로 "실용"하는 경향이 있다는 것을 드러낸다 세계 지식을 포함하는 시나리오의 이야기. 

 

 

Multitask Instruction-based Prompting for Fallacy Recognition

 

Fallacies are used as seemingly valid arguments to support a position and persuade the audience about its validity. Recognizing fallacies is an intrinsically difficult task both for humans and machines. Moreover, a big challenge for computational models lies in the fact that fallacies are formulated differently across the datasets with differences in the input format (e.g., question-answer pair, sentence with fallacy fragment), genre (e.g., social media, dialogue, news), as well as types and number of fallacies (from 5 to 18 types per dataset). To move towards solving the fallacy recognition task, we approach these differences across datasets as multiple tasks and show how instruction-based prompting in a multitask setup based on the T5 model improves the results against approaches built for a specific dataset such as T5, BERT or GPT-3. We show the ability of this multitask prompting approach to recognize 28 unique fallacies across domains and genres and study the effect of model size and prompt choice by analyzing the per-class (i.e., fallacy type) results. Finally, we analyze the effect of annotation quality on model performance, and the feasibility of complementing this approach with external knowledge.

 

오류는 입장을 지지하기 위해 겉보기에 타당한 주장으로 사용된다 그것의 타당성을 청중에게 설득하다. 잘못된 것을 인식하는 것은 인간과 기계 모두에게 본질적으로 어려운 작업. 게다가, 큰 계산 모델에 대한 도전은 오류가 있다는 사실에 있다 입력 형식의 차이로 데이터 세트 전체에서 다르게 공식화됨 (예: 질문-답변 쌍, 오류 단편이 있는 문장), 장르 (예: 소셜 미디어, 대화, 뉴스, 유형 및 오류 수(5개부터) 데이터 세트당 18가지 유형). 오류 인식 과제를 해결하기 위해, 우리는 이러한 데이터 세트 간의 차이를 여러 작업으로 접근하고 어떻게 T5 모델을 기반으로 한 멀티태스킹 설정에서 명령 기반 프롬프트가 향상됨 T5, BERT 또는 같은 특정 데이터 세트에 대해 구축된 접근 방식에 대한 결과 GPT-3. 우리는 28을 인식하는 멀티태스킹 프롬프트 접근법의 능력을 보여준다 영역과 장르에 걸친 독특한 오류와 모델 크기의 영향을 연구합니다 클래스별(즉, 오류 유형) 결과를 분석하여 신속한 선택을 할 수 있습니다. 마지막으로, 우리는 주석 품질이 모델 성능에 미치는 영향을 분석한다 외부 지식으로 이 접근 방식을 보완할 수 있는 가능성. 

 

 

MTTN: Multi-Pair Text to Text Narratives for Prompt Generation

 

The explosive popularity of diffusion models[ 1][ 2][ 3 ] has provided a huge stage for further development in generative-text modelling. As prompt based models are very nuanced, such that a carefully generated prompt can produce truely breath taking images, on the contrary producing powerful or even meaningful prompt is a hit or a miss. To lavish on this we have introduced a large scale derived and synthesized dataset built with on real prompts and indexed with popular image-text datasets like MS-COCO[4 ], Flickr[ 5], etc. We have also introduced staging for these sentences that sequentially reduce the context and increase the complexity, that will further strengthen the output because of the complex annotations that are being created. MTTN consists of over 2.4M sentences that are divided over 5 stages creating a combination amounting to over 12M pairs, along with a vocab size of consisting more than 300 thousands unique words that creates an abundance of variations. The original 2.4M million pairs are broken down in such a manner that it produces a true scenario of internet lingo that is used globally thereby heightening the robustness of the dataset, and any model trained on it.

 

확산 모델[1][2][3]의 폭발적인 인기는 엄청난 것을 제공했다 생성 텍스트 모델링의 추가 개발 단계. 신속한 기반 신중하게 생성된 프롬프트가 생산할 수 있도록 모델은 매우 뉘앙스가 있습니다 진정으로 숨이 막히는 이미지, 반대로 강력하거나 심지어는 생성한다 의미있는 프롬프트는 히트 또는 미스이다. 이에 아낌없이 투자하기 위해 우리는 다음을 도입했다 실제 프롬프트를 기반으로 구축된 대규모 파생 및 합성 데이터셋 MS-COCO[4], Flickr[5] 등과 같은 널리 사용되는 이미지 텍스트 데이터 세트로 인덱싱됩니다. 우리가 또한 순차적으로 감소하는 이러한 문장에 대한 스테이징을 도입했다 문맥과 복잡성을 증가시켜 출력을 더욱 강화할 것이다 생성되는 복잡한 주석 때문입니다. MTTN은 다음과 같이 구성된다 조합을 만드는 5단계에 걸쳐 분할된 240만 개 이상의 문장 1,200만 쌍 이상에 달하며, 단어 크기는 2,000개 이상으로 구성된다 30만 개의 독특한 단어들이 풍부한 변형을 만들어냅니다. 그 원래 240만 쌍은 그것이 생산하는 방식으로 분해된다 전 세계적으로 사용되는 인터넷 언어의 진정한 시나리오는 다음과 같다 데이터 세트의 견고성과 이에 대해 훈련된 모든 모델.