[2023-04-29] 오늘의 자연어처리

q2d: Turning Questions into Dialogs to Teach Models How to Search

 

One of the exciting capabilities of recent language models for dialog is their ability to independently search for relevant information to ground a given dialog response. However, obtaining training data to teach models how to issue search queries is time and resource consuming. In this work, we propose q2d: an automatic data generation pipeline that generates information-seeking dialogs from questions. We prompt a large language model (PaLM) to create conversational versions of question answering datasets, and use it to improve query generation models that communicate with external search APIs to ground dialog responses. Unlike previous approaches which relied on human written dialogs with search queries, our method allows to automatically generate query-based grounded dialogs with better control and scale. Our experiments demonstrate that: (1) For query generation on the QReCC dataset, models trained on our synthetically-generated data achieve 90%--97% of the performance of models trained on the human-generated data; (2) We can successfully generate data for training dialog models in new domains without any existing dialog data as demonstrated on the multi-hop MuSiQue and Bamboogle QA datasets. (3) We perform a thorough analysis of the generated dialogs showing that humans find them of high quality and struggle to distinguish them from human-written dialogs.

 

대화를 위한 최근 언어 모델의 흥미로운 기능 중 하나는 근거가 되는 관련 정보를 독립적으로 검색할 수 있는 그들의 능력 지정된 대화 상자 응답입니다. 그러나 모델에게 교육하는 방법을 교육하기 위한 교육 데이터 획득 문제 검색 쿼리는 시간과 리소스를 소모합니다. 이 작업에서, 우리는 제안한다 q2d: 정보 검색을 생성하는 자동 데이터 생성 파이프라인 질문의 대화 상자입니다. 우리는 대형 언어 모델(PaLM)이 생성하도록 촉구한다 질문 답변 데이터셋의 대화형 버전 및 개선에 사용 외부 검색 API와 통신하는 쿼리 생성 모델을 지면에 전달합니다 대화 상자 응답을 누릅니다. 인간이 쓴 글에 의존했던 이전의 접근법과는 달리 검색 쿼리가 있는 대화 상자, 우리의 방법은 자동으로 생성할 수 있다 제어 및 확장성이 향상된 쿼리 기반의 접지된 대화 상자. 우리의 실험 이를 입증한다: (1) QReCC 데이터 세트에서 쿼리를 생성하기 위해 모델이 훈련되었다 합성 생성된 데이터에서 90%-97%의 성능을 달성합니다 인간이 생성한 데이터에 대해 훈련된 모델; (2) 우리는 성공적으로 생성할 수 있다 기존 대화 상자 데이터 없이 새 도메인에서 대화 상자 모델 교육을 위한 데이터 멀티홉 MuSiQue 및 Bamboogle QA 데이터 세트에서 입증된 바와 같이. (3) 우리는 생성된 대화 상자에 대한 철저한 분석을 수행하여 인간이 찾는 것을 보여줍니다 그것들은 질이 높고 사람이 쓴 것과 구별하기가 힘들다 대화 상자. 

 

 

Entity-Level Sentiment Analysis (ELSA): An exploratory task survey

 

This paper explores the task of identifying the overall sentiment expressed towards volitional entities (persons and organizations) in a document -- what we refer to as Entity-Level Sentiment Analysis (ELSA). While identifying sentiment conveyed towards an entity is well researched for shorter texts like tweets, we find little to no research on this specific task for longer texts with multiple mentions and opinions towards the same entity. This lack of research would be understandable if ELSA can be derived from existing tasks and models. To assess this, we annotate a set of professional reviews for their overall sentiment towards each volitional entity in the text. We sample from data already annotated for document-level, sentence-level, and target-level sentiment in a multi-domain review corpus, and our results indicate that there is no single proxy task that provides this overall sentiment we seek for the entities at a satisfactory level of performance. We present a suite of experiments aiming to assess the contribution towards ELSA provided by document-, sentence-, and target-level sentiment analysis, and provide a discussion of their shortcomings. We show that sentiment in our dataset is expressed not only with an entity mention as target, but also towards targets with a sentiment-relevant relation to a volitional entity. In our data, these relations extend beyond anaphoric coreference resolution, and our findings call for further research of the topic. Finally, we also present a survey of previous relevant work.

 

이 논문은 표현된 전반적인 감정을 확인하는 작업을 탐구한다 문서의 자발적 실체(개인 및 조직)를 향해 -- 무엇 우리는 ELSA(Entity-Level Sensitive Analysis)라고 부른다. 식별하는 동안 엔티티에 대해 전달된 감정은 다음과 같은 짧은 텍스트에 대해 잘 연구됩니다 트윗, 우리는 더 긴 텍스트에 대한 이 특정 작업에 대한 연구를 거의 또는 전혀 발견하지 못한다 동일한 실체에 대한 다수의 언급과 의견으로. 이 부족한 것은 ELSA가 기존 과제에서 파생될 수 있다면 연구는 이해할 수 있을 것이다 모델. 이것을 평가하기 위해, 우리는 그들의 전문적인 리뷰 세트에 주석을 달았다 본문의 각 독립체에 대한 전반적인 감정. 에서 샘플을 추출합니다 문서 수준, 문장 수준 및 대상 수준에 대해 이미 주석이 달린 데이터 다중 도메인 검토 말뭉치의 정서, 그리고 우리의 결과는 그곳이 있다는 것을 나타낸다 우리가 추구하는 전반적인 감정을 제공하는 단일 프록시 작업이 아니다 만족스러운 수준의 성능을 제공합니다. 우리는 일련의 ELSA에 대한 기여를 평가하기 위한 실험 문서, 문장 및 대상 수준의 감정 분석을 제공합니다 그들의 결점에 대한 토론. 우리는 우리의 데이터 세트의 감정적이라는 것을 보여준다 대상으로 언급된 엔티티뿐만 아니라 대상을 향해 표현됩니다 자발적인 실체에 대한 감정적인 관계로. 우리의 데이터에서, 이것들은 관계는 비언어적 상호 참조 결의안 이상으로 확장되며, 우리의 연구 결과는 다음과 같이 부른다 그 주제에 대한 추가 연구를 위해. 마지막으로, 우리는 또한 조사를 제시한다 이전의 관련된 일. 

 

 

CONSCENDI: A Contrastive and Scenario-Guided Distillation Approach to Guardrail Models for Virtual Assistants

 

A wave of new task-based virtual assistants has been fueled by increasingly powerful large language models, such as GPT-4. These conversational agents can be customized to serve customer-specific use cases, but ensuring that agent-generated text conforms to designer-specified rules included in prompt instructions alone is challenging. Therefore, chatbot designers often use another model, called a guardrail model, to verify that the agent output aligns with their rules and constraints. We explore using a distillation approach to guardrail models to monitor the output of the first model using training data from GPT-4. We find two crucial steps to our CONSCENDI process: scenario-augmented generation and contrastive training examples. When generating conversational data, we generate a set of rule-breaking scenarios, which enumerate a diverse set of high-level ways a rule can be violated. This scenario-guided approach produces a diverse training set of rule-violating conversations, and it provides chatbot designers greater control over the classification process. We also prompt GPT-4 to also generate contrastive examples by altering conversations with violations into acceptable conversations. This set of borderline, contrastive examples enables the distilled model to learn finer-grained distinctions between what is acceptable and what is not. We find that CONSCENDI results in guardrail models that improve over baselines.

 

새로운 작업 기반 가상 비서의 물결은 점점 더 거세지고 있습니다 GPT-4와 같은 강력한 대규모 언어 모델. 이러한 대화형 에이전트는 다음을 수행할 수 있습니다 고객별 사용 사례를 제공하도록 사용자 정의되지만 다음과 같은 이점을 보장합니다 에이전트가 생성한 텍스트가 프롬프트에 포함된 설계자 지정 규칙을 준수함 명령만으로는 어렵습니다. 그러므로 챗봇 디자이너들은 종종 사용한다 에이전트 출력이 정렬되었는지 확인하기 위해 가드레일 모델이라고 하는 다른 모델 그들의 규칙과 제약을 가지고. 우리는 다음을 위한 증류 접근법을 사용하여 탐구한다 교육 데이터를 사용하여 첫 번째 모델의 출력을 모니터링하는 가드레일 모델 GPT-4. 우리는 우리의 CSENDE 과정에 대한 두 가지 중요한 단계를 발견한다: 시나리오별 생성 및 대조 훈련 예제. 언제 대화 데이터를 생성하고, 일련의 규칙 위반 시나리오를 생성하고, 규칙을 위반할 수 있는 다양한 고급 방법을 열거합니다. 이것. 시나리오 가이드 접근 방식은 규칙에 따라 다양한 훈련 세트를 생성한다 대화, 그리고 그것은 챗봇 디자이너들에게 더 나은 통제력을 제공한다 분류 과정. 우리는 또한 GPT-4가 대조적으로 생성하도록 촉구한다 위반이 있는 대화를 허용 가능한 대화로 변경하는 예 대화. 이 일련의 경계선, 대조적인 예는 다음을 가능하게 한다 허용 가능한 것 사이의 세분화된 구별을 학습하기 위한 증류 모델 그리고 아닌 것은. 우리는 CENCENDI가 가드레일 모델을 생성한다는 것을 발견했다 기준을 초과하여 개선하다.