[2022-12-22] 오늘의 자연어처리

ZEROTOP: Zero-Shot Task-Oriented Semantic Parsing using Large Language Models

 

We explore the use of large language models (LLMs) for zero-shot semantic parsing. Semantic parsing involves mapping natural language utterances to task-specific meaning representations. Language models are generally trained on the publicly available text and code and cannot be expected to directly generalize to domain-specific parsing tasks in a zero-shot setting. In this work, we propose ZEROTOP, a zero-shot task-oriented parsing method that decomposes a semantic parsing problem into a set of abstractive and extractive question-answering (QA) problems, enabling us to leverage the ability of LLMs to zero-shot answer reading comprehension questions. For each utterance, we prompt the LLM with questions corresponding to its top-level intent and a set of slots and use the LLM generations to construct the target meaning representation. We observe that current LLMs fail to detect unanswerable questions; and as a result, cannot handle questions corresponding to missing slots. To address this problem, we fine-tune a language model on public QA datasets using synthetic negative samples. Experimental results show that our QA-based decomposition paired with the fine-tuned LLM can correctly parse ~16% of utterances in the MTOP dataset without requiring any annotated data.

 

우리는 제로샷 시맨틱을 위한 큰 언어 모델(LLM)의 사용을 탐구한다. 파싱 의미론적 구문 분석은 자연어 발화를 다음과 같이 매핑하는 것을 포함한다. 작업별 의미 표현. 언어 모델은 일반적으로 다음과 같이 훈련된다. 공개적으로 사용 가능한 텍스트 및 코드이며 직접적으로 기대할 수 없습니다. 제로샷 설정에서 도메인별 구문 분석 작업으로 일반화합니다. 이 점에서. 작업, 우리는 제로샷 작업 지향 구문 분석 방법인 제로톱을 제안한다. 의미론적 구문 분석 문제를 추상적이고 추출적인 집합으로 분해한다. QA(Question-Answering) 문제, LLM의 기능을 활용할 수 있도록 지원 독해 문제를 제로 샷으로 답하는 것. 각각의 발언에 대해, 우리는 LLM의 최상위 의도와 집합에 해당하는 질문을 LLM에 전달합니다. 슬롯 수 및 LLM 세대를 사용하여 목표 의미를 구성합니다. 표상 우리는 현재 LLM이 응답할 수 없는 것을 감지하지 못한다는 것을 관찰한다. 질문; 결과적으로 누락에 해당하는 질문을 처리할 수 없습니다. 슬롯. 이 문제를 해결하기 위해, 우리는 공공 QA에서 언어 모델을 미세 조정한다. 합성 음성 샘플을 사용하는 데이터 세트. 실험 결과에 따르면 미세 조정된 LLM과 쌍을 이루는 QA 기반 분해는 최대 16%까지 올바르게 구문 분석할 수 있습니다. 주석이 달린 데이터를 요구하지 않고 MTOP 데이터 세트에서 발화의 수. 

 

 

Prompt-Augmented Linear Probing: Scaling Beyond The Limit of Few-shot In-Context Learners

 

Through in-context learning (ICL), large-scale language models are effective few-shot learners without additional model fine-tuning. However, the ICL performance does not scale well with the number of available training samples as it is limited by the inherent input length constraint of the underlying language model. Meanwhile, many studies have revealed that language models are also powerful feature extractors, allowing them to be utilized in a black-box manner and enabling the linear probing paradigm, where lightweight discriminators are trained on top of the pre-extracted input representations. This paper proposes prompt-augmented linear probing (PALP), a hybrid of linear probing and ICL, which leverages the best of both worlds. PALP inherits the scalability of linear probing and the capability of enforcing language models to derive more meaningful representations via tailoring input into a more conceivable form. Throughout in-depth investigations on various datasets, we verified that PALP significantly enhances the input representations closing the gap between ICL in the data-hungry scenario and fine-tuning in the data-abundant scenario with little training overhead, potentially making PALP a strong alternative in a black-box scenario.

 

컨텍스트 내 학습(ICL)을 통해 대규모 언어 모델이 효과적입니다. 추가 모델 미세 조정 없이 몇 번의 샷 학습자를 사용할 수 있습니다. 하지만 ICL은 성능이 사용 가능한 교육 샘플의 수에 따라 잘 확장되지 않음 기본값의 고유한 입력 길이 제약에 의해 제한되기 때문에 언어 모델 한편, 많은 연구들은 언어 모델들이 또한 강력한 기능 추출기를 사용하여 블랙박스에서 사용할 수 있습니다. 방법 및 선형 탐색 패러다임 활성화(경량인 경우) 판별기는 사전 예측 입력 표현 위에서 훈련된다. 이 논문은 선형의 하이브리드인 신속 증강 선형 탐색(PALP)을 제안한다. 프로빙과 ICL은 두 가지 장점을 모두 활용합니다. PALP는 다음을 상속합니다. 선형 탐색의 확장성 및 언어 모델 적용 기능 입력을 더 많은 것으로 맞춤화함으로써 더 의미 있는 표현을 도출한다. 상상할 수 있는 형태 다양한 데이터 세트에 대한 심층 조사를 통해 PALP가 입력 표현을 크게 향상시키는 것을 확인했다. 데이터 사용량이 많은 시나리오에서 ICL과 미세 조정 사이의 격차 교육 오버헤드가 거의 없는 데이터가 풍부한 시나리오, 잠재적으로 PALP를 블랙박스 시나리오에서 강력한 대안. 

 

 

Language Models as Inductive Reasoners

 

Inductive reasoning is a core component of human intelligence. In the past research of inductive reasoning within computer science, logic language is used as representations of knowledge (facts and rules, more specifically). However, logic language can cause systematic problems for inductive reasoning such as disability of handling raw input such as natural language, sensitiveness to mislabeled data, and incapacity to handle ambiguous input. To this end, we propose a new task, which is to induce natural language rules from natural language facts, and create a dataset termed DEER containing 1.2k rule-fact pairs for the task, where rules and facts are written in natural language. New automatic metrics are also proposed and analysed for the evaluation of this task. With DEER, we investigate a modern approach for inductive reasoning where we use natural language as representation for knowledge instead of logic language and use pretrained language models as ''reasoners''. Moreover, we provide the first and comprehensive analysis of how well pretrained language models can induce natural language rules from natural language facts. We also propose a new framework drawing insights from philosophy literature for this task, which we show in the experiment section that surpasses baselines in both automatic and human evaluations.

 

귀납적 추론은 인간 지능의 핵심 요소이다. 과거에 컴퓨터 과학 내에서 귀납적 추론의 연구, 논리 언어가 사용된다. 지식(구체적으로는 규칙 및 규칙)의 표현으로 사용됩니다. 하지만, 논리 언어는 다음과 같은 귀납적 추론을 위한 체계적인 문제를 일으킬 수 있다. 자연어와 같은 원시 입력을 다루는 장애, 에 대한 민감성. 잘못된 데이터 레이블링, 모호한 입력 처리 능력. 이를 위해 우리는 새로운 과제를 제안합니다, 그것은 자연어 규칙을 자연어로부터 유도하는 것입니다. 언어 사실, 그리고 1.2k 규칙 사실을 포함하는 DERE라는 데이터 세트를 만든다. 규칙과 사실이 자연어로 쓰여지는 작업을 위한 쌍. 신규 이 평가를 위해 자동 측정 기준도 제안되고 분석된다. 과제. DER와 함께, 우리는 귀납적 추론을 위한 현대적인 접근법을 조사한다. 우리는 논리 대신에 지식을 표현하기 위해 자연어를 사용한다. 언어 및 사전 훈련된 언어 모델을 "추론자"로 사용한다. 게다가 우리는 사전에 얼마나 잘 훈련된 언어인지에 대한 최초의 포괄적인 분석을 제공한다. 모델은 자연어 사실로부터 자연어 규칙을 유도할 수 있다. 우리도 이를 위해 철학 문헌에서 통찰력을 끌어내는 새로운 틀을 제안한다. 두 가지 모두에서 기준선을 능가하는 실험 섹션에서 보여주는 과제 자동 및 인간 평가.