[2023-02-21] 오늘의 자연어처리

What A Situated Language-Using Agent Must be Able to Do: A Top-Down Analysis

 

Even in our increasingly text-intensive times, the primary site of language use is situated, co-present interaction. It is primary ontogenetically and phylogenetically, and it is arguably also still primary in negotiating everyday social situations. Situated interaction is also the final frontier of Natural Language Processing, where, compared to the area of text processing, very little progress has been made in the past decade, and where a myriad of practical applications is waiting to be unlocked. While the usual approach in the field is to reach, bottom-up, for the ever next "adjacent possible", in this paper I attempt a top-down analysis of what the demands are that unrestricted situated interaction makes on the participating agent, and suggest ways in which this analysis can structure computational models and research on them. Specifically, I discuss representational demands (the building up and application of world model, language model, situation model, discourse model, and agent model) and what I call anchoring processes (incremental processing, incremental learning, conversational grounding, multimodal grounding) that bind the agent to the here, now, and us.

 

점점 더 텍스트 집약적인 시대에도 언어의 주요 사이트는 사용은 위치하고 상호작용이 공존한다. 그것은 유전적으로 일차적이다 계통발생학적으로, 그리고 그것은 거의 틀림없이 여전히 매일 협상하는 데 주요하다 사회 정세. 위치 상호 작용은 또한 Natural의 마지막 개척지이다 Language Processing, 여기서 텍스트 처리 영역과 비교하여 매우 지난 10년 동안 거의 진전이 없었고, 무수히 많은 실제 응용프로그램의 잠금이 해제되기를 기다리고 있습니다. 일반적인 접근 방식은 필드는 다음 "가능한 한"을 위해 아래에서 위로 도달하는 것이다 이 논문에서 나는 그것이 무엇인지에 대한 하향식 분석을 시도한다 참여 에이전트에 대해 제한되지 않은 위치 상호 작용을 수행하고 제안한다 이 분석이 계산 모델과 연구를 구조화할 수 있는 방법들 구체적으로, 나는 대표적인 요구에 대해 논의한다 세계 모델, 언어 모델, 상황 모델, 담화 모델의 적용, 그리고 내가 앵커링 프로세스라고 부르는 것(증분 처리, 결합하는 증분 학습, 대화형 접지, 다중 모드 접지) 요원은 여기, 지금, 그리고 우리에게. 

 

 

False perspectives on human language: why statistics needs linguistics

 

A sharp tension exists about the nature of human language between two opposite parties: those who believe that statistical surface distributions, in particular using measures like surprisal, provide a better understanding of language processing, vs. those who believe that discrete hierarchical structures implementing linguistic information such as syntactic ones are a better tool. In this paper, we show that this dichotomy is a false one. Relying on the fact that statistical measures can be defined on the basis of either structural or non-structural models, we provide empirical evidence that only models of surprisal that reflect syntactic structure are able to account for language regularities.

 

두 사람 사이에는 인간 언어의 본질에 대한 날카로운 긴장이 존재한다 반대 당사자: 통계적 표면 분포를 믿는 사람들 특히 서프라이즈와 같은 측정을 사용하여, 에 대한 더 나은 이해를 제공한다 언어 처리 대 개별 계층 구조를 믿는 사람들 통사적인 것들과 같은 언어적 정보를 구현하는 구조들 더 나은 도구. 이 논문에서, 우리는 이 이분법이 잘못된 것임을 보여준다. 의존 통계적 조치가 다음 중 하나에 기초하여 정의될 수 있다는 사실에 기초하여 구조적 또는 비구조적 모델, 우리는 오직 다음과 같은 경험적 증거를 제공한다 구문 구조를 반영하는 놀라운 모델은 설명할 수 있다 언어의 규칙성. 

 

 

Keep it Neutral: Using Natural Language Inference to Improve Generation

 

We explore incorporating natural language inference (NLI) into the text generative pipeline by using a pre-trained NLI model to assess whether a generated sentence entails, contradicts, or is neutral to the prompt and preceding text. First, we show that the NLI task is predictive of generation errors made by GPT-3. We use these results to develop an NLI-informed generation procedure for GPT-J. Then, we evaluate these generations by obtaining human annotations on error types and overall quality. We find that an NLI strategy of maximizing entailment improves text generation when the nucleus sampling randomness parameter value is high, while one which maximizes contradiction is in fact productive when the parameter value is low. Overall, though, we demonstrate that an NLI strategy of maximizing the neutral class provides the highest quality of generated text (significantly better than the vanilla generations), regardless of parameter value.

 

우리는 자연어 추론(NLI)을 텍스트에 통합하는 것을 탐구한다 사전 훈련된 NLI 모델을 사용하여 생성 파이프라인을 평가한다 생성된 문장은 즉각적인 것과 모순되거나 중립적이다 앞의 글. 첫째, NLI 작업이 생성을 예측한다는 것을 보여준다 GPT-3에 의해 만들어진 오류들. 우리는 이 결과들을 NLI 정보를 개발하기 위해 사용한다 GPT-J에 대한 생성 절차. 그런 다음, 우리는 이 세대들을 평가한다 오류 유형 및 전체 품질에 대한 인간 주석 획득. 우리는 그것을 발견한다 수반성을 극대화하는 NLI 전략은 핵이 있을 때 텍스트 생성을 개선한다 샘플링 랜덤성 매개변수 값은 높은 반면, 최대화하는 매개변수 값 모순은 사실 매개변수 값이 낮을 때 생산적이다. 전반적으로. 그러나, 우리는 중립 계층을 최대화하는 NLI 전략을 보여준다 생성된 텍스트의 최고 품질을 제공합니다(보다 훨씬 우수함) 바닐라 세대), 매개 변수 값에 관계없이.