[2023-08-17] 오늘의 자연어처리

Backward Reasoning in Large Language Models for Verification

 

Chain-of-Though (CoT) prompting has shown promising performance in various reasoning tasks. Recently, Self-Consistency \citep{wang2023selfconsistency} proposes to sample a diverse set of reasoning chains which may lead to different answers while the answer that receives the most votes is selected. In this paper, we propose a novel method to use backward reasoning in verifying candidate answers. We mask a token in the question by ${\bf x}$ and ask the LLM to predict the masked token when a candidate answer is provided by \textit{a simple template}, i.e., ``\textit{\textbf{If we know the answer of the above question is \{a candidate answer\}, what is the value of unknown variable ${\bf x}$?}}'' Intuitively, the LLM is expected to predict the masked token successfully if the provided candidate answer is correct. We further propose FOBAR to combine forward and backward reasoning for estimating the probability of candidate answers. We conduct extensive experiments on six data sets and three LLMs. Experimental results demonstrate that FOBAR achieves state-of-the-art performance on various reasoning benchmarks.

 

CoT(Chain-of-Though) 프롬프트는 다양한 분야에서 유망한 성과를 보여주었다 추리 과제. 최근 셀프 일관성 \citep{wang2023 셀프 일관성} 다음으로 이어질 수 있는 다양한 추론 체인 세트를 샘플링할 것을 제안한다 가장 많은 표를 받은 답변이 선택되는 동안 다른 답변. 인 본 논문에서는 역방향 추론을 사용하여 검증하는 새로운 방법을 제안한다 후보 답변. 질문의 토큰을 ${\bf x}$만큼 마스크하고 LLM에 문의합니다 \textit{a에서 후보 답변을 제공할 때 마스킹된 토큰을 예측합니다 simple template}, 즉 \textit{\textbf{만약 우리가 위의 답을 안다면 질문은 \{후보 답변\}입니다. 알 수 없는 변수 ${\bf의 값은 무엇입니까 x}$?}}'' 직관적으로 LLM은 마스크된 토큰을 예측합니다 제공된 후보 답변이 정확한 경우 성공적으로 수행할 수 있습니다. 우리는 추가로 제안한다 확률 추정을 위해 순방향 추론과 역방향 추론을 결합하는 FOBAR 후보 답변의. 우리는 6개의 데이터 세트에 대해 광범위한 실험을 수행한다 3개의 LLM. 실험 결과는 FOBAR가 달성한다는 것을 보여준다 다양한 추론 벤치마크에 대한 최첨단 성능. 

 

 

RAVEN: In-Context Learning with Retrieval Augmented Encoder-Decoder Language Models

 

In this paper, we investigate the in-context learning ability of retrieval-augmented encoder-decoder language models. We first conduct a comprehensive analysis of the state-of-the-art ATLAS model and identify its limitations in in-context learning, primarily due to a mismatch between pretraining and testing, as well as a restricted context length. To address these issues, we propose RAVEN, a model that combines retrieval-augmented masked language modeling and prefix language modeling. We further introduce Fusion-in-Context Learning to enhance the few-shot performance by enabling the model to leverage more in-context examples without requiring additional training or model modifications. Through extensive experiments, we demonstrate that RAVEN significantly outperforms ATLAS and achieves results comparable to the most advanced language models in certain scenarios, despite having substantially fewer parameters. Our work underscores the potential of retrieval-augmented encoder-decoder language models for in-context learning and encourages further research in this direction.

 

본 논문에서, 우리는 의 맥락 내 학습 능력을 조사한다 검색-인코더-인코더-인코더 언어 모델. 우리는 먼저 A를 실시한다 최첨단 아틀라스 모델의 포괄적인 분석 및 식별 주로 사이의 불일치로 인한 교내 학습의 한계 사전 교육 및 테스트, 제한된 컨텍스트 길이. 주소를 지정하려면 이러한 문제는 검색-증강 결합 모델인 RAVEN을 제안한다 마스킹 언어 모델링 및 접두사 언어 모델링. 우리는 추가로 소개한다 Fusion-in-Context Learning을 사용하여 몇 가지 기능을 통해 몇 가지 기능을 향상시킬 수 있습니다 모델은 추가적인 필요 없이 더 많은 내부 사례를 활용합니다 교육 또는 모델 수정. 광범위한 실험을 통해, 우리는 증명한다 RAVEN은 ATLAS를 크게 능가하고 다음과 같은 결과를 달성합니다 특정 시나리오에서 가장 발전된 언어 모델을 가지고 있음에도 불구하고 훨씬 더 적은 매개 변수. 우리의 연구는 의 가능성을 강조한다 검색-인코딩 인코더-인코딩 언어 모델은 인-인코딩 학습을 위한 것이다 이 방향에 대한 추가 연구를 장려합니다. 

 

 

SOTASTREAM: A Streaming Approach to Machine Translation Training

 

Many machine translation toolkits make use of a data preparation step wherein raw data is transformed into a tensor format that can be used directly by the trainer. This preparation step is increasingly at odds with modern research and development practices because this process produces a static, unchangeable version of the training data, making common training-time needs difficult (e.g., subword sampling), time-consuming (preprocessing with large data can take days), expensive (e.g., disk space), and cumbersome (managing experiment combinatorics). We propose an alternative approach that separates the generation of data from the consumption of that data. In this approach, there is no separate pre-processing step; data generation produces an infinite stream of permutations of the raw training data, which the trainer tensorizes and batches as it is consumed. Additionally, this data stream can be manipulated by a set of user-definable operators that provide on-the-fly modifications, such as data normalization, augmentation or filtering. We release an open-source toolkit, SOTASTREAM, that implements this approach: this https URL. We show that it cuts training time, adds flexibility, reduces experiment management complexity, and reduces disk space, all without affecting the accuracy of the trained models.

 

많은 기계 번역 툴킷들은 데이터 준비 단계를 이용한다 원시 데이터는 직접 사용할 수 있는 텐서 형식으로 변환됩니다 조련사. 이 준비 단계는 현대 연구와 점점 더 대립하고 있다 이 프로세스는 고정적이고 변경 불가능한 것을 생성하기 때문에 개발 관행 일반적인 교육 시간 요구를 어렵게 하는 교육 데이터 버전 (예: 서브워드 샘플링), 시간 소모적(대규모 데이터를 사용한 재처리) 며칠 소요됨, 비용이 많이 소요됨(예: Disk 공간), 그리고 번거롭다(실제 실험) 조합론). 우리는 그것을 분리하는 대안적인 접근법을 제안한다 해당 데이터의 소비로부터 데이터를 생성합니다. 이 접근법에서, 거기에 별도의 전처리 단계가 없습니다. 데이터를 생성하면 무한 스트림이 가능합니다 훈련자가 텐서화하는 원시 훈련 데이터의 순열과 사용한 대로 배치합니다. 또한 이 데이터 스트림은 다음과 같이 조작할 수 있습니다 다음과 같은 즉시 수정을 제공하는 사용자 정의 조작자 집합 데이터 정규화, 증강 또는 필터링으로 사용할 수 있습니다. 우리는 오픈 소스를 공개한다 툴킷, SOTASTREAM은 다음과 같은 접근 방식을 구현합니다: 이 https URL. 우리는 그것이 훈련 시간을 줄인다는 것을 보여준다, 유연성을 추가하고, 실험 관리 복잡성을 줄이며, Disk를 줄입니다 훈련된 모델의 정확도에 영향을 주지 않고 모두 공간을 확보할 수 있습니다.