[2023-07-20] 오늘의 자연어처리

A mixed policy to improve performance of language models on math problems

 

When to solve math problems, most language models take a sampling strategy to predict next word according conditional probabilities. In the math reasoning step, it may generate wrong answer. Considering math problems are deterministic, we propose a mixed policy exploration approach to solve math problems with reinforcement learning. In peculiar, we propose a two level token exploration policy: the abstract level explores next token with probability and the second level is deterministic. Specifically, the abstract level policy will decide whether the token is operator or operand with probability sampling, while the second level is deterministic to select next token with the highest score in a greedy way. We test our method on GSM8K dataset with GPT-2 model, and demonstrate more than $2\%$ performance gain. Our implementation is available at this https URL.

 

수학 문제를 풀 때, 대부분의 언어 모델은 샘플링 전략을 취한다 조건부 확률에 따라 다음 단어를 예측합니다. 수학적 추론에서 단계: 오답이 생성될 수 있습니다. 수학문제를 고려하면 결정론적으로, 우리는 수학을 풀기 위한 혼합 정책 탐색 접근법을 제안한다 강화 학습의 문제들. 특이하게도, 우리는 2단계 토큰을 제안한다 탐색 정책: 추상 수준은 확률과 함께 다음 토큰을 탐색합니다 두 번째 수준은 결정론적입니다. 구체적으로, 추상적인 수준의 정책은 다음과 같다 토큰이 오퍼레이터인지 오퍼랜드인지 확률 샘플링을 사용하여 결정합니다, 두 번째 레벨이 가장 높은 다음 토큰을 선택하는 결정적인 동안 탐욕스럽게 득점하다. 우리는 GPT-2 모델로 GSM8K 데이터 세트에서 우리의 방법을 테스트한다, $2\%$ 이상의 성능 향상을 보여줍니다. 우리의 구현은 이 https URL에서 사용할 수 있습니다. 

 

 

Large Language Models Perform Diagnostic Reasoning

 

We explore the extension of chain-of-thought (CoT) prompting to medical reasoning for the task of automatic diagnosis. Motivated by doctors' underlying reasoning process, we present Diagnostic-Reasoning CoT (DR-CoT). Empirical results demonstrate that by simply prompting large language models trained only on general text corpus with two DR-CoT exemplars, the diagnostic accuracy improves by 15% comparing to standard prompting. Moreover, the gap reaches a pronounced 18% in out-domain settings. Our findings suggest expert-knowledge reasoning in large language models can be elicited through proper promptings.

 

우리는 의료로 유도하는 생각의 사슬(CoT)의 확장을 탐구한다 자동 진단 작업에 대한 추론. 의사들의 기초에 의해 동기부여가 되었다 추론 프로세스, 우리는 진단-추론 CoT(DR-CoT)를 제시한다. 경험적 결과는 단지 훈련된 큰 언어 모델을 촉진함으로써 그것을 보여준다 두 개의 DR-CoT 예제가 있는 일반 텍스트 말뭉치에서 진단 정확도 표준 프롬프트에 비해 15% 향상되었습니다. 게다가, 그 격차는 a에 도달한다 외부 도메인 설정에서 18%로 선언되었습니다. 우리의 연구 결과는 전문가의 지식을 시사한다 큰 언어 모델에서의 추론은 적절한 프롬프트를 통해 도출될 수 있다. 

 

 

Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages

 

We propose an efficient modeling framework for cross-lingual named entity recognition in semi-structured text data. Our approach relies on both knowledge distillation and consistency training. The modeling framework leverages knowledge from a large language model (XLMRoBERTa) pre-trained on the source language, with a student-teacher relationship (knowledge distillation). The student model incorporates unsupervised consistency training (with KL divergence loss) on the low-resource target language. We employ two independent datasets of SMSs in English and Arabic, each carrying semi-structured banking transaction information, and focus on exhibiting the transfer of knowledge from English to Arabic. With access to only 30 labeled samples, our model can generalize the recognition of merchants, amounts, and other fields from English to Arabic. We show that our modeling approach, while efficient, performs best overall when compared to state-of-the-art approaches like DistilBERT pre-trained on the target language or a supervised model directly trained on labeled data in the target language. Our experiments show that it is enough to learn to recognize entities in English to reach reasonable performance in a low-resource language in the presence of a few labeled samples of semi-structured data. The proposed framework has implications for developing multi-lingual applications, especially in geographies where digital endeavors rely on both English and one or more low-resource language(s), sometimes mixed with English or employed singly.

 

우리는 교차 언어 명명된 엔티티에 대한 효율적인 모델링 프레임워크를 제안한다 반구조화된 텍스트 데이터에서 인식. 우리의 접근 방식은 두 가지 지식에 의존한다 증류 및 일관성 훈련. 모델링 프레임워크는 다음을 활용합니다 소스에서 사전 훈련된 대규모 언어 모델(XLMRoBERTa)의 지식 언어, 학생-교사 관계(지식 증류). 그 학생 모델은 감독되지 않은 일관성 훈련을 통합한다(KL과 함께) 하위 리소스 대상 언어에서 발산 손실). 우리는 각각 영어와 아랍어로 된 두 개의 독립적인 SMS 데이터 세트를 사용한다 반구조화된 은행 거래 정보를 전달하고, 초점을 맞춘다 영어에서 아랍어로 지식의 이전을 보여주는 것. 에 액세스할 수 있는 경우 단지 30개의 라벨이 붙은 샘플, 우리의 모델은 상인들의 인식을 일반화할 수 있다, 양, 그리고 영어에서 아랍어까지 다른 분야. 우리는 우리의 모델링이 접근 방식은 효율적이지만, 비교했을 때 전반적으로 최고의 성능을 발휘합니다 DistilB와 같은 최첨단 접근법대상 언어에 대한 ERT 사전 교육 또는 대상 언어로 레이블이 지정된 데이터에 대해 직접 훈련된 감독 모델. 우리의 실험은 그것이 실체를 인식하는 것을 배우는 것으로 충분하다는 것을 보여준다 영어는 자원이 적은 언어로 합리적인 성과에 도달하기 위해 레이블이 지정된 몇 개의 반구조 데이터 샘플의 존재. 제안된 프레임워크는 다국어 애플리케이션 개발에 영향을 미친다, 특히 디지털 노력이 영어와 하나 둘 다에 의존하는 지역에서 또는 때때로 영어와 혼합되거나 고용된 더 낮은 자원의 언어들 단독으로.