[2023-12-07] 오늘의 자연어처리

Impact of Tokenization on LLaMa Russian Adaptation

 

Abstract:Latest instruction-tuned large language models (LLM) show great results on various tasks, however, they often face performance degradation for non-English input. There is evidence that the reason lies in inefficient tokenization caused by low language representation in pre-training data which hinders the comprehension of non-English instructions, limiting the potential of target language instruction-tuning. In this work we investigate the possibility of addressing the issue with vocabulary substitution in the context of LLaMa Russian language adaptation. We explore three variants of vocabulary adaptation and test their performance on Saiga instruction-tuning and fine-tuning on Russian Super Glue benchmark. The results of automatic evaluation show that vocabulary substitution not only improves the model's quality in Russian but also accelerates fine-tuning (35%) and inference (up to 60%) while reducing memory consumption. Additional human evaluation of the instruction-tuned models demonstrates that models with Russian-adapted vocabulary generate answers with higher user preference than the original Saiga-LLaMa model.

 

추상화:최신 명령 조정 대형 언어 모델(LLM)은 다양한 작업에서 큰 결과를 보여주지만 영어 외 입력에 대한 성능 저하에 직면하는 경우가 많다. 그 이유가 사전 훈련 데이터의 언어 표현이 낮아 비영어 명령의 이해를 방해하여 목표 언어 명령 조정의 잠재력을 제한하는 비효율적인 토큰화에 있다는 증거가 있다. 본 논문에서는 LLaMa 러시아어 적응의 맥락에서 어휘 대체 문제를 해결할 수 있는 가능성을 조사한다. 우리는 어휘 적응의 세 가지 변형을 탐구하고 사이가 명령 조정 및 러시아 슈퍼 글루 벤치마크의 미세 조정에서 성능을 테스트한다. 자동 평가 결과는 어휘 대체가 러시아어로 모델의 품질을 향상시킬 뿐만 아니라 미세 조정(35%)과 추론(최대 60%)을 가속화하는 동시에 메모리 소모를 감소시킨다는 것을 보여준다. 명령어 조정 모델에 대한 추가적인 인간 평가는 러시아어로 적응된 어휘를 가진 모델이 원래 Saiga-LLaMa 모델보다 더 높은 사용자 선호도로 답변을 생성한다는 것을 보여준다. 

 

 

Visually Grounded Language Learning: a review of language games, datasets, tasks, and models

 

Abstract:In recent years, several machine learning models have been proposed. They are trained with a language modelling objective on large-scale text-only data. With such pretraining, they can achieve impressive results on many Natural Language Understanding and Generation tasks. However, many facets of meaning cannot be learned by ``listening to the radio" only. In the literature, many Vision+Language (V+L) tasks have been defined with the aim of creating models that can ground symbols in the visual modality. In this work, we provide a systematic literature review of several tasks and models proposed in the V+L field. We rely on Wittgenstein's idea of `language games' to categorise such tasks into 3 different families: 1) discriminative games, 2) generative games, and 3) interactive games. Our analysis of the literature provides evidence that future work should be focusing on interactive games where communication in Natural Language is important to resolve ambiguities about object referents and action plans and that physical embodiment is essential to understand the semantics of situations and events. Overall, these represent key requirements for developing grounded meanings in neural models.

 

추상화:최근 몇 년 동안 여러 기계 학습 모델이 제안되었다. 그들은 대규모 텍스트 전용 데이터에 대한 언어 모델링 목표를 가지고 훈련을 받는다. 그러한 사전 훈련을 통해, 그들은 많은 자연어 이해와 생성 과제에서 인상적인 결과를 얻을 수 있다. 그러나 많은 의미의 측면들은 ``라디오 청취" 만으로는 알 수 없다. 문헌에서 시각적 모달리티에서 심볼을 접지할 수 있는 모델을 만들기 위한 목적으로 많은 Vision+Language(V+Language) 작업이 정의되었다. 본 연구에서는 V+L 분야에서 제안된 몇 가지 과제와 모델에 대한 체계적 문헌 고찰을 제공한다. 우리는 이러한 과제를 1) 차별적 게임, 2) 생성적 게임, 3) 상호작용적 게임의 세 가지 다른 계열로 분류하기 위해 비트겐슈타인의 '언어 게임' 개념에 의존한다. 문헌에 대한 우리의 분석은 향후 작업이 객체 참조 및 실행 계획에 대한 모호성을 해결하기 위해 자연어의 의사소통이 중요한 대화형 게임에 초점을 맞춰야 하며 상황 및 이벤트의 의미를 이해하기 위해 물리적 구현이 필수적이라는 증거를 제공한다. 전반적으로, 이것들은 신경 모델에서 근거 의미를 개발하기 위한 주요 요구 사항을 나타낸다. 

 

 

How Generative-AI can be Effectively used in Government Chatbots

 

Abstract:With the rapid development of artificial intelligence and breakthroughs in machine learning and natural language processing, intelligent question-answering robots have become widely used in government affairs. This paper conducts a horizontal comparison between Guangdong Province's government chatbots, ChatGPT, and Wenxin Ernie, two large language models, to analyze the strengths and weaknesses of existing government chatbots and AIGC technology. The study finds significant differences between government chatbots and large language models. China's government chatbots are still in an exploratory stage and have a gap to close to achieve "intelligence." To explore the future direction of government chatbots more deeply, this research proposes targeted optimization paths to help generative AI be effectively applied in government chatbot conversations.

 

추상화:인공지능의 급속한 발전과 기계학습 및 자연어 처리 분야의 획기적인 발전으로 지능형 질의응답 로봇이 국정 업무에 널리 활용되고 있다. 본 논문은 광둥성의 정부 챗봇인 ChatGPT와 두 개의 대형 언어 모델인 웬신에르니를 수평 비교하여 기존 정부 챗봇과 AIGC 기술의 장단점을 분석한다. 이 연구는 정부 챗봇과 큰 언어 모델 사이에 상당한 차이를 발견했다. 중국의 정부 챗봇은 아직 탐색 단계로 '지능'을 달성하기 위해 닫아야 할 틈이 있다 본 연구는 향후 정부 챗봇의 방향성을 보다 심도 있게 탐색하기 위해 생성 AI가 정부 챗봇 대화에 효과적으로 적용될 수 있도록 지원하기 위한 표적 최적화 경로를 제안한다.