[2023-04-28] 오늘의 자연어처리

Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond

 

This paper presents a comprehensive and practical guide for practitioners and end-users working with Large Language Models (LLMs) in their downstream natural language processing (NLP) tasks. We provide discussions and insights into the usage of LLMs from the perspectives of models, data, and downstream tasks. Firstly, we offer an introduction and brief summary of current GPT- and BERT-style LLMs. Then, we discuss the influence of pre-training data, training data, and test data. Most importantly, we provide a detailed discussion about the use and non-use cases of large language models for various natural language processing tasks, such as knowledge-intensive tasks, traditional natural language understanding tasks, natural language generation tasks, emergent abilities, and considerations for specific tasks.We present various use cases and non-use cases to illustrate the practical applications and limitations of LLMs in real-world scenarios. We also try to understand the importance of data and the specific challenges associated with each NLP task. Furthermore, we explore the impact of spurious biases on LLMs and delve into other essential considerations, such as efficiency, cost, and latency, to ensure a comprehensive understanding of deploying LLMs in practice. This comprehensive guide aims to provide researchers and practitioners with valuable insights and best practices for working with LLMs, thereby enabling the successful implementation of these models in a wide range of NLP tasks. A curated list of practical guide resources of LLMs, regularly updated, can be found at \url{this https URL}.

 

이 논문은 실무자들을 위한 포괄적이고 실용적인 가이드를 제시한다 다운스트림 자연 환경에서 LLM(대규모 언어 모델)으로 작업하는 최종 사용자 언어 처리(NLP) 작업. 우리는 토론과 통찰력을 제공한다 모델, 데이터 및 다운스트림 작업의 관점에서 LLM의 사용. 먼저, 현재 GPT에 대한 소개와 간단한 요약을 제공합니다 BERT 스타일의 LLM. 그런 다음, 우리는 사전 훈련 데이터, 훈련의 영향에 대해 논의한다 데이터 및 테스트 데이터. 가장 중요한 것은, 우리가 상세한 논의를 제공한다는 것이다 다양한 자연어에 대한 큰 언어 모델의 사용 및 비사용 사례 지식 집약적인 작업, 기존의 자연스러운 작업과 같은 처리 작업 언어 이해 작업, 자연어 생성 작업, 긴급 능력 및 특정 작업에 대한 고려 사항.다양한 사용 사례를 제시합니다 의 실용적인 적용과 한계를 설명하기 위한 미사용 사례 실제 시나리오에서 LLM. 우리는 또한 데이터의 중요성을 이해하려고 노력한다 각 NLP 작업과 관련된 구체적인 과제. 게다가, 우리는 가짜 편견이 LLM에 미치는 영향을 탐구하고 다른 필수 요소를 탐구한다 효율성, 비용 및 대기 시간과 같은 고려사항을 통해 고객의 요구사항을 충족할 수 있습니다 실제 LLM 배치에 대한 포괄적인 이해. 이 포괄적인 가이드는 연구자와 실무자에게 가치 있는 통찰력을 제공하는 것을 목표로 한다 LLM을 사용하여 성공적으로 작업하기 위한 모범 사례 광범위한 NLP 작업에서 이러한 모델의 구현. 의 큐레이션된 목록 정기적으로 업데이트되는 LLM의 실용적인 가이드 리소스는 다음에서 확인할 수 있다 \url{이 https URL}. 

 

 

Pretrain on just structure: Understanding linguistic inductive biases using transfer learning

 

Both humans and transformer language models are able to learn language without explicit structural supervision. What inductive learning biases make this learning possible? In this study, we examine the effect of different inductive learning biases by predisposing language models with structural biases through pretraining on artificial structured data, and then evaluating by fine-tuning on English. Our experimental setup gives us the ability to actively control the inductive bias of language models. With our experiments, we investigate the comparative success of three types of inductive bias: 1) an inductive bias for recursive, hierarchical processing 2) an inductive bias for unrestricted token-token dependencies that can't be modeled by context-free grammars, and 3) an inductive bias for a Zipfian power-law vocabulary distribution. We show that complex token-token interactions form the best inductive biases, and that this is strongest in the non-context-free case. We also show that a Zipfian vocabulary distribution forms a good inductive bias independently from grammatical structure. Our study leverages the capabilities of transformer models to run controlled language learning experiments that are not possible to run in humans, and surfaces hypotheses about the structures that facilitate language learning in both humans and machines.

 

인간과 트랜스포머 언어 모델 모두 언어를 배울 수 있다 명확한 구조적 감독 없이. 귀납적 학습 편견이 만드는 것 이 학습이 가능한가요? 이 연구에서, 우리는 다른 것들의 효과를 조사한다 구조적 언어 모델을 소인함으로써 귀납적 학습 편향 인공 구조화된 데이터에 대한 사전 교육을 통한 편견, 그리고 평가 영어를 미세 조정함으로써. 우리의 실험 설정은 우리에게 다음과 같은 능력을 준다 언어 모델의 귀납적 편향을 능동적으로 제어하다. 우리의 실험을 통해, 우리는 세 가지 유형의 유도 편향의 비교 성공을 조사한다: 1) an 재귀적, 계층적 처리를 위한 귀납적 편향 2)에 대한 귀납적 편향 컨텍스트 프리로 모델링할 수 없는 제한되지 않은 토큰 필터링 종속성 문법, 그리고 3) Zipfian 멱법칙 어휘에 대한 귀납적 편향 분배. 우리는 복잡한 토큰-토큰 상호 작용이 최고를 형성한다는 것을 보여준다 귀납적 편견, 그리고 이것이 비귀납적인 경우에서 가장 강력하다는 것. 우리가 또한 Zipfian 어휘 분포가 좋은 귀납적 편향을 형성한다는 것을 보여줍니다 문법 구조와는 무관하게. 우리의 연구는 능력을 활용한다 제어된 언어 학습 실험을 실행하기 위한 변압기 모델의 인간에서 달릴 수 없으며, 구조에 대한 가설을 표면화한다 인간과 기계 모두에서 언어 학습을 용이하게 한다. 

 

 

ChartSumm: A Comprehensive Benchmark for Automatic Chart Summarization of Long and Short Summaries

 

Automatic chart to text summarization is an effective tool for the visually impaired people along with providing precise insights of tabular data in natural language to the user. A large and well-structured dataset is always a key part for data driven models. In this paper, we propose ChartSumm: a large-scale benchmark dataset consisting of a total of 84,363 charts along with their metadata and descriptions covering a wide range of topics and chart types to generate short and long summaries. Extensive experiments with strong baseline models show that even though these models generate fluent and informative summaries by achieving decent scores in various automatic evaluation metrics, they often face issues like suffering from hallucination, missing out important data points, in addition to incorrect explanation of complex trends in the charts. We also investigated the potential of expanding ChartSumm to other languages using automated translation tools. These make our dataset a challenging benchmark for future research.

 

텍스트 요약에 대한 자동 차트는 시각적으로 효과적인 도구입니다 표 데이터에 대한 정확한 통찰력을 제공하는 것과 함께 장애인들 사용자에게 자연스러운 언어. 잘 구성된 대규모 데이터 세트는 항상 데이터 기반 모델의 핵심 부품입니다. 이 논문에서, 우리는 ChartSumm을 제안한다: a 총 84,363개의 차트로 구성된 대규모 벤치마크 데이터 세트 광범위한 주제와 차트 유형을 다루는 메타데이터 및 설명 짧은 요약과 긴 요약을 생성합니다. 강한 것을 이용한 광범위한 실험 기본 모델은 이러한 모델이 유창하고 다양한 자동화에서 괜찮은 점수를 얻음으로써 유익한 요약 평가 지표, 그들은 종종 환각으로 고통받는 것과 같은 문제에 직면한다, 중요한 데이터 포인트를 놓쳤으며, 잘못된 데이터 포인트 누락 차트의 복잡한 추세. 우리는 또한 확장 가능성에 대해서도 조사했다 차트자동 번역 도구를 사용하여 다른 언어로 요약합니다. 이것들은 우리의 데이터 세트는 향후 연구를 위한 도전적인 벤치마크이다.