[2023-07-26] 오늘의 자연어처리

CommonsenseVIS: Visualizing and Understanding Commonsense Reasoning Capabilities of Natural Language Models

 

Recently, large pretrained language models have achieved compelling performance on commonsense benchmarks. Nevertheless, it is unclear what commonsense knowledge the models learn and whether they solely exploit spurious patterns. Feature attributions are popular explainability techniques that identify important input concepts for model outputs. However, commonsense knowledge tends to be implicit and rarely explicitly presented in inputs. These methods cannot infer models' implicit reasoning over mentioned concepts. We present CommonsenseVIS, a visual explanatory system that utilizes external commonsense knowledge bases to contextualize model behavior for commonsense question-answering. Specifically, we extract relevant commonsense knowledge in inputs as references to align model behavior with human knowledge. Our system features multi-level visualization and interactive model probing and editing for different concepts and their underlying relations. Through a user study, we show that CommonsenseVIS helps NLP experts conduct a systematic and scalable visual analysis of models' relational reasoning over concepts in different situations.

 

최근, 대규모 사전 훈련 언어 모델이 매력적인 성과를 거두었다 상식적인 벤치마크의 성능. 그럼에도 불구하고 무엇이 모델들이 배우는 상식적인 지식과 그들이 오로지 가짜를 이용하는지 여부 패턴. 특징 속성은 일반적인 설명 가능성 기법이다 모델 출력에 대한 중요한 입력 개념을 식별합니다. 하지만 상식적으로 지식은 암묵적인 경향이 있고 입력에 명시적으로 표시되는 경우는 거의 없습니다. 이것들 방법은 언급된 개념에 대한 모델의 암묵적 추론을 추론할 수 없다. 우리가 상식을 제시하다외부를 활용한 시각적 설명 시스템 VIS 상식을 위한 모델 행동을 상황화하기 위한 상식적 지식 기반 질문을 던지다. 구체적으로, 우리는 관련 상식 지식을 추출한다 모델 동작과 인간의 지식을 일치시키기 위한 참조로서 입력. 우리의 시스템 다단계 시각화 및 대화형 모델 탐색 및 편집 기능을 제공합니다 다른 개념과 그들의 근본적인 관계에 대해. 사용자 연구를 통해 우리는 상식적이라는 것을 보여주다VIS를 통해 NLP 전문가가 체계적이고 확장 가능하도록 지원 다른 개념에 대한 모델의 관계적 추론에 대한 시각적 분석 상황들. 

 

 

Corrections of Zipf's and Heaps' Laws Derived from Hapax Rate Models

 

The article introduces corrections to Zipf's and Heaps' laws based on systematic models of the hapax rate. The derivation rests on two assumptions: The first one is the standard urn model which predicts that marginal frequency distributions for shorter texts look as if word tokens were sampled blindly from a given longer text. The second assumption posits that the rate of hapaxes is a simple function of the text size. Four such functions are discussed: the constant model, the Davis model, the linear model, and the logistic model. It is shown that the logistic model yields the best fit.

 

이 기사는 다음을 토대로 한 집프와 힙스의 법칙에 대한 수정 사항을 소개한다 하팍스 비율의 체계적인 모델. 도출은 다음 두 가지 가정에 근거한다: 첫 번째는 표준 유골함 모델로, 한계 빈도를 예측합니다 더 짧은 텍스트에 대한 분포는 단어 토큰이 맹목적으로 샘플링된 것처럼 보인다 주어진 더 긴 텍스트에서. 두 번째 가정은 하팍스의 비율이 텍스트 크기의 단순한 함수입니다. 다음과 같은 네 가지 기능이 논의됩니다 상수 모형, 데이비스 모형, 선형 모형 및 로지스틱 모형. 잇 로지스틱 모형이 가장 적합하다는 것을 보여줍니다. 

 

 

Aligning Large Language Models with Human: A Survey

 

Large Language Models (LLMs) trained on extensive textual corpora have emerged as leading solutions for a broad array of Natural Language Processing (NLP) tasks. Despite their notable performance, these models are prone to certain limitations such as misunderstanding human instructions, generating potentially biased content, or factually incorrect (hallucinated) information. Hence, aligning LLMs with human expectations has become an active area of interest within the research community. This survey presents a comprehensive overview of these alignment technologies, including the following aspects. (1) Data collection: the methods for effectively collecting high-quality instructions for LLM alignment, including the use of NLP benchmarks, human annotations, and leveraging strong LLMs. (2) Training methodologies: a detailed review of the prevailing training methods employed for LLM alignment. Our exploration encompasses Supervised Fine-tuning, both Online and Offline human preference training, along with parameter-efficient training mechanisms. (3) Model Evaluation: the methods for evaluating the effectiveness of these human-aligned LLMs, presenting a multifaceted approach towards their assessment. In conclusion, we collate and distill our findings, shedding light on several promising future research avenues in the field. This survey, therefore, serves as a valuable resource for anyone invested in understanding and advancing the alignment of LLMs to better suit human-oriented tasks and expectations. An associated GitHub link collecting the latest papers is available at this https URL.

 

광범위한 텍스트 말뭉치에 대해 훈련된 LLM(Large Language Model)은 다음과 같다 다양한 자연어 처리를 위한 선도적인 솔루션으로 부상했습니다 (NLP) 작업. 주목할 만한 성능에도 불구하고, 이 모델들은 다음과 같은 경향이 있습니다 인간의 지시에 대한 오해, 생성과 같은 특정 한계 잠재적으로 편향된 내용 또는 사실적으로 잘못된(표시된) 정보입니다. 따라서, LLM을 인간의 기대와 일치시키는 것은 적극적인 영역이 되었다 연구계 내의 관심. 이 조사는 포괄적인 것을 제시한다 다음과 같은 측면을 포함하여 이러한 정렬 기술의 개요. (1) 데이터 수집: 효과적인 고품질 수집 방법 NLP 벤치마크 사용을 포함한 LLM 정렬 지침, 인간 주석 및 강력한 LLM 활용. (2) 교육 방법론: 상세 LLM 정렬에 사용된 기존 교육 방법의 검토. 우리들의 온라인 및 오프라인 인간의 감독된 미세 조정을 모두 포함하는 탐색 파라미터 효율적인 훈련 메커니즘과 함께 선호도 훈련. (3) 모델 평가: 이들의 효과를 평가하는 방법 인간과 협력하는 LLM, 그들에 대한 다각적인 접근법을 제시한다 평가. 결론적으로, 우리는 우리의 발견을 대조하고 증류하여 빛을 발한다 그 분야에서 몇 가지 유망한 미래 연구 경로에 관하여. 이 설문조사는, 그러므로 이해에 투자된 모든 사람들을 위한 귀중한 자원으로 사용된다 그리고 인간 지향적인 업무에 더 잘 적합하도록 LLM의 조정을 진전시킨다 기대들. 최신 논문을 수집하는 관련 깃허브 링크는 이 https URL에서 사용할 수 있습니다.