[2023-07-29] 오늘의 자연어처리

SuperCLUE: A Comprehensive Chinese Large Language Model Benchmark

 

Large language models (LLMs) have shown the potential to be integrated into human daily lives. Therefore, user preference is the most critical criterion for assessing LLMs' performance in real-world scenarios. However, existing benchmarks mainly focus on measuring models' accuracy using multi-choice questions, which limits the understanding of their capabilities in real applications. We fill this gap by proposing a comprehensive Chinese benchmark SuperCLUE, named after another popular Chinese LLM benchmark CLUE. SuperCLUE encompasses three sub-tasks: actual users' queries and ratings derived from an LLM battle platform (CArena), open-ended questions with single and multiple-turn dialogues (OPEN), and closed-ended questions with the same stems as open-ended single-turn ones (CLOSE). Our study shows that accuracy on closed-ended questions is insufficient to reflect human preferences achieved on open-ended ones. At the same time, they can complement each other to predict actual user preferences. We also demonstrate that GPT-4 is a reliable judge to automatically evaluate human preferences on open-ended questions in a Chinese context. Our benchmark will be released at this https URL

 

대형 언어 모델(LLM)은 에 통합될 가능성을 보여주었다 인간의 일상 생활. 따라서 사용자 선호도는 가장 중요한 기준이다 실제 시나리오에서 LLM의 성능을 평가할 수 있습니다. 그러나 기존의 벤치마크는 주로 다중 선택을 사용하여 모델의 정확도를 측정하는 데 초점을 맞추고 있습니다 실제 그들의 능력에 대한 이해를 제한하는 질문들 적용들. 우리는 포괄적인 중국 벤치마크를 제안함으로써 이 공백을 메운다 또 다른 인기 있는 중국 LLM 벤치마크 단서의 이름을 딴 슈퍼클루. 슈퍼CLUE 실제 사용자의 쿼리 및 등급의 세 가지 하위 항목을 포함합니다 LLM 전투 플랫폼(CARENA), 단일 및 개방형 질문 다중 전환 대화(OPEN) 및 동일한 줄기를 가진 폐쇄형 질문 개방형 단일 회전 장치(CLOSE)로 작동합니다. 우리의 연구는 에 대한 정확도를 보여준다 폐쇄적인 질문은 달성된 인간의 선호를 반영하기에 불충분하다 끝이 없는 것. 동시에, 그들은 예측하기 위해 서로를 보완할 수 있다 실제 사용자 환경설정. 우리는 또한 GPT-4가 신뢰할 수 있는 판사라는 것을 증명한다 중국어로 된 개방형 질문에 대한 인간의 선호도를 자동으로 평가한다 맥락. 우리의 벤치마크는 이 https URL에서 공개될 것이다 

 

 

ARC-NLP at PAN 2023: Transition-Focused Natural Language Inference for Writing Style Detection

 

The task of multi-author writing style detection aims at finding any positions of writing style change in a given text document. We formulate the task as a natural language inference problem where two consecutive paragraphs are paired. Our approach focuses on transitions between paragraphs while truncating input tokens for the task. As backbone models, we employ different Transformer-based encoders with warmup phase during training. We submit the model version that outperforms baselines and other proposed model versions in our experiments. For the easy and medium setups, we submit transition-focused natural language inference based on DeBERTa with warmup training, and the same model without transition for the hard setup.

 

다중 저자 쓰기 스타일 탐지 작업은 다음을 찾는 것을 목표로 한다 지정된 텍스트 문서에서 쓰기 유형의 위치가 변경됩니다. 우리는 공식화한다 두 개의 연속 단락이 있는 자연어 추론 문제로서의 작업 짝을 이루었습니다. 우리의 접근 방식은 단락 간의 전환에 초점을 맞추고 있다 작업에 대한 입력 토큰을 잘라냅니다. 백본 모델로서, 우리는 다른 것을 사용한다 교육 중 워밍업 단계가 있는 변압기 기반 인코더. 우리는 다음을 제출한다 기준선 및 기타 제안된 모델 버전을 능가하는 모델 버전 우리의 실험. 쉽고 중간 크기의 설정을 위해 전환 중심으로 제출합니다 준비운동 훈련으로 DeBERTa를 기반으로 한 자연어 추론, 그리고 같은 것 하드 설정을 위한 전환이 없는 모델. 

 

 

A Geometric Notion of Causal Probing

 

Large language models rely on real-valued representations of text to make their predictions. These representations contain information learned from the data that the model has trained on, including knowledge of linguistic properties and forms of demographic bias, e.g., based on gender. A growing body of work has considered information about concepts such as these using orthogonal projections onto subspaces of the representation space. We contribute to this body of work by proposing a formal definition of intrinsic information in a subspace of a language model's representation space. We propose a counterfactual approach that avoids the failure mode of spurious correlations (Kumar et al., 2022) by treating components in the subspace and its orthogonal complement independently. We show that our counterfactual notion of information in a subspace is optimizing by an causal concept subspace. Furthermore, this intervention allows us to attempt concept controlled generation by manipulating the value of the conceptual component of a representation. Empirically, we find that R-LACE (Ravfogel et al., 2022) returns a one-dimensional subspace containing roughly half of total concept information under our framework. Our causal controlled intervention shows that, for at least one model, the subspace returned by R-LACE can be used to manipulate the concept value of the generated word with precision.

 

대규모 언어 모델은 텍스트의 실제 가치 표현에 의존합니다 그들의 예언. 이러한 표현에는 다음에서 배운 정보가 포함되어 있습니다 언어학적 지식을 포함하여 모델이 훈련한 데이터 성별에 따른 인구통계학적 편향의 속성과 형태. 성장하는 몸 작업은 이것들을 사용하는 것과 같은 개념들에 대한 정보를 고려해왔다 표현 공간의 부분 공간에 대한 직교 투영. 우리가 본질적인 정의를 공식적으로 제안함으로써 이 작업에 기여하다 언어 모델의 표현 공간의 하위 공간에 있는 정보입니다. 우리가 가짜의 실패 모드를 피하는 반사실적 접근법을 제안하다 하위 공간의 구성 요소를 처리하여 상관 관계(Kumar et al., 2022) 및 그것의 직교 보체는 독립적이다. 우리는 우리의 반사실적 개념을 보여준다 부분공간에서 정보의 최적화는 인과적 개념 부분공간에 의해 최적화된다. 또한, 이 개입은 우리가 개념 통제를 시도할 수 있게 한다 a의 개념적 구성 요소의 값을 조작하여 생성 대표성. 경험적으로, 우리는 R-LACE(Ravfogel et al., 2022)를 발견한다 전체 개념의 약 절반을 포함하는 1차원 부분 공간을 반환합니다 우리의 틀 아래에 있는 정보. 우리의 인과관계 통제된 개입은, 적어도 하나의 모델에 대해, R-LACE에 의해 반환되는 부분 공간은 다음과 같이 사용될 수 있다 생성된 단어의 개념 값을 정확하게 조작한다.