[2023-09-18] 오늘의 자연어처리

The Dynamical Principles of Storytelling

 

When considering the opening part of 1800 short stories, we find that the first dozen paragraphs of the average narrative follow an action principle as defined in arXiv:2309.06600. When the order of the paragraphs is shuffled, the average no longer exhibits this property. The findings show that there is a preferential direction we take in semantic space when starting a story, possibly related to a common Western storytelling tradition as implied by Aristotle in Poetics.

 

1800개의 단편 소설의 첫 부분을 고려할 때, 우리는 다음을 발견한다 평균적인 서술의 첫번째 12개의 단락들은 다음과 같은 행동 원칙을 따른다 arXiv:2309.06600에 정의됩니다. 단락들의 순서가 섞이면 average는 더 이상 이 속성을 보여주지 않습니다. 조사 결과에 따르면, 이 병원에 이야기를 시작할 때 의미 공간에서 우리가 취하는 우선적인 방향, 아마도 에 의해 암시된 서양의 흔한 이야기 전통과 관련이 있을 것이다 아리스토텔레스의 시학. 

 

 

CATfOOD: Counterfactual Augmented Training for Improving Out-of-Domain Performance and Calibration

 

In recent years, large language models (LLMs) have shown remarkable capabilities at scale, particularly at generating text conditioned on a prompt. In our work, we investigate the use of LLMs to augment training data of small language models~(SLMs) with automatically generated counterfactual~(CF) instances -- i.e. minimally altered inputs -- in order to improve out-of-domain~(OOD) performance of SLMs in the extractive question answering~(QA) setup. We show that, across various LLM generators, such data augmentation consistently enhances OOD performance and improves model calibration for both confidence-based and rationale-augmented calibrator models. Furthermore, these performance improvements correlate with higher diversity of CF instances in terms of their surface form and semantic content. Finally, we show that CF augmented models which are easier to calibrate also exhibit much lower entropy when assigning importance, indicating that rationale-augmented calibrators prefer concise explanations.

 

최근 몇 년간 대형 언어 모델(LLM)은 놀라운 성과를 보이고 있다 규모, 특히 프롬프트에 따라 조건부 텍스트를 생성할 때의 능력. 우리의 연구에서, 우리는 LLM을 사용하여 소규모 훈련 데이터를 증가시키는 것을 조사한다 언어 모델 ~(SLMs) 자동으로 생성된 반사실적~(CF) 인스턴스(instance), 즉 최소한의 변경된 입력을 개선하기 위해 추출 질문에서 SLM의 영역 밖~(OOD) 성능 응답~(QA) 설정. 우리는 다양한 LLM 생성기에 걸쳐 이러한 데이터가 증강은 OOD 성능을 지속적으로 향상시키고 모델을 개선합니다 신뢰 기반 및 이론적 근거 기반 교정기 모두에 대한 교정 모형을 만들다. 또한 이러한 성능 향상은 더 높은 성능과 상관관계가 있습니다 CF 인스턴스의 표면 형태와 의미적 내용의 다양성. 마지막으로 보정이 더 쉬운 CF 증강 모델도 보여준다 중요성을 부여할 때 훨씬 더 낮은 엔트로피를 나타내는데, 이는 다음을 나타낸다 이론적 근거가 없는 교정자는 간결한 설명을 선호한다. 

 

 

C-Pack: Packaged Resources To Advance General Chinese Embedding

 

We introduce C-Pack, a package of resources that significantly advance the field of general Chinese embeddings. C-Pack includes three critical resources. 1) C-MTEB is a comprehensive benchmark for Chinese text embeddings covering 6 tasks and 35 datasets. 2) C-MTP is a massive text embedding dataset curated from labeled and unlabeled Chinese corpora for training embedding models. 3) C-TEM is a family of embedding models covering multiple sizes. Our models outperform all prior Chinese text embeddings on C-MTEB by up to +10% upon the time of the release. We also integrate and optimize the entire suite of training methods for C-TEM. Along with our resources on general Chinese embedding, we release our data and models for English text embeddings. The English models achieve state-of-the-art performance on MTEB benchmark; meanwhile, our released English data is 2 times larger than the Chinese data. All these resources are made publicly available at this https URL.

 

우리는 C-Pack을 소개하는데, C-Pack이란 자원의 패키지는 다음과 같다 일반적인 중국인 내장 분야. C-Pack은 세 가지 중요한 자원을 포함한다. 1) C-MTEB는 6가지를 포함하는 중국어 텍스트 임베딩을 위한 포괄적인 벤치마크이다 작업과 35개의 데이터셋이 있습니다. 2) C-MTP는 방대한 텍스트 임베딩 데이터 세트로 큐레이션되었다 내장 모델을 훈련하기 위해 라벨이 부착된 중국 말뭉치와 라벨이 부착되지 않은 중국 말뭉치로부터. 3) C-TEM은 여러 크기를 포함하는 임베딩 모델 계열이다. 저희 모델들이 C-MTEB에서 이전의 모든 중국어 텍스트 임베딩을 최대 +10% 능가한다 발매 시각. 또한 전체 제품군을 통합하고 최적화합니다 C-TEM을 위한 교육 방법. 일반 중국어에 관한 우리의 자료와 함께 임베딩, 우리는 영문 텍스트 임베딩을 위한 데이터와 모델을 공개한다. 그 영어 모델은 MTEB 벤치마크에서 최첨단 성능을 달성합니다; 한편, 우리가 발표한 영어 데이터는 중국 데이터보다 2배나 큽니다. 이러한 모든 리소스는 다음 사이트에서 공개적으로 이용할 수 있습니다 이 https URL.