[2023-05-13] 오늘의 자연어처리

Not All Languages Are Created Equal in LLMs: Improving Multilingual Capability by Cross-Lingual-Thought Prompting

 

Large language models (LLMs) demonstrate impressive multilingual capability, but their performance varies substantially across different languages. In this work, we introduce a simple yet effective method, called cross-lingual-thought prompting (XLT), to systematically improve the multilingual capability of LLMs. Specifically, XLT is a generic template prompt that stimulates cross-lingual and logical reasoning skills to enhance task performance across languages. We conduct comprehensive evaluations on 7 typical benchmarks related to reasoning, understanding, and generation tasks, covering both high-resource and low-resource languages. Experimental results show that XLT not only remarkably enhances the performance of various multilingual tasks but also significantly reduces the gap between the average performance and the best performance of each task in different languages. Notably, XLT brings over 10 points of average improvement in arithmetic reasoning and open-domain question-answering tasks.

 

대형 언어 모델(LLM)은 인상적인 다국어 능력을 보여준다, 그러나 그들의 성능은 언어마다 상당히 다르다. 이 점에서. 일, 우리는 교차 언어 사상이라고 불리는 간단하지만 효과적인 방법을 소개한다 프롬프트(XLT)를 표시하여 LLM의 다국어 기능을 체계적으로 향상시킵니다. 특히 XLT는 다국어를 자극하는 일반적인 템플릿 프롬프트입니다 논리적 추론 기술을 사용하여 여러 언어에 걸쳐 작업 성능을 향상시킬 수 있습니다. 우리가 추론과 관련된 7가지 전형적인 벤치마크에 대한 포괄적인 평가를 수행한다, 높은 리소스와 높은 리소스를 모두 다루는 이해 및 생성 작업 저자원 언어. 실험 결과는 XLT가 현저할 뿐만 아니라 다양한 다국어 태스크의 성능을 향상시킬 뿐만 아니라 평균 성능과 최고 성능 간의 차이를 줄입니다 각 작업을 다른 언어로 수행. 특히, XLT는 평균 10점 이상을 가져옵니다 산술 추론 및 개방형 도메인 문제 해결 작업의 개선. 

 

 

Towards a Computational Analysis of Suspense: Detecting Dangerous Situations

 

Suspense is an important tool in storytelling to keep readers engaged and wanting to read more. However, it has so far not been studied extensively in Computational Literary Studies. In this paper, we focus on one of the elements authors can use to build up suspense: dangerous situations. We introduce a corpus of texts annotated with dangerous situations, distinguishing between 7 types of danger. Additionally, we annotate parts of the text that describe fear experienced by a character, regardless of the actual presence of danger. We present experiments towards the automatic detection of these situations, finding that unsupervised baseline methods can provide valuable signals for the detection, but more complex methods are necessary for further analysis. Not unexpectedly, the description of danger and fear often relies heavily on the context, both local (e.g., situations where danger is only mentioned, but not actually present) and global (e.g., "storm" being used in a literal sense in an adventure novel, but metaphorically in a romance novel).

 

서스펜스는 독자들을 계속 참여시키기 위해 스토리텔링에 중요한 도구이다 책을 더 읽고 싶어요. 그러나, 그것은 지금까지 광범위하게 연구되지 않았다 컴퓨터 문학 연구. 이 논문에서, 우리는 하나의 요소에 초점을 맞춘다 작가들은 긴장감을 조성하는데 사용할 수 있다: 위험한 상황. 소개합니다 7개의 위험한 상황을 구분하는 주석이 달린 텍스트 말뭉치 위험의 종류. 추가적으로, 우리는 두려움을 설명하는 텍스트의 부분에 주석을 달았다 실제 위험의 존재와 상관없이 캐릭터가 경험하는 것입니다. 우리가 이러한 상황의 자동 감지를 위한 실험을 제시한다, 감독되지 않은 기준 방법이 가치 있는 신호를 제공할 수 있다는 것을 발견했다 탐지, 그러나 추가 분석을 위해서는 더 복잡한 방법이 필요하다. 것은 아니다. 예상치 못하게, 위험과 공포의 묘사는 종종 크게 의존한다 상황, 둘 다 로컬(예: 위험이 언급될 뿐이지 언급되지 않는 상황) 실제로 존재함) 및 글로벌(예: "폭풍"은 문자 그대로의 의미로 사용됩니다 모험 소설이지만, 로맨스 소설에서는 은유적이다.). 

 

 

IUST_NLP at SemEval-2023 Task 10: Explainable Detecting Sexism with Transformers and Task-adaptive Pretraining

 

This paper describes our system on SemEval-2023 Task 10: Explainable Detection of Online Sexism (EDOS). This work aims to design an automatic system for detecting and classifying sexist content in online spaces. We propose a set of transformer-based pre-trained models with task-adaptive pretraining and ensemble learning. The main contributions of our system include analyzing the performance of different transformer-based pre-trained models and combining these models, as well as providing an efficient method using large amounts of unlabeled data for model adaptive pretraining. We have also explored several other strategies. On the test dataset, our system achieves F1-scores of 83%, 64%, and 47% on subtasks A, B, and C, respectively.

 

이 논문은 SemEval-2023 과제 10: 설명 가능한 우리의 시스템을 설명한다 온라인 성차별(EDOS)의 발견. 이 작업은 자동 시스템을 설계하는 것을 목표로 한다 온라인 공간에서 성차별적인 내용을 탐지하고 분류하기 위해. 우리는 세트를 제안한다 변압기 기반의 사전 훈련된 모델과 과제 해결을 위한 사전 훈련 및 앙상블 학습. 우리 시스템의 주요 기여는 분석을 포함한다 다양한 변압기 기반의 사전 훈련된 모델의 성능 및 이 모델들, 그리고 많은 양을 사용하는 효율적인 방법을 제공할 뿐만 아니라 모델 적응형 사전 교육을 위한 레이블이 지정되지 않은 데이터. 우리는 또한 몇 가지를 탐구했다 다른 전략들. 테스트 데이터 세트에서 우리 시스템은 83%의 F1 점수를 달성한다, 하위 작업 A, B, C에서 각각 64%, 47%.