[2023-06-08] 오늘의 자연어처리

CUE: An Uncertainty Interpretation Framework for Text Classifiers Built on Pre-Trained Language Models

 

Text classifiers built on Pre-trained Language Models (PLMs) have achieved remarkable progress in various tasks including sentiment analysis, natural language inference, and question-answering. However, the occurrence of uncertain predictions by these classifiers poses a challenge to their reliability when deployed in practical applications. Much effort has been devoted to designing various probes in order to understand what PLMs capture. But few studies have delved into factors influencing PLM-based classifiers' predictive uncertainty. In this paper, we propose a novel framework, called CUE, which aims to interpret uncertainties inherent in the predictions of PLM-based models. In particular, we first map PLM-encoded representations to a latent space via a variational auto-encoder. We then generate text representations by perturbing the latent space which causes fluctuation in predictive uncertainty. By comparing the difference in predictive uncertainty between the perturbed and the original text representations, we are able to identify the latent dimensions responsible for uncertainty and subsequently trace back to the input features that contribute to such uncertainty. Our extensive experiments on four benchmark datasets encompassing linguistic acceptability classification, emotion classification, and natural language inference show the feasibility of our proposed framework. Our source code is available at: this https URL.

 

사전 훈련된 언어 모델(PLM)을 기반으로 구축된 텍스트 분류기가 달성했다 감정 분석을 포함한 다양한 작업에서 괄목할 만한 진전, 자연스러운 언어 추론, 그리고 질문-응답. 그러나, 의 발생 이러한 분류자에 의한 불확실한 예측은 그들에게 도전을 제기한다 신뢰성은 실용적인 응용 분야에 배치될 때 사용됩니다. 많은 노력이 있었다 PLM이 캡처하는 내용을 이해하기 위해 다양한 프로브를 설계하는 데 전념합니다. 그러나 PLM 기반 분류기에 영향을 미치는 요인을 조사한 연구는 거의 없다 예측의 불확실성. 이 논문에서, 우리는 다음과 같은 새로운 프레임워크를 제안한다 CUE는 예측에 내재된 불확실성을 해석하는 것을 목표로 한다 PLM 기반 모델. 특히, 우리는 먼저 PLM 인코딩 표현을 다음과 같이 매핑한다 가변적인 자동 감지를 통한 잠재 공간. 그런 다음 텍스트를 생성합니다 에서 변동을 일으키는 잠재 공간을 교란함으로써 표현 예측의 불확실성. 예측 불확실성의 차이를 비교함으로써 교란된 텍스트 표현과 원본 텍스트 표현 사이에서, 우리는 할 수 있다 불확실성과 그에 따른 잠재적 차원을 식별한다 그러한 불확실성에 기여하는 입력 특징을 추적한다. 우리들의 언어학을 포함하는 4개의 벤치마크 데이터 세트에 대한 광범위한 실험 수용성 분류, 감정 분류 및 자연어 추론은 우리가 제안한 프레임워크의 실현 가능성을 보여준다. 우리의 소스 코드는 사용 가능한 위치: 이 https URL. 

 

 

CL-UZH at SemEval-2023 Task 10: Sexism Detection through Incremental Fine-Tuning and Multi-Task Learning with Label Descriptions

 

The widespread popularity of social media has led to an increase in hateful, abusive, and sexist language, motivating methods for the automatic detection of such phenomena. The goal of the SemEval shared task \textit{Towards Explainable Detection of Online Sexism} (EDOS 2023) is to detect sexism in English social media posts (subtask A), and to categorize such posts into four coarse-grained sexism categories (subtask B), and eleven fine-grained subcategories (subtask C). In this paper, we present our submitted systems for all three subtasks, based on a multi-task model that has been fine-tuned on a range of related tasks and datasets before being fine-tuned on the specific EDOS subtasks. We implement multi-task learning by formulating each task as binary pairwise text classification, where the dataset and label descriptions are given along with the input text. The results show clear improvements over a fine-tuned DeBERTa-V3 serving as a baseline leading to $F_1$-scores of 85.9\% in subtask A (rank 13/84), 64.8\% in subtask B (rank 19/69), and 44.9\% in subtask C (26/63).

 

소셜 미디어의 광범위한 인기는 증오의 증가로 이어졌다, 학대적이고 성차별적인 언어, 자동 감지를 위한 동기 부여 방법 그러한 현상. SemEval 공유 작업의 목표 \textit{설명 가능한 방향으로} 온라인 성차별의 탐지}(EDOS 2023)는 영어 사회에서 성차별을 탐지하는 것이다 미디어 게시물(하위 작업 A), 그리고 그러한 게시물을 4개의 거친 입자로 분류하는 것 성차별 범주(하위 과제 B) 및 11개 세부 하위 범주(하위 과제) C)이 논문에서는 세 가지 하위 작업 모두에 대해 제출된 시스템을 제시한다, 다양한 관련 작업 범위에서 미세 조정된 다중 작업 모델을 기반으로 합니다 특정 EDOS 하위 작업에 대해 미세 조정되기 전에 작업 및 데이터 세트가 필요로 합니다. 우리가 각 과제를 이진 쌍으로 공식화하여 멀티태스킹 학습을 구현하다 분류(데이터 세트 및 레이블 설명이 함께 제공됨) 입력 텍스트. 결과는 미세 조정된 것에 비해 명백한 개선을 보여줍니다 하위 작업 A에서 $F_1$-점수 85.9\%로 이어지는 기준선 역할을 하는 DeBERTa-V3 (순위 13/84), 하위 작업 B에서 64.8\%(순위 19/69), 하위 작업 C에서 44.9\% (26/63). 

 

 

FinRED: A Dataset for Relation Extraction in Financial Domain

 

Relation extraction models trained on a source domain cannot be applied on a different target domain due to the mismatch between relation sets. In the current literature, there is no extensive open-source relation extraction dataset specific to the finance domain. In this paper, we release FinRED, a relation extraction dataset curated from financial news and earning call transcripts containing relations from the finance domain. FinRED has been created by mapping Wikidata triplets using distance supervision method. We manually annotate the test data to ensure proper evaluation. We also experiment with various state-of-the-art relation extraction models on this dataset to create the benchmark. We see a significant drop in their performance on FinRED compared to the general relation extraction datasets which tells that we need better models for financial relation extraction.

 

소스 도메인에서 훈련된 관계 추출 모델은 다음에 적용될 수 없습니다 관계 집합 간의 불일치로 인해 다른 대상 도메인입니다. 에서 현재 문헌, 광범위한 오픈 소스 관계 추출은 없다 재무 도메인 관련 데이터 집합입니다. 이 논문에서, 우리는 FinRED, 즉 금융 뉴스 및 어닝 콜에서 선별된 관계 추출 데이터 세트 재무 도메인의 관계가 포함된 성적 증명서. FinRED는 지금까지 거리 관리 방법을 사용하여 Wikidata 삼중항을 매핑하여 생성되었습니다. 우리가 적절한 평가를 위해 테스트 데이터에 수동으로 주석을 달아야 합니다. 우리는 또한 실험을 한다 이 데이터 세트에서 다양한 최첨단 관계 추출 모델을 사용하여 벤치마크를 작성합니다. FinRED의 성능이 크게 떨어졌습니다 우리에게 필요하다는 것을 말해주는 일반적인 관계 추출 데이터 세트와 비교하여 재무 관계 추출을 위한 더 나은 모델.