[2022-11-13] 오늘의 자연어처리

An Inclusive Notion of Text

 

Natural language processing researchers develop models of grammar, meaning and human communication based on written text. Due to task and data differences, what is considered text can vary substantially across studies. A conceptual framework for systematically capturing these differences is lacking. We argue that clarity on the notion of text is crucial for reproducible and generalizable NLP. Towards that goal, we propose common terminology to discuss the production and transformation of textual data, and introduce a two-tier taxonomy of linguistic and non-linguistic elements that are available in textual sources and can be used in NLP modeling. We apply this taxonomy to survey existing work that extends the notion of text beyond the conservative language-centered view. We outline key desiderata and challenges of the emerging inclusive approach to text in NLP, and suggest systematic community-level reporting as a crucial next step to consolidate the discussion.

 

자연어 처리 연구원들은 의미인 문법 모델을 개발한다. 그리고 쓰여진 텍스트에 기반한 인간의 의사소통. 작업 및 데이터로 인해 차이점, 텍스트로 간주되는 것은 연구에 따라 상당히 다를 수 있습니다. a 이러한 차이를 체계적으로 포착하기 위한 개념적 프레임워크가 부족하다. 우리는 텍스트의 개념에 대한 명확성이 재현 가능하고 일반화된 NLP 그 목표를 향해, 우리는 논의할 공통 용어를 제안한다. 텍스트 데이터의 생성 및 변환, 그리고 2계층 도입 언어적 요소와 비언어적 요소의 분류학. 텍스트 소스이며 NLP 모델링에 사용할 수 있습니다. 우리는 이 분류법을 다음과 같이 적용한다. 텍스트의 개념을 보수주의 이상으로 확장한 기존 작업을 조사하다. 언어 중심적 견해 주요 요구 사항 및 당면 과제를 개략적으로 설명합니다. NLP의 텍스트에 대한 새로운 포괄적인 접근 방식, 그리고 체계적인 제안 토론을 통합하기 위한 중요한 다음 단계로서 커뮤니티 차원의 보고. 

 

 

Understanding Text Classification Data and Models Using Aggregated Input Salience

 

Realizing when a model is right for a wrong reason is not trivial and requires a significant effort by model developers. In some cases, an input salience method, which highlights the most important parts of the input, may reveal problematic reasoning. But scrutinizing highlights over many data instances is tedious and often infeasible. Furthermore, analyzing examples in isolation does not reveal general patterns in the data or in the model's this http URL this paper we aim to address these issues and go from understanding single examples to understanding entire datasets and models. The methodology we propose is based on aggregated salience maps. Using this methodology we address multiple distinct but common model developer needs by showing how problematic data and model behavior can be identified -- a necessary first step for improving the model.

 

모델이 잘못된 이유로 옳을 때 깨닫는 것은 사소하지 않고 모델 개발자의 상당한 노력이 필요합니다. 어떤 경우에는, 입력 입력의 가장 중요한 부분을 강조하는 salience 방법은 다음과 같다. 문제의 추리를 밝히다 하지만 많은 데이터에 대한 강조점을 면밀히 조사하는 것은 예시는 지루하고 종종 실현 불가능한 경우가 있습니다. 또한, 예제를 분석합니다. 분리는 데이터 또는 모델의 일반적인 패턴을 나타내지 않습니다. 이 http URL 이 논문은 이러한 문제를 해결하고 이해에서 출발하는 것을 목표로 한다. 전체 데이터 세트 및 모델을 이해하기 위한 단일 예제를 제공합니다. 그 방법론이다. 프로포즈는 집계된 돌출 맵을 기반으로 합니다. 이 방법론을 사용하여 해결한다. 얼마나 문제가 있는지 보여줌으로써 여러 구별되지만 공통적인 모델 개발자가 필요로 하는 것 데이터와 모델 행동을 확인할 수 있습니다. 필요한 첫 단계입니다. 모델 개선 

 

 

ADEPT: A DEbiasing PrompT Framework

 

Several works have proven that finetuning is an applicable approach for debiasing contextualized word embeddings. Similarly, discrete prompts with semantic meanings have shown to be effective in debiasing tasks. With unfixed mathematical representation at the token level, continuous prompts usually surpass discrete ones at providing a pre-trained language model (PLM) with additional task-specific information. Despite this, relatively few efforts have been made to debias PLMs by prompt tuning with continuous prompts compared to its discrete counterpart. Furthermore, for most debiasing methods that alter a PLM's original parameters, a major problem is the need to not only decrease the bias in the PLM but also to ensure that the PLM does not lose its representation ability. Finetuning methods typically have a hard time maintaining this balance, as they tend to violently remove meanings of attribute words. In this paper, we propose ADEPT, a method to debias PLMs using prompt tuning while maintaining the delicate balance between removing biases and ensuring representation ability. To achieve this, we propose a new training criterion inspired by manifold learning and equip it with an explicit debiasing term to optimize prompt tuning. In addition, we conduct several experiments with regard to the reliability, quality, and quantity of a previously proposed attribute training corpus in order to obtain a clearer prototype of a certain attribute, which indicates the attribute's position and relative distances to other words on the manifold. We evaluate ADEPT on several widely acknowledged debiasing benchmarks and downstream tasks, and find that it achieves competitive results while maintaining (and in some cases even improving) the PLM's representation ability. We further visualize words' correlation before and after debiasing a PLM, and give some possible explanations for the visible effects.

 

여러 연구에서 미세 조정이 적용 가능한 접근 방식임을 입증했다. 상황별 단어 임베딩의 편향을 감소시킵니다. 마찬가지로, 개별 프롬프트는 의미론적 의미는 작업을 편향시키는 데 효과적인 것으로 나타났다. 고정되지 않음 토큰 레벨에서의 수학적 표현, 보통 연속적인 프롬프트 사전 훈련된 언어 모델(PLM)을 제공하는 데 있어 별개의 것을 능가한다. 추가 작업별 정보를 참조하십시오. 그럼에도 불구하고, 상대적으로 적은 노력이 있었다. PLMs에 대한 지속적인 프롬프트와 비교하여 즉각적인 튜닝을 통해 PLMs를 편향시킨다. 별개의 대응물 또한, a를 변경하는 대부분의 편향된 방법의 경우 PLM의 원래 매개 변수, 주요 문제는 감소의 필요성입니다. PLM의 편향뿐만 아니라 PLM이 그것을 잃지 않도록 하기 위해서도. 표현력 미세 조정 방법은 일반적으로 어려움을 겪습니다. 그들이 격렬하게 의미를 제거하는 경향이 있기 때문에 이 균형을 유지한다. 말을 귀속시키다 본 논문에서는 다음을 사용하여 PLM을 편향시키는 방법인 ADPECT를 제안한다. 편향 제거 사이의 미묘한 균형을 유지하면서 신속한 조정 그리고 표현 능력을 보장한다. 이를 위해 새로운 교육을 제안합니다. 다양한 학습에서 영감을 받아 명시적인 편향성을 갖춘 기준 빠른 조정을 최적화하기 위한 용어입니다. 게다가, 우리는 몇 가지 실험을 한다. 이전에 제안된 것의 신뢰성, 품질 및 양에 관하여. 특정한 것의 더 명확한 원형을 얻기 위해 훈련 말뭉치를 귀속시키다. attribute, 속성의 위치와 상대 거리를 나타냅니다. 다양체에 관한 다른 단어들 우리는 널리 알려진 몇 가지에 대해 ADPECT를 평가한다. 벤치마크 및 다운스트림 작업의 편향을 줄이고, 그것이 달성하는지 확인합니다. 경쟁적 결과를 유지하면서(그리고 경우에 따라서는 개선하기도 함 PLM의 표현력. 우리는 단어들의 상관관계를 먼저 시각화한다. 그리고 PLM을 편향시킨 후, 눈에 보이는 것에 대해 가능한 설명을 한다. 영향들.