[2023-05-10] 오늘의 자연어처리

XAI in Computational Linguistics: Understanding Political Leanings in the Slovenian Parliament

 

The work covers the development and explainability of machine learning models for predicting political leanings through parliamentary transcriptions. We concentrate on the Slovenian parliament and the heated debate on the European migrant crisis, with transcriptions from 2014 to 2020. We develop both classical machine learning and transformer language models to predict the left- or right-leaning of parliamentarians based on their given speeches on the topic of migrants. With both types of models showing great predictive success, we continue with explaining their decisions. Using explainability techniques, we identify keywords and phrases that have the strongest influence in predicting political leanings on the topic, with left-leaning parliamentarians using concepts such as people and unity and speak about refugees, and right-leaning parliamentarians using concepts such as nationality and focus more on illegal migrants. This research is an example that understanding the reasoning behind predictions can not just be beneficial for AI engineers to improve their models, but it can also be helpful as a tool in the qualitative analysis steps in interdisciplinary research.

 

이 작업은 기계 학습 모델의 개발과 설명 가능성을 다룬다 의회 기록을 통해 정치적 성향을 예측하기 위해. 우리가 슬로베니아 의회와 유럽에 대한 열띤 토론에 집중하다 2014년부터 2020년까지 기록된 이주자 위기. 우리는 둘 다 개발한다 고전적인 기계 학습과 왼쪽-을 예측하는 변압기 언어 모델 또는 그 주제에 대한 주어진 연설에 기초한 국회의원의 우경화 이주자의. 두 가지 유형의 모델이 모두 예측 성공을 거두면서, 우리는 그들의 결정을 계속 설명하다. 설명 가능성 기술을 사용하여, 우리는 예측에 가장 큰 영향을 미치는 키워드와 구문을 식별합니다 좌파 성향의 국회의원들이 사용하는 그 주제에 대한 정치적 성향 사람들과 단결과 난민에 대해 말하고, 우경화와 같은 개념들 국적과 같은 개념을 사용하고 불법에 더 집중하는 국회의원들 이주자들. 이 연구는 뒤에 있는 추론을 이해하는 예이다 예측은 인공지능 엔지니어들이 그들의 능력을 향상시키는 데 도움이 될 수 없다 모델, 그러나 질적 분석 단계에서 도구로서도 도움이 될 수 있다 학제간 연구에 있어서. 

 

 

Reinforcement Learning for Topic Models

 

We apply reinforcement learning techniques to topic modeling by replacing the variational autoencoder in ProdLDA with a continuous action space reinforcement learning policy. We train the system with a policy gradient algorithm REINFORCE. Additionally, we introduced several modifications: modernize the neural network architecture, weight the ELBO loss, use contextual embeddings, and monitor the learning process via computing topic diversity and coherence for each training step. Experiments are performed on 11 data sets. Our unsupervised model outperforms all other unsupervised models and performs on par with or better than most models using supervised labeling. Our model is outperformed on certain data sets by a model using supervised labeling and contrastive learning. We have also conducted an ablation study to provide empirical evidence of performance improvements from changes we made to ProdLDA and found that the reinforcement learning formulation boosts performance.

 

우리는 강화 학습 기술을 주제 모델링에 적용한다 Prod의 변형 자동 인코더연속 작용 공간 보강이 가능한 LDA 학습 방침. 우리는 정책 그레이디언트 알고리듬으로 시스템을 훈련한다 보강하다. 추가적으로, 우리는 몇 가지 수정 사항을 도입했다: 현대화 신경망 아키텍처, ELBO 손실 가중치, 상황별 임베딩 사용, 그리고 주제의 다양성과 일관성을 계산하여 학습 과정을 모니터한다 각 교육 단계별로. 실험은 11개의 데이터 세트에 대해 수행됩니다. 우리들의 비지도 모델은 다른 모든 비지도 모델을 능가하고 수행한다 감독 라벨링을 사용하는 대부분의 모델과 동등하거나 더 나은 모델입니다. 저희 모델은 모델이 감독 라벨링을 사용하여 특정 데이터 세트에서 수행한 것보다 성능이 우수합니다 대조 학습. 우리는 또한 제공하기 위해 절제 연구를 수행했다 Prod에 대한 변경 사항으로 인한 성능 개선에 대한 경험적 증거LDA 그리고 강화 학습 공식이 성능을 향상시킨다는 것을 발견했다. 

 

 

A Frustratingly Easy Improvement for Position Embeddings via Random Padding

 

Position embeddings, encoding the positional relationships among tokens in text sequences, make great contributions to modeling local context features in Transformer-based pre-trained language models. However, in Extractive Question Answering, position embeddings trained with instances of varied context lengths may not perform well as we expect. Since the embeddings of rear positions are updated fewer times than the front position embeddings, the rear ones may not be properly trained. In this paper, we propose a simple but effective strategy, Random Padding, without any modifications to architectures of existing pre-trained language models. We adjust the token order of input sequences when fine-tuning, to balance the number of updating times of every position embedding. Experiments show that Random Padding can significantly improve model performance on the instances whose answers are located at rear positions, especially when models are trained on short contexts but evaluated on long contexts. Our code and data will be released for future research.

 

위치 임베딩, 토큰 간의 위치 관계 인코딩 텍스트 시퀀스, 로컬 컨텍스트 기능 모델링에 큰 기여 변압기 기반의 사전 훈련된 언어 모델. 그러나 추출 질문에서는 다양한 컨텍스트 길이의 인스턴스로 훈련된 답변, 위치 임베딩 기대했던 것처럼 잘 안 될 수도 있어요. 후방 위치의 임베딩은 다음과 같기 때문이다 전방 위치 임베딩보다 업데이트 횟수가 적지만 후방 위치 임베딩은 그렇지 않을 수 있습니다 제대로 훈련되어 있다. 이 논문에서, 우리는 간단하지만 효과적인 전략을 제안한다, 랜덤 패딩(기존 아키텍처 수정 없음) 사전 훈련된 언어 모델. 다음과 같은 경우 입력 시퀀스의 토큰 순서를 조정합니다 모든 위치의 업데이트 횟수를 균형 있게 조정하는 미세 조정 매립의. 실험에 따르면 랜덤 패딩은 모델을 크게 개선할 수 있다 답변이 후방 위치에 있는 인스턴스에 대한 성능, 특히 모델이 짧은 맥락에서 훈련되지만 긴 시간 동안 평가될 때 문맥. 우리의 코드와 데이터는 향후 연구를 위해 공개될 것이다.