[2022-11-23] 오늘의 자연어처리

Re-contextualizing Fairness in NLP: The Case of India

 

Recent research has revealed undesirable biases in NLP data and models. However, these efforts focus on social disparities in West, and are not directly portable to other geo-cultural contexts. In this paper, we focus on NLP fair-ness in the context of India. We start with a brief account of the prominent axes of social disparities in India. We build resources for fairness evaluation in the Indian context and use them to demonstrate prediction biases along some of the axes. We then delve deeper into social stereotypes for Region andReligion, demonstrating its prevalence in corpora and models. Finally, we outline a holistic research agenda to re-contextualize NLP fairness research for the Indian context, ac-counting for Indian societal context, bridging technological gaps in NLP capabilities and re-sources, and adapting to Indian cultural values. While we focus on India, this framework can be generalized to other geo-cultural contexts.

 

최근의 연구는 NLP 데이터와 모델에서 바람직하지 않은 편향을 드러냈다. 그러나 이러한 노력은 서구의 사회적 격차에 초점을 맞추고 있으며, 그렇지 않다. 다른 지정 문화적 맥락으로 바로 이동할 수 있습니다. 이 논문에서, 우리는 다음에 초점을 맞춥니다. 인도의 맥락에서 NLP 공정성. 우리는 그에 대한 간단한 설명으로 시작한다. 인도의 사회적 격차의 두드러진 축 우리는 공정성을 위해 자원을 구축한다. 인도의 맥락에서 평가하고 예측 편향을 입증하기 위해 그것들을 사용한다. 몇 개의 축을 따라. 그런 다음 우리는 지역에 대한 사회적 고정관념을 더 깊이 파고든다. 그리고 종교, 말뭉치와 모델에서 널리 퍼져 있음을 보여준다. 드디어 저희가 NLP 공정성 연구를 다시 맥락화하기 위한 전체론적 연구 의제를 개략적으로 설명한다. 인도의 맥락, 인도의 사회적 맥락에 대한 회계, 브리징 NLP 역량 및 자원의 기술 격차, 인도 적응 문화적 가치 우리가 인도에 초점을 맞추는 동안, 이 프레임워크는 다음과 같이 일반화될 수 있다. 다른 지정 문화적 맥락. 

 

 

Deep Learning on a Healthy Data Diet: Finding Important Examples for Fairness

 

Data-driven predictive solutions predominant in commercial applications tend to suffer from biases and stereotypes, which raises equity concerns. Prediction models may discover, use, or amplify spurious correlations based on gender or other protected personal characteristics, thus discriminating against marginalized groups. Mitigating gender bias has become an important research focus in natural language processing (NLP) and is an area where annotated corpora are available. Data augmentation reduces gender bias by adding counterfactual examples to the training dataset. In this work, we show that some of the examples in the augmented dataset can be not important or even harmful for fairness. We hence propose a general method for pruning both the factual and counterfactual examples to maximize the model's fairness as measured by the demographic parity, equality of opportunity, and equality of odds. The fairness achieved by our method surpasses that of data augmentation on three text classification datasets, using no more than half of the examples in the augmented dataset. Our experiments are conducted using models of varying sizes and pre-training settings.

 

상용 애플리케이션에서 주로 사용되는 데이터 기반 예측 솔루션의 경향 편견과 고정관념으로 고통받는 것은 형평성 문제를 제기한다. 예측 모델은 성별에 기초하여 가짜 상관관계를 발견, 사용 또는 증폭할 수 있다. 다른 보호된 개인적 특성, 따라서 차별. 소외된 집단 성별 편견을 완화하는 것은 중요한 연구가 되었다. 자연어 처리(NLP)에 초점을 맞추고 주석이 달린 영역이다. 말뭉치를 사용할 수 있습니다. 데이터 증가는 추가함으로써 성별 편견을 줄입니다. 교육 데이터 세트에 대한 반사실적인 예. 이 작업에서, 우리는 다음을 보여준다. 증강 데이터 세트의 예 중 일부는 중요하지 않을 수도 있고 심지어 중요하지 않을 수도 있다. 공정성에 해로운 따라서 우리는 두 가지 모두를 가지치기하는 일반적인 방법을 제안한다. 모델의 공정성을 극대화하기 위한 사실 및 반사실적 사례 인구통계학적 동등성, 기회의 평등, 그리고 의 평등에 의해 측정된다. 확률. 우리의 방법에 의해 달성된 공정성은 데이터 증가의 공정성을 능가한다. 세 개의 텍스트 분류 데이터 세트에서 예제의 절반 이하를 사용하여 확장된 데이터 세트에서. 우리의 실험은 다양한 모델을 사용하여 수행된다. 크기 및 사전 교육 설정. 

 

 

Enhancing Crisis-Related Tweet Classification with Entity-Masked Language Modeling and Multi-Task Learning

 

Social media has become an important information source for crisis management and provides quick access to ongoing developments and critical information. However, classification models suffer from event-related biases and highly imbalanced label distributions which still poses a challenging task. To address these challenges, we propose a combination of entity-masked language modeling and hierarchical multi-label classification as a multi-task learning problem. We evaluate our method on tweets from the TREC-IS dataset and show an absolute performance gain w.r.t. F1-score of up to 10% for actionable information types. Moreover, we found that entity-masking reduces the effect of overfitting to in-domain events and enables improvements in cross-event generalization.

 

소셜 미디어는 위기 관리를 위한 중요한 정보원이 되었습니다. 또한 지속적인 개발 및 중요 정보에 신속하게 액세스할 수 있습니다. 그러나 분류 모델은 이벤트 관련 편향으로 어려움을 겪고 있으며 매우 높다. 여전히 어려운 과제를 제기하는 불균형 레이블 분포. 주소 지정 이러한 과제, 우리는 엔티티-프로그래밍 언어 모델링의 조합을 제안한다. 그리고 다중 작업 학습 문제로서 계층적 다중 레이블 분류. 우리는 TREC-IS 데이터 세트의 트윗에 대한 우리의 방법을 평가하고 절대적인 것을 보여준다. 실행 가능한 정보 유형에 대해 최대 10%의 성능 향상 F1 점수. 게다가, 우리는 엔티티 마스킹이 과적합의 효과를 감소시킨다는 것을 발견했다. 도메인 내 이벤트 및 교차 이벤트 일반화의 개선을 지원합니다.