[2022-10-24] 오늘의 자연어처리

Data-Efficient Strategies for Expanding Hate Speech Detection into Under-Resourced Languages

 

Hate speech is a global phenomenon, but most hate speech datasets so far focus on English-language content. This hinders the development of more effective hate speech detection models in hundreds of languages spoken by billions across the world. More data is needed, but annotating hateful content is expensive, time-consuming and potentially harmful to annotators. To mitigate these issues, we explore data-efficient strategies for expanding hate speech detection into under-resourced languages. In a series of experiments with mono- and multilingual models across five non-English languages, we find that 1) a small amount of target-language fine-tuning data is needed to achieve strong performance, 2) the benefits of using more such data decrease exponentially, and 3) initial fine-tuning on readily-available English data can partially substitute target-language data and improve model generalisability. Based on these findings, we formulate actionable recommendations for hate speech detection in low-resource language settings.

 

헤이트 스피치는 세계적인 현상이지만, 지금까지 대부분의 헤이트 스피치 데이터 세트는 헤이트 스피치 영어 내용에 초점을 맞추다 이것은 더 많은 것의 개발을 방해한다. 수백 개의 언어로 된 효과적인 혐오 발언 탐지 모델 전 세계의 수십억 달러 더 많은 데이터가 필요하지만 혐오 콘텐츠에 주석을 달기 비용이 많이 들고 시간이 많이 소요되며 주석자에게 잠재적으로 유해할 수 있습니다. 완화하기 위해 이러한 문제들, 우리는 혐오 표현을 확장하기 위한 데이터 효율적인 전략을 탐구한다. 자원이 부족한 언어로 탐지합니다. 모노를 이용한 일련의 실험에서... 그리고 영어가 아닌 5개 언어에 걸친 다국어 모델, 우리는 1) a. 소량의 목표 언어 미세 조정 데이터가 있어야 강력한 성능을 달성할 수 있다. 성능, 2) 이러한 데이터를 더 많이 사용하는 이점은 기하급수적으로 감소합니다. 그리고 3) 쉽게 이용할 수 있는 영어 데이터에 대한 초기 미세 조정은 부분적으로 가능하다. 대상 언어 데이터를 대체하고 모델 일반성을 개선합니다. 에 기반을 둔 이러한 결과, 우리는 혐오 발언에 대한 실행 가능한 권고안을 공식화한다. 낮은 리소스 언어 설정에서 탐지합니다. 

 

 

How Hate Speech Varies by Target Identity: A Computational Analysis

 

This paper investigates how hate speech varies in systematic ways according to the identities it targets. Across multiple hate speech datasets annotated for targeted identities, we find that classifiers trained on hate speech targeting specific identity groups struggle to generalize to other targeted identities. This provides empirical evidence for differences in hate speech by target identity; we then investigate which patterns structure this variation. We find that the targeted demographic category (e.g. gender/sexuality or race/ethnicity) appears to have a greater effect on the language of hate speech than does the relative social power of the targeted identity group. We also find that words associated with hate speech targeting specific identities often relate to stereotypes, histories of oppression, current social movements, and other social contexts specific to identities. These experiments suggest the importance of considering targeted identity, as well as the social contexts associated with these identities, in automated hate speech classification.

 

이 논문은 혐오 발언이 어떻게 체계적으로 변화하는지 조사한다. 목표물로 삼을 수 있습니다. 주석이 달린 여러 혐오 발언 데이터 세트에 걸쳐 표적 정체성에 대해, 우리는 혐오 발언에 대해 훈련된 분류자를 발견했다. 특정 ID 그룹을 대상으로 하는 것은 다른 대상으로 일반화하기 위해 고군분투한다. 신분증 이것은 혐오 발언의 차이에 대한 경험적 증거를 제공한다. 대상 정체성; 그런 다음 우리는 이 변화를 구성하는 패턴을 조사한다. 우리는 대상 인구 통계 범주(예: 성별/성별 또는 인종/민족 차별)이 혐오 발언의 언어에 더 큰 영향을 미치는 것으로 보인다. 상대적인 사회적 힘보다 더 강합니다. 저희도. 특정 신분을 표적으로 하는 혐오 발언과 관련된 단어들이 종종 있다는 것을 발견한다. 고정관념, 억압의 역사, 현재의 사회 운동, 그리고 정체성에 특유한 다른 사회적 맥락 이 실험들은 다음을 시사한다. 사회적 맥락뿐만 아니라 목표된 정체성을 고려하는 것의 중요성 자동 혐오 발언 분류에서 이러한 정체성과 관련이 있습니다. 

 

 

Transcending Scaling Laws with 0.1% Extra Compute

 

Scaling language models improves performance but comes with significant computational costs. This paper proposes UL2R, a method that substantially improves existing language models and their scaling curves with a relatively tiny amount of extra compute. The key idea is to continue training a state-of-the-art large language model (e.g., PaLM) on a few more steps with UL2's mixture-of-denoiser objective. We show that, with almost negligible extra computational costs and no new sources of data, we are able to substantially improve the scaling properties of large language models on downstream metrics. In this paper, we continue training PaLM with UL2R, introducing a new set of models at 8B, 62B, and 540B scale which we call U-PaLM. Impressively, at 540B scale, we show an approximately 2x computational savings rate where U-PaLM achieves the same performance as the final PaLM 540B model at around half its computational budget (i.e., saving $\sim$4.4 million TPUv4 hours). We further show that this improved scaling curve leads to 'emergent abilities' on challenging BIG-Bench tasks -- for instance, U-PaLM does much better than PaLM on some tasks or demonstrates better quality at much smaller scale (62B as opposed to 540B). Overall, we show that U-PaLM outperforms PaLM on many few-shot setups, i.e., English NLP tasks (e.g., commonsense reasoning, question answering), reasoning tasks with chain-of-thought (e.g., GSM8K), multilingual tasks (MGSM, TydiQA), MMLU and challenging BIG-Bench tasks. Finally, we provide qualitative examples showing the new capabilities of U-PaLM for single and multi-span infilling.

 

언어 모델을 확장하면 성능이 향상되지만 상당한 성능 제공 계산 비용 이 논문은 실질적으로 다음과 같은 방법인 UL2R을 제안한다. 기존 언어 모델과 해당 스케일링 곡선을 상대적으로 개선합니다. 아주 적은 양의 추가 컴퓨팅. 핵심 아이디어는 A를 계속 훈련하는 것입니다. 최첨단 대규모 언어 모델(예: PaLM)을 사용하여 몇 가지 단계를 더 진행합니다. UL2의 잡음 제거제 혼합 목표. 우리는 거의 무시할 수 있는 추가량으로 그것을 보여준다. 계산 비용과 새로운 데이터 소스 없이, 우리는 실질적으로 다운스트림 메트릭에서 대규모 언어 모델의 스케일링 속성을 개선합니다. 이 논문에서, 우리는 UL2R로 PaLM을 계속 교육하고, 새로운 세트를 소개한다. U-PaLM이라고 하는 8B, 62B 및 540B 규모의 모델입니다. 놀랍게도, 540B입니다. 스케일, 우리는 U-PaLM에서 약 2배의 계산 절감율을 보여준다. 최종 PaLM 540B 모델과 동일한 성능을 약 절반으로 달성합니다. 계산 예산(즉, $\sim$440만 TPUv4 시간 절약). 더 나아가서 이 향상된 스케일링 곡선이 '신생 능력'으로 이어진다는 것을 보여줍니다. 까다로운 BIG-Bench 작업 - 예를 들어 U-PaLM은 PaLM보다 훨씬 더 잘합니다. 더 작은 규모에서 더 나은 품질을 보여주거나 일부 작업에 대해 62B. 540B와 반대). 전반적으로, 우리는 U-PaLM이 PaLM을 능가한다는 것을 보여준다. 몇 번의 촬영 설정, 즉 영어 NLP 작업(예: 상식 추론, 질문) 답변), 사고 체인을 통한 추론 작업(예: GSM8K), 다국어 작업(MGSM, TydiQA), MMLU 및 까다로운 BIG-Bench 작업. 마지막으로, 우리는 제공한다. 싱글 및 싱글에 대한 U-PaLM의 새로운 기능을 보여주는 정성적 예 다경간 충전재