[2023-03-19] 오늘의 자연어처리

ToxVis: Enabling Interpretability of Implicit vs. Explicit Toxicity Detection Models with Interactive Visualization

 

The rise of hate speech on online platforms has led to an urgent need for effective content moderation. However, the subjective and multi-faceted nature of hateful online content, including implicit hate speech, poses significant challenges to human moderators and content moderation systems. To address this issue, we developed ToxVis, a visually interactive and explainable tool for classifying hate speech into three categories: implicit, explicit, and non-hateful. We fine-tuned two transformer-based models using RoBERTa, XLNET, and GPT-3 and used deep learning interpretation techniques to provide explanations for the classification results. ToxVis enables users to input potentially hateful text and receive a classification result along with a visual explanation of which words contributed most to the decision. By making the classification process explainable, ToxVis provides a valuable tool for understanding the nuances of hateful content and supporting more effective content moderation. Our research contributes to the growing body of work aimed at mitigating the harms caused by online hate speech and demonstrates the potential for combining state-of-the-art natural language processing models with interpretable deep learning techniques to address this critical issue. Finally, ToxVis can serve as a resource for content moderators, social media platforms, and researchers working to combat the spread of hate speech online.

 

온라인 플랫폼에서의 증오 발언의 증가는 긴급한 필요성을 가져왔다 효과적인 내용 조정. 그러나, 주관적이고 다면적인 성격 암묵적인 혐오 발언을 포함한 혐오스러운 온라인 콘텐츠의 중요성을 제기한다 인간 중재자와 콘텐츠 중재 시스템에 대한 도전. 이 문제를 해결하려면 문제, 우리는 시각적으로 상호작용하고 설명할 수 있는 도구인 ToxVis를 개발했다 혐오 발언을 암시적, 명시적, 그리고 세 가지 범주로 분류한다 비흡연의. 우리는 RoBERTA, XLNET을 사용하여 두 개의 변압기 기반 모델을 미세 조정했다, 그리고 GPT-3를 제공하기 위해 딥 러닝 해석 기술을 사용했다 분류 결과에 대한 설명. 사용자가 입력할 수 있는 ToxVis 잠재적으로 혐오스러운 텍스트와 함께 분류 결과를 수신합니다 어떤 단어가 결정에 가장 큰 기여를 했는지에 대한 시각적 설명. 만듦으로써 설명 가능한 분류 프로세스, ToxVis는 다음을 위한 가치 있는 도구를 제공합니다 혐오스러운 콘텐츠의 뉘앙스를 이해하고 더 효과적으로 지원합니다 내용의 절제. 우리의 연구는 목표로 하는 일의 증가에 기여한다 온라인 혐오 발언으로 인한 해를 완화하고 증명합니다 최첨단 자연어 처리 모델을 결합할 수 있는 잠재력 이 중요한 문제를 해결하기 위해 해석 가능한 딥 러닝 기술로. 마지막으로, ToxVis는 컨텐츠 관리자, 소셜 미디어의 리소스 역할을 할 수 있습니다 온라인에서 혐오 발언의 확산을 막기 위해 노력하는 플랫폼, 그리고 연구원들. 

 

 

GLEN: General-Purpose Event Detection for Thousands of Types

 

The development of event extraction systems has been hindered by the absence of wide-coverage, large-scale datasets. To make event extraction systems more accessible, we build a general-purpose event detection dataset GLEN, which covers 3,465 different event types, making it over 20x larger in ontology than any current dataset. GLEN is created by utilizing the DWD Overlay, which provides a mapping between Wikidata Qnodes and PropBank rolesets. This enables us to use the abundant existing annotation for PropBank as distant supervision. In addition, we also propose a new multi-stage event detection model specifically designed to handle the large ontology size and partial labels in GLEN. We show that our model exhibits superior performance (~10% F1 gain) compared to both conventional classification baselines and newer definition-based models. Finally, we perform error analysis and show that label noise is still the largest challenge for improving performance.

 

이벤트 추출 시스템의 개발은 부재로 인해 방해를 받았다 광범위하고 대규모 데이터 세트를 제공합니다. 이벤트 추출 시스템을 추가하려면 접근 가능, 우리는 범용 이벤트 감지 데이터 세트 GLEN을 구축한다 3,465개의 다양한 이벤트 유형을 포함하여 온톨로지에서 20배 이상 크다 현재 데이터 집합. GLEN은 DWD 오버레이를 사용하여 생성됩니다 에서는 Wikidata Qnodes와 PropBank 역할 집합 간의 매핑을 제공합니다. 이를 통해 우리는 PropBank에 대한 풍부한 기존 주석을 원거리 감독으로 사용한다. 또한, 우리는 새로운 다단계 이벤트 감지 모델을 제안한다 큰 온톨로지 크기와 부분 레이블을 처리하도록 특별히 설계되었습니다 GLEN. 우리는 우리 모델이 우수한 성능을 보인다는 것을 보여준다(~10% F1 게인) 기존 분류 기준선 및 최신 분류 기준선과 비교하여 정의 기반 모델입니다. 마지막으로, 우리는 오류 분석을 수행하고 그 라벨을 보여줍니다 소음은 여전히 성능 향상을 위한 가장 큰 과제입니다. 

 

 

Exploring Distributional Shifts in Large Language Models for Code Analysis

 

We systematically study the capacity of two large language models for code - CodeT5 and Codex - to generalize to out-of-domain data. In this study, we consider two fundamental applications - code summarization, and code generation. We split data into domains following its natural boundaries - by an organization, by a project, and by a module within the software project. This makes recognition of in-domain vs out-of-domain data at the time of deployment trivial. We establish that samples from each new domain present both models with a significant challenge of distribution shift. We study how well different established methods can adapt models to better generalize to new domains. Our experiments show that while multitask learning alone is a reasonable baseline, combining it with few-shot finetuning on examples retrieved from training data can achieve very strong performance. In fact, according to our experiments, this solution can outperform direct finetuning for very low-data scenarios. Finally, we consider variations of this approach to create a more broadly applicable method to adapt to multiple domains at once. We find that in the case of code generation, a model adapted to multiple domains simultaneously performs on par with those adapted to each domain individually.

 

우리는 코드에 대한 두 개의 큰 언어 모델의 용량을 체계적으로 연구한다 CodeT5 및 Codex - 도메인 외부 데이터로 일반화합니다. 이 연구에서, 우리는 코드 요약 및 코드라는 두 가지 기본 응용 프로그램을 고려합니다 시대. 우리는 데이터를 자연적인 경계를 따라 도메인으로 나눈다 조직, 프로젝트별, 소프트웨어 프로젝트 내 모듈별로 구성됩니다. 이것. 배포 시 도메인 내 데이터와 도메인 외부 데이터를 인식합니다 자질구레한. 우리는 각각의 새로운 도메인의 샘플이 두 모델을 제시한다는 것을 확립한다 중요한 문제를 안고 있습니다. 우리는 얼마나 다른지 연구한다 확립된 방법은 모델을 새로운 도메인으로 더 잘 일반화하도록 조정할 수 있다. 우리들의 실험은 멀티태스킹 학습만으로도 합리적인 기준이 되는 것을 보여준다, 교육 데이터에서 검색된 예제에 대한 퓨샷 미세 조정과 결합 매우 강력한 성능을 달성할 수 있습니다. 사실, 우리의 실험에 따르면, 이 솔루션은 매우 낮은 데이터 시나리오에서 직접 미세 조정을 능가할 수 있습니다. 마지막으로, 우리는 더 광범위하게 만들기 위해 이 접근법의 변형을 고려한다 여러 도메인에 동시에 적용할 수 있는 방법입니다. 우리는 그것을 발견한다 코드 생성의 경우, 여러 도메인에 동시에 적용되는 모델 각 도메인에 개별적으로 적용된 것과 동등한 성능을 발휘합니다.