[2023-11-28] 오늘의 자연어처리

Exploring Methods for Cross-lingual Text Style Transfer: The Case of Text Detoxification

 

Abstract:Text detoxification is the task of transferring the style of text from toxic to neutral. While here are approaches yielding promising results in monolingual setup, e.g., (Dale et al., 2021; Hallinan et al., 2022), cross-lingual transfer for this task remains a challenging open problem (Moskovskiy et al., 2022). In this work, we present a large-scale study of strategies for cross-lingual text detoxification -- given a parallel detoxification corpus for one language; the goal is to transfer detoxification ability to another language for which we do not have such a corpus. Moreover, we are the first to explore a new task where text translation and detoxification are performed simultaneously, providing several strong baselines for this task. Finally, we introduce new automatic detoxification evaluation metrics with higher correlations with human judgments than previous benchmarks. We assess the most promising approaches also with manual markup, determining the answer for the best strategy to transfer the knowledge of text detoxification between languages.

 

추상화:텍스트 해독은 텍스트의 스타일을 독성에서 중성으로 전환하는 작업이다. 여기 단일 언어 설정에서 유망한 결과를 산출하는 접근법이 있지만(Dale et al., 2021; Hallinan et al., 2022), 이 작업에 대한 교차 언어 전송은 여전히 어려운 오픈 문제로 남아 있다(Moskovsky et al., 2022). 본 연구에서는 한 언어에 대한 병렬 해독 말뭉치가 주어진 교차 언어 텍스트 해독 전략에 대한 대규모 연구를 제시한다. 목표는 우리가 그러한 말뭉치를 가지고 있지 않은 다른 언어로 해독 능력을 이전하는 것이다. 또한 텍스트 번역과 해독이 동시에 수행되는 새로운 작업을 최초로 탐색하여 이 작업에 대한 몇 가지 강력한 기준선을 제공한다. 마지막으로, 우리는 이전의 벤치마크보다 인간의 판단과 더 높은 상관관계를 가진 새로운 자동 해독 평가 지표를 소개한다. 우리는 수동 마크업을 통해서도 가장 유망한 접근 방식을 평가하여, 언어 간 텍스트 해독 지식을 전달하는 최선의 전략에 대한 답을 결정한다. 

 

 

Towards Auditing Large Language Models: Improving Text-based Stereotype Detection

 

Abstract:Large Language Models (LLM) have made significant advances in the recent past becoming more mainstream in Artificial Intelligence (AI) enabled human-facing applications. However, LLMs often generate stereotypical output inherited from historical data, amplifying societal biases and raising ethical concerns. This work introduces i) the Multi-Grain Stereotype Dataset, which includes 52,751 instances of gender, race, profession and religion stereotypic text and ii) a novel stereotype classifier for English text. We design several experiments to rigorously test the proposed model trained on the novel dataset. Our experiments show that training the model in a multi-class setting can outperform the one-vs-all binary counterpart. Consistent feature importance signals from different eXplainable AI tools demonstrate that the new model exploits relevant text features. We utilise the newly created model to assess the stereotypic behaviour of the popular GPT family of models and observe the reduction of bias over time. In summary, our work establishes a robust and practical framework for auditing and evaluating the stereotypic bias in LLM.

 

추상화:LLM(Large Language Model)은 최근 인공지능(AI) 지원 애플리케이션의 주류가 되면서 상당한 발전을 이루었다. 그러나 LLM은 종종 과거 데이터에서 물려받은 정형화된 출력을 생성하여 사회적 편향을 증폭시키고 윤리적 문제를 제기한다. 이 연구는 i) 성별, 인종, 직업 및 종교 고정 관념 텍스트의 52,751개 인스턴스와 ii) 영어 텍스트에 대한 새로운 고정 관념 분류기를 포함하는 다중 곡물 고정 관념 데이터 세트를 소개한다. 우리는 새로운 데이터 세트에서 훈련된 제안된 모델을 엄격하게 테스트하기 위해 여러 실험을 설계한다. 우리의 실험은 다중 클래스 설정에서 모델을 훈련하는 것이 1 대 전체 이진 대응물을 능가할 수 있음을 보여준다. 다양한 eXplainable AI 도구의 일관된 기능 중요도 신호는 새로운 모델이 관련 텍스트 기능을 활용한다는 것을 보여준다. 우리는 새로 생성된 모델을 사용하여 인기 있는 GPT 모델군의 고정관념적인 행동을 평가하고 시간이 지남에 따라 편향이 감소하는 것을 관찰한다. 요약하면, 우리의 작업은 LLM의 고정 관념 편향을 감사하고 평가하기 위한 강력하고 실용적인 프레임워크를 구축한다. 

 

 

Some Like It Small: Czech Semantic Embedding Models for Industry Applications

 

Abstract:This article focuses on the development and evaluation of Small-sized Czech sentence embedding models. Small models are important components for real-time industry applications in resource-constrained environments. Given the limited availability of labeled Czech data, alternative approaches, including pre-training, knowledge distillation, and unsupervised contrastive fine-tuning, are investigated. Comprehensive intrinsic and extrinsic analyses are conducted, showcasing the competitive performance of our models compared to significantly larger counterparts, with approximately 8 times smaller size and 5 times faster speed than conventional Base-sized models. To promote cooperation and reproducibility, both the models and the evaluation pipeline are made publicly accessible. Ultimately, this article presents practical applications of the developed sentence embedding models in this http URL, the Czech search engine. These models have effectively replaced previous counterparts, enhancing the overall search experience for instance, in organic search, featured snippets, and image search. This transition has yielded improved performance.

 

추상화:이 글은 Small-size 체코어 문장 임베딩 모델의 개발과 평가에 초점을 맞추고 있다. 소규모 모델은 자원 제약 환경에서 실시간 산업 애플리케이션을 위한 중요한 구성 요소입니다. 레이블이 지정된 체코 데이터의 제한된 가용성을 감안하여 사전 교육, 지식 증류 및 감독되지 않은 대조 미세 조정을 포함한 대체 접근 방식을 조사한다. 포괄적인 내재적 및 외재적 분석이 수행되어 기존의 Base-size 모델보다 약 8배 작은 크기와 5배 빠른 속도로 훨씬 큰 모델과 비교하여 모델의 경쟁 성능을 보여준다. 모델과 평가 파이프라인 모두 협력과 재현성을 촉진하기 위해 공개적으로 접근할 수 있도록 한다. 궁극적으로 이 글은 개발된 문장 임베딩 모델의 실제 적용을 이 http URL인 체코 검색 엔진에서 제시한다. 이러한 모델은 이전 모델을 효과적으로 대체하여 유기 검색, 특징 스니펫 및 이미지 검색과 같은 전반적인 검색 경험을 향상시켰다. 이러한 전환으로 성능이 향상되었습니다.