[2023-10-29] 오늘의 자연어처리

Global Voices, Local Biases: Socio-Cultural Prejudices across Languages

 

Human biases are ubiquitous but not uniform: disparities exist across linguistic, cultural, and societal borders. As large amounts of recent literature suggest, language models (LMs) trained on human data can reflect and often amplify the effects of these social biases. However, the vast majority of existing studies on bias are heavily skewed towards Western and European languages. In this work, we scale the Word Embedding Association Test (WEAT) to 24 languages, enabling broader studies and yielding interesting findings about LM bias. We additionally enhance this data with culturally relevant information for each language, capturing local contexts on a global scale. Further, to encompass more widely prevalent societal biases, we examine new bias dimensions across toxicity, ableism, and more. Moreover, we delve deeper into the Indian linguistic landscape, conducting a comprehensive regional bias analysis across six prevalent Indian languages. Finally, we highlight the significance of these social biases and the new dimensions through an extensive comparison of embedding methods, reinforcing the need to address them in pursuit of more equitable language models. All code, data and results are available here: this https URL.

 

인간의 편견은 어디에나 있지만 균일하지는 않다: 서로간에 차이가 존재한다 언어적, 문화적, 사회적 경계. 최근 많은 양의 문헌은 인간 데이터에 대해 훈련된 언어 모델(LM)이 반영할 수 있음을 시사한다 종종 이러한 사회적 편견의 영향을 증폭시킨다. 그러나 대다수의 사람들은 편견에 대한 기존의 연구들은 서구와 유럽 쪽으로 심하게 치우쳐 있다 언어들. 본 연구에서는 WEAT(Word Embedding Association Test)를 다음으로 확장한다 24개의 언어로 더 넓은 연구를 가능하게 하고 흥미로운 발견을 제공한다 LM 바이어스. 우리는 또한 문화적으로 관련된 정보로 이 데이터를 강화한다 각 언어별로 지역적 맥락을 전 세계적인 규모로 포착합니다. 더 나아가서 더 널리 퍼져있는 사회적 편견을 포괄하고, 우리는 새로운 편견 차원을 조사한다 독성, 능력주의, 그 외 다른 것들에 걸쳐서요. 게다가 우리는 인도인에 대해 더 깊이 파고든다 언어적 풍경, 포괄적인 지역 편향 분석 수행 널리 퍼져 있는 6개의 인도어. 마지막으로, 우리는 이것들의 중요성을 강조한다 사회적 편견들과 새로운 차원들의 광범위한 비교를 통하여 내장 방법, 더 많은 것을 추구하기 위해 그것들을 해결할 필요성을 강화한다 공평한 언어 모델. 모든 코드, 데이터 및 결과는 여기에서 확인할 수 있습니다: 이 https URL. 

 

 

JudgeLM: Fine-tuned Large Language Models are Scalable Judges

 

Evaluating Large Language Models (LLMs) in open-ended scenarios is challenging because existing benchmarks and metrics can not measure them comprehensively. To address this problem, we propose to fine-tune LLMs as scalable judges (JudgeLM) to evaluate LLMs efficiently and effectively in open-ended benchmarks. We first propose a comprehensive, large-scale, high-quality dataset containing task seeds, LLMs-generated answers, and GPT-4-generated judgments for fine-tuning high-performance judges, as well as a new benchmark for evaluating the judges. We train JudgeLM at different scales from 7B, 13B, to 33B parameters, and conduct a systematic analysis of its capabilities and behaviors. We then analyze the key biases in fine-tuning LLM as a judge and consider them as position bias, knowledge bias, and format bias. To address these issues, JudgeLM introduces a bag of techniques including swap augmentation, reference support, and reference drop, which clearly enhance the judge's performance. JudgeLM obtains the state-of-the-art judge performance on both the existing PandaLM benchmark and our proposed new benchmark. Our JudgeLM is efficient and the JudgeLM-7B only needs 3 minutes to judge 5K samples with 8 A100 GPUs. JudgeLM obtains high agreement with the teacher judge, achieving an agreement exceeding 90% that even surpasses human-to-human agreement. JudgeLM also demonstrates extended capabilities in being judges of the single answer, multimodal models, multiple answers, and multi-turn chat.

 

개방형 시나리오에서 LLM(Large Language Models)을 평가하는 것은 기존 벤치마크 및 메트릭은 측정할 수 없기 때문에 도전적입니다 종합적으로. 이 문제를 해결하기 위해 LLM을 다음과 같이 미세 조정할 것을 제안한다 확장 가능한 심사위원 (심사위원)LM)에서 LLM을 효율적이고 효과적으로 평가한다 개방형 벤치마크. 우리는 먼저 포괄적이고 대규모적인 것을 제안한다, 작업 시드, LLM에서 생성된 답변을 포함하는 고품질 데이터 세트 GPT-4는 고성능 판정단의 미세 조정을 위한 판정 및 심사위원들을 평가하는 새로운 기준이 될 것입니다. 우리는 판사를 훈련시킨다다양한 스케일의 LM 7B, 13B에서 33B의 매개변수까지 체계적인 분석을 수행한다 능력과 행동. 그런 다음 LLM을 미세 조정할 때의 주요 편향을 분석한다 심사위원으로서 그들을 포지션 편향, 지식 편향, 포맷 편향으로 간주한다. 이 문제들을 다루기 위해서 판사님LM이 스왑을 포함한 다양한 기술을 소개합니다 확대, 기준 지원 및 기준 강하를 명확히 개선합니다 성적을 판단하다. LM 심사위원은 다음과 같은 최첨단 심사위원 성과를 얻는다 기존의 PandaLM 벤치마크와 우리가 제안한 새로운 벤치마크 모두. 심판관님LM 효율적이고 심판관이LM-7B는 8개로 5K 샘플을 판단하는 데 3분이면 됩니다 GPU 100개. LM 판사는 교사 판사와 높은 합의를 얻어, 다음과 같은 성과를 달성한다 인간 대 인간의 합의를 능가하는 90%를 넘는 합의. LM판사 또한 단일 답변의 심사위원으로서 확장된 역량을 보여줍니다, 멀티모달 모델, 멀티답변, 멀티턴 채팅. 

 

 

InstOptima: Evolutionary Multi-objective Instruction Optimization via Large Language Model-based Instruction Operators

 

Instruction-based language modeling has received significant attention in pretrained language models. However, the efficiency of instruction engineering remains low and hinders the development of instruction studies. Recent studies have focused on automating instruction generation, but they primarily aim to improve performance without considering other crucial objectives that impact instruction quality, such as instruction length and perplexity. Therefore, we propose a novel approach (i.e., InstOptima) that treats instruction generation as an evolutionary multi-objective optimization problem. In contrast to text edition-based methods, our approach utilizes a large language model (LLM) to simulate instruction operators, including mutation and crossover. Furthermore, we introduce an objective-guided mechanism for these operators, allowing the LLM to comprehend the objectives and enhance the quality of the generated instructions. Experimental results demonstrate improved fine-tuning performance and the generation of a diverse set of high-quality instructions.

 

명령어 기반 언어 모델링은 다음과 같은 분야에서 상당한 관심을 받아왔다 사전에 훈련된 언어 모델. 그러나 교육공학의 효율성 여전히 저조하고 수업 연구의 발전을 방해한다. 최근 연구 명령어 생성을 자동화하는 것에 초점을 맞추고 있지만, 그들은 주로 다음을 목표로 하고 있다 영향을 미치는 다른 중요한 목표를 고려하지 않고 성과를 향상시킨다 명령 길이 및 혼란과 같은 명령 품질. 그래서 저희가 명령 생성을 처리하는 새로운 접근법(즉, InstOptima)을 제안한다 진화적 다중 objective 최적화 문제로서. 텍스트와 대조적으로 우리의 접근 방식은 큰 언어 모델(LLM)을 활용하여 다음과 같이 한다 돌연변이와 교차를 포함한 명령어 연산자를 시뮬레이션한다. 더 나아가, 우리는 이러한 연산자를 위한 목적 유도 메커니즘을 도입하여 다음을 허용한다 LLM을 통해 목표를 이해하고 생성된 제품의 품질을 향상시킬 수 있습니다 지침들. 실험 결과는 미세 조정 성능이 향상되었음을 보여줍니다 그리고 다양한 고품질 설명서 세트를 생성합니다.