[2023-12-05] 오늘의 자연어처리

Improving Unsupervised Relation Extraction by Augmenting Diverse Sentence Pairs

 

Abstract:Unsupervised relation extraction (URE) aims to extract relations between named entities from raw text without requiring manual annotations or pre-existing knowledge bases. In recent studies of URE, researchers put a notable emphasis on contrastive learning strategies for acquiring relation representations. However, these studies often overlook two important aspects: the inclusion of diverse positive pairs for contrastive learning and the exploration of appropriate loss functions. In this paper, we propose AugURE with both within-sentence pairs augmentation and augmentation through cross-sentence pairs extraction to increase the diversity of positive pairs and strengthen the discriminative power of contrastive learning. We also identify the limitation of noise-contrastive estimation (NCE) loss for relation representation learning and propose to apply margin loss for sentence pairs. Experiments on NYT-FB and TACRED datasets demonstrate that the proposed relation representation learning and a simple K-Means clustering achieves state-of-the-art performance.

 

추상화:감독되지 않은 관계 추출(URE)은 수동 주석이나 기존 지식 기반을 필요로 하지 않고 원시 텍스트에서 명명된 엔티티 간의 관계를 추출하는 것을 목표로 한다. URE에 대한 최근 연구에서 연구자들은 관계 표현을 획득하기 위한 대조 학습 전략에 주목할 만한 강조를 두었다. 그러나 이러한 연구들은 종종 대조 학습을 위한 다양한 긍정적 쌍의 포함과 적절한 손실 함수의 탐색이라는 두 가지 중요한 측면을 간과한다. 본 논문에서는 긍정적인 쌍의 다양성을 높이고 대조 학습의 판별력을 강화하기 위해 교차 문장 쌍 추출을 통한 문장 내 쌍 증강 및 증강을 모두 갖춘 AugURE를 제안한다. 또한 관계 표현 학습을 위한 노이즈 대비 추정(NCE) 손실의 한계를 확인하고 문장 쌍에 대해 마진 손실을 적용할 것을 제안한다. NYT-FB 및 TACRED 데이터 세트에 대한 실험은 제안된 관계 표현 학습과 간단한 K-Means 클러스터링이 최첨단 성능을 달성한다는 것을 보여준다. 

 

 

Questioning Biases in Case Judgment Summaries: Legal Datasets or Large Language Models?

 

Abstract:The evolution of legal datasets and the advent of large language models (LLMs) have significantly transformed the legal field, particularly in the generation of case judgment summaries. However, a critical concern arises regarding the potential biases embedded within these summaries. This study scrutinizes the biases present in case judgment summaries produced by legal datasets and large language models. The research aims to analyze the impact of biases on legal decision making. By interrogating the accuracy, fairness, and implications of biases in these summaries, this study contributes to a better understanding of the role of technology in legal contexts and the implications for justice systems worldwide. In this study, we investigate biases wrt Gender-related keywords, Race-related keywords, Keywords related to crime against women, Country names and religious keywords. The study shows interesting evidences of biases in the outputs generated by the large language models and pre-trained abstractive summarization models. The reasoning behind these biases needs further studies.

 

추상화:법률 데이터 세트의 진화와 대형 언어 모델(LLM)의 등장은 특히 사건 판결 요약의 생성에서 법률 분야를 크게 변화시켰다. 그러나 이러한 요약에 포함된 잠재적 편향에 대한 중대한 우려가 발생한다. 본 연구는 법률 데이터 세트와 대규모 언어 모델에 의해 생성된 사건 판단 요약에 존재하는 편향을 면밀히 검토한다. 이 연구는 편향이 법적 의사결정에 미치는 영향을 분석하는 것을 목적으로 한다. 본 연구는 이러한 요약에서 편향의 정확성, 공정성 및 시사점을 조사함으로써 법적 맥락에서 기술의 역할과 전 세계 사법제도에 대한 시사점을 보다 잘 이해하는 데 기여한다. 본 연구에서는 편향 wrt 젠더 관련 키워드, 인종 관련 키워드, 여성 대상 범죄 관련 키워드, 국가명, 종교적 키워드를 조사한다. 이 연구는 큰 언어 모델과 미리 훈련된 추상적 요약 모델에 의해 생성된 출력의 편향에 대한 흥미로운 증거를 보여준다. 이러한 편견 뒤에 숨겨진 이유는 더 많은 연구가 필요하다. 

 

 

SeaLLMs -- Large Language Models for Southeast Asia

 

Abstract:Despite the remarkable achievements of large language models (LLMs) in various tasks, there remains a linguistic bias that favors high-resource languages, such as English, often at the expense of low-resource and regional languages. To address this imbalance, we introduce SeaLLMs, an innovative series of language models that specifically focuses on Southeast Asian (SEA) languages. SeaLLMs are built upon the Llama-2 model and further advanced through continued pre-training with an extended vocabulary, specialized instruction and alignment tuning to better capture the intricacies of regional languages. This allows them to respect and reflect local cultural norms, customs, stylistic preferences, and legal considerations. Our comprehensive evaluation demonstrates that SeaLLM-13b models exhibit superior performance across a wide spectrum of linguistic tasks and assistant-style instruction-following capabilities relative to comparable open-source models. Moreover, they outperform ChatGPT-3.5 in non-Latin languages, such as Thai, Khmer, Lao, and Burmese, by large margins while remaining lightweight and cost-effective to operate.

 

추상화:다양한 작업에서 큰 언어 모델(LLM)의 놀라운 성과에도 불구하고, 종종 저자원 및 지역 언어를 희생시키면서 영어와 같은 고자원 언어를 선호하는 언어 편향이 남아 있다. 이러한 불균형을 해결하기 위해 동남아시아(SEA) 언어에 특별히 초점을 맞춘 혁신적인 일련의 언어 모델인 SeaLLM을 소개한다. SeaLLM은 Lama-2 모델을 기반으로 구축되었으며, 지역 언어의 복잡성을 더 잘 포착하기 위해 확장된 어휘, 전문화된 지침 및 정렬 튜닝을 통한 지속적인 사전 교육을 통해 더욱 발전되었다. 이를 통해 지역의 문화적 규범, 관습, 양식적 선호, 법적 고려 등을 존중하고 반영할 수 있다. 우리의 종합적인 평가는 SeaLLM-13b 모델이 비교 가능한 오픈 소스 모델에 비해 광범위한 언어 작업과 어시스턴트 스타일의 명령어 추종 기능에서 우수한 성능을 보여준다는 것을 보여준다. 또한 태국어, 크메르어, 라오어, 버마어 등 라틴어 이외의 언어에서는 ChatGPT-3.5를 큰 폭으로 능가하면서도 경량화와 비용 효율성을 유지하고 있다.