[2023-03-05] 오늘의 자연어처리

Adopting the Multi-answer Questioning Task with an Auxiliary Metric for Extreme Multi-label Text Classification Utilizing the Label Hierarchy

 

Extreme multi-label text classification utilizes the label hierarchy to partition extreme labels into multiple label groups, turning the task into simple multi-group multi-label classification tasks. Current research encodes labels as a vector with fixed length which needs establish multiple classifiers for different label groups. The problem is how to build only one classifier without sacrificing the label relationship in the hierarchy. This paper adopts the multi-answer questioning task for extreme multi-label classification. This paper also proposes an auxiliary classification evaluation metric. This study adopts the proposed method and the evaluation metric to the legal domain. The utilization of legal Berts and the study on task distribution are discussed. The experiment results show that the proposed hierarchy and multi-answer questioning task can do extreme multi-label classification for EURLEX dataset. And in minor/fine-tuning the multi-label classification task, the domain adapted BERT models could not show apparent advantages in this experiment. The method is also theoretically applicable to zero-shot learning.

 

극한 다중 레이블 텍스트 분류는 레이블 계층을 활용하여 극한 레이블을 여러 레이블 그룹으로 분할하여 작업을 다음으로 변환 간단한 다중 그룹 다중 레이블 분류 작업. 현재 연구 코드 여러 분류자를 설정해야 하는 고정 길이의 벡터로서의 레이블 다른 레이블 그룹에 대해. 문제는 어떻게 하나의 분류기만 구축하느냐이다 계층에서 레이블 관계를 희생하지 않고. 이 논문은 채택하고 있다 극한 다중 레이블 분류를 위한 다중 답변 질문 작업. 이것. 논문은 또한 보조 분류 평가 지표를 제안한다. 본 연구 제안된 방법과 평가 지표를 법적 영역에 채택한다. 그 합법적 버트의 활용과 작업 분배에 대한 연구가 논의된다. 실험 결과는 제안된 계층 구조와 다중 응답을 보여준다 질문 작업은 EULEX 데이터 세트에 대해 극단적인 다중 레이블 분류를 수행할 수 있다. 그리고 다중 레이블 분류 작업을 마이너/미세 조정할 때 도메인 적응된 BERT 모델은 이 실험에서 명백한 이점을 보여줄 수 없었다. 그 방법은 제로샷 학습에도 이론적으로 적용할 수 있다. 

 

 

Letz Translate: Low-Resource Machine Translation for Luxembourgish

 

Natural language processing of Low-Resource Languages (LRL) is often challenged by the lack of data. Therefore, achieving accurate machine translation (MT) in a low-resource environment is a real problem that requires practical solutions. Research in multilingual models have shown that some LRLs can be handled with such models. However, their large size and computational needs make their use in constrained environments (e.g., mobile/IoT devices or limited/old servers) impractical. In this paper, we address this problem by leveraging the power of large multilingual MT models using knowledge distillation. Knowledge distillation can transfer knowledge from a large and complex teacher model to a simpler and smaller student model without losing much in performance. We also make use of high-resource languages that are related or share the same linguistic root as the target LRL. For our evaluation, we consider Luxembourgish as the LRL that shares some roots and properties with German. We build multiple resource-efficient models based on German, knowledge distillation from the multilingual No Language Left Behind (NLLB) model, and pseudo-translation. We find that our efficient models are more than 30\% faster and perform only 4\% lower compared to the large state-of-the-art NLLB model.

 

LRL(저자원 언어)의 자연어 처리는 종종 다음과 같다 데이터 부족으로 어려움을 겪고 있습니다. 그러므로 정확한 기계를 달성하는 것 리소스가 부족한 환경에서 번역(MT)은 다음을 요구하는 실제 문제입니다 현실적인 해결책. 다국어 모델에 대한 연구는 일부 LRL이 이러한 모델로 처리할 수 있습니다. 하지만, 그들의 큰 크기와 계산적인 제한된 환경(예: 모바일/IoT 장치 또는 제한된/오래된 서버)는 비현실적입니다. 이 논문에서, 우리는 이 문제를 다음과 같이 다룬다 지식을 활용한 대규모 다국어 MT 모델의 기능 활용 증류. 지식 증류는 큰 것으로부터 지식을 전달할 수 있다 더 단순하고 더 작은 학생 모델로 지지 않고 복잡한 교사 모델 성능 면에서. 우리는 또한 다음과 같은 고자원 언어를 사용한다 대상 LRL과 관련이 있거나 동일한 언어 루트를 공유합니다. 우리를 위해 평가, 우리는 룩셈부르크어를 일부 뿌리를 공유하는 LRL로 간주한다 독일어 재산. NAT은 다음을 기반으로 여러 리소스 효율적인 모델을 구축합니다 독일어, 다국어에서 얻은 지식의 증류. 언어를 남기지 않는다 (NLLB) 모델 및 유사 번역. 우리는 우리의 효율적인 모델들이 대용량에 비해 30% 이상 더 빠르고 4%만 더 낮은 성능을 발휘합니다 최첨단 NLLB 모델입니다. 

 

 

Language Variety Identification with True Labels

 

Language identification is an important first step in many IR and NLP applications. Most publicly available language identification datasets, however, are compiled under the assumption that the gold label of each instance is determined by where texts are retrieved from. Research has shown that this is a problematic assumption, particularly in the case of very similar languages (e.g., Croatian and Serbian) and national language varieties (e.g., Brazilian and European Portuguese), where texts may contain no distinctive marker of the particular language or variety. To overcome this important limitation, this paper presents DSL True Labels (DSL-TL), the first human-annotated multilingual dataset for language variety identification. DSL-TL contains a total of 12,900 instances in Portuguese, split between European Portuguese and Brazilian Portuguese; Spanish, split between Argentine Spanish and Castilian Spanish; and English, split between American English and British English. We trained multiple models to discriminate between these language varieties, and we present the results in detail. The data and models presented in this paper provide a reliable benchmark toward the development of robust and fairer language variety identification systems. We make DSL-TL freely available to the research community.

 

언어 식별은 많은 IR 및 NLP에서 중요한 첫 번째 단계이다 적용들. 가장 일반적으로 사용할 수 있는 언어 식별 데이터 세트, 그러나, 각 인스턴스의 골드 라벨을 가정하여 작성됩니다 텍스트가 검색되는 위치에 따라 결정됩니다. 연구에 따르면 이것은 특히 매우 유사한 언어의 경우 문제가 되는 가정이다 (예: 크로아티아어 및 세르비아어) 및 국가 언어 다양성(예: 브라질어) (및 유럽 포르투갈어), 여기서 텍스트는 고유 마커를 포함하지 않을 수 있습니다 특정 언어 또는 다양성. 이 중요한 한계를 극복하기 위해, 이것은 논문은 최초의 인간 주석 다국어인 DSL-TL(True Labels)을 제시한다 언어 다양성 식별을 위한 데이터 세트. DSL-TL은 총 12,900개를 포함한다 포르투갈어의 예, 유럽 포르투갈어와 브라질어로 분할 포르투갈어; 스페인어, 아르헨티나 스페인어와 카스티야 스페인어로 나뉜다 영어는 미국 영어와 영국 영어로 나뉜다. 우리는 훈련했다 이러한 언어의 다양성을 구별하기 위한 여러 모델들, 그리고 우리는 결과를 상세히 발표하다. 본 논문에 제시된 데이터와 모델 견고하고 공정한 개발을 위한 신뢰할 수 있는 벤치마크를 제공한다 언어 다양성 식별 시스템. 우리는 DSL-TL을 자유롭게 이용할 수 있도록 한다 연구 공동체.