[2022-08-26] 오늘의 자연어처리

Bitext Mining for Low-Resource Languages via Contrastive Learning

 

Mining high-quality bitexts for low-resource languages is challenging. This paper shows that sentence representation of language models fine-tuned with multiple negatives ranking loss, a contrastive objective, helps retrieve clean bitexts. Experiments show that parallel data mined from our approach substantially outperform the previous state-of-the-art method on low resource languages Khmer and Pashto.

 

저자원 언어에 대한 고품질 바이트 텍스트를 채굴하는 것은 어렵다. 이것. 논문은 언어 모델의 문장 표현이 와 미세하게 일치한다는 것을 보여준다. 대조적인 목표인 다중 부정 순위 손실은 깨끗한 회수하는 데 도움이 됩니다. 본문을 깨물다 실험 결과, 우리의 접근 방식에서 채굴된 병렬 데이터가 나타났다. 적은 자원으로 이전의 최첨단 방법을 크게 능가하다. 크메르어와 파슈토어 

 

 

CLOWER: A Pre-trained Language Model with Contrastive Learning over Word and Character Representations

 

Pre-trained Language Models (PLMs) have achieved remarkable performance gains across numerous downstream tasks in natural language understanding. Various Chinese PLMs have been successively proposed for learning better Chinese language representation. However, most current models use Chinese characters as inputs and are not able to encode semantic information contained in Chinese words. While recent pre-trained models incorporate both words and characters simultaneously, they usually suffer from deficient semantic interactions and fail to capture the semantic relation between words and characters. To address the above issues, we propose a simple yet effective PLM CLOWER, which adopts the Contrastive Learning Over Word and charactER representations. In particular, CLOWER implicitly encodes the coarse-grained information (i.e., words) into the fine-grained representations (i.e., characters) through contrastive learning on multi-grained information. CLOWER is of great value in realistic scenarios since it can be easily incorporated into any existing fine-grained based PLMs without modifying the production pipelines.Extensive experiments conducted on a range of downstream tasks demonstrate the superior performance of CLOWER over several state-of-the-art baselines.

 

사전 학습된 언어 모델(PLM)은 놀라운 성능 향상을 달성했습니다. 자연어 이해의 수많은 다운스트림 작업에 걸쳐. 여러가지 중국어 PLM은 더 나은 중국어를 배우기 위해 연속적으로 제안되었다. 언어 표현 그러나, 현재 대부분의 모델들은 다음과 같이 한자를 사용한다. 입력 및 중국어에 포함된 의미 정보를 인코딩할 수 없습니다. 최근 사전 훈련된 모델에는 단어와 문자가 모두 포함되어 있습니다. 동시에, 그들은 보통 부족한 의미론적 상호작용과 단어와 문자 사이의 의미 관계를 포착하지 못하다 주소 지정 위의 문제들, 우리는 단순하지만 효과적인 PLM CLOWER를 제안합니다. 단어 및 문자 표현에 대한 대비 인 특히 CLOWER는 거친 입도의 정보(즉, CLOWER)를 암묵적으로 인코딩한다. 단어)를 통해 세분화된 표현(즉, 문자)으로. 다중 입도 정보에 대한 대조적인 학습 CLOWER는 다음과 같은 점에서 매우 가치가 있다. 기존 시나리오에 쉽게 통합될 수 있기 때문에 현실적인 시나리오 생산 파이프라인을 수정하지 않고 세분화된 기반 PLM.광범위한 다양한 다운스트림 작업에 대해 수행된 실험은 우월함을 입증합니다. 여러 최첨단 기준선에 대한 CLOWER의 성능. 

 

 

Prompting as Probing: Using Language Models for Knowledge Base Construction

 

Language Models (LMs) have proven to be useful in various downstream applications, such as summarisation, translation, question answering and text classification. LMs are becoming increasingly important tools in Artificial Intelligence, because of the vast quantity of information they can store. In this work, we present ProP (Prompting as Probing), which utilizes GPT-3, a large Language Model originally proposed by OpenAI in 2020, to perform the task of Knowledge Base Construction (KBC). ProP implements a multi-step approach that combines a variety of prompting techniques to achieve this. Our results show that manual prompt curation is essential, that the LM must be encouraged to give answer sets of variable lengths, in particular including empty answer sets, that true/false questions are a useful device to increase precision on suggestions generated by the LM, that the size of the LM is a crucial factor, and that a dictionary of entity aliases improves the LM score. Our evaluation study indicates that these proposed techniques can substantially enhance the quality of the final predictions: ProP won track 2 of the LM-KBC competition, outperforming the baseline by 36.4 percentage points. Our implementation is available on this https URL.

 

언어 모델(LM)은 다양한 다운스트림에서 유용한 것으로 입증되었습니다. 요약, 번역, 질문 답변 및 텍스트와 같은 응용 프로그램 분류. LM은 인공에서 점점 더 중요한 도구가 되고 있다. 그들이 저장할 수 있는 엄청난 양의 정보 때문에 지능. 인 이 작업, 우리는 GPT-3를 활용하는 ProP(Proprompting as Proving)를 제시한다. 오픈이 원래 제안한 대규모 언어 모델2020년 AI, 과제 수행 KBC(Knowledge Base Construction)에 대해 설명합니다. ProP는 다단계 접근 방식을 구현합니다. 이를 달성하기 위해 다양한 프롬프트 기술을 결합합니다. 우리의 결과 수동 신속한 큐레이션이 필수적이며, LM이 권장되어야 함을 보여줍니다. 특히 빈 답변을 포함하여 가변 길이의 답변 집합을 제공한다. 참/거짓 질문이 정확성을 높이는 데 유용한 장치라는 설정 LM에 의해 생성된 제안, LM의 크기가 중요한 요소이다. 그리고 엔티티 별칭 사전은 LM 점수를 향상시킨다. 저희 평가. 연구는 이러한 제안된 기술들이 실질적으로 개선될 수 있음을 나타낸다. 최종 예측의 품질: ProP는 LM-KBC 대회의 트랙 2에서 우승했다. 기준치를 36.4%포인트 앞섰다. 구현 방법은 다음과 같습니다. 이 https URL에서 사용할 수 있습니다.