[2023-10-08] 오늘의 자연어처리

Evaluating Self-Supervised Speech Representations for Indigenous American Languages

 

Abstract:The application of self-supervision to speech representation learning has garnered significant interest in recent years, due to its scalability to large amounts of unlabeled data. However, much progress, both in terms of pre-training and downstream evaluation, has remained concentrated in monolingual models that only consider English. Few models consider other languages, and even fewer consider indigenous ones. In our submission to the New Language Track of the ASRU 2023 ML-SUPERB Challenge, we present an ASR corpus for Quechua, an indigenous South American Language. We benchmark the efficacy of large SSL models on Quechua, along with 6 other indigenous languages such as Guarani and Bribri, on low-resource ASR. Our results show surprisingly strong performance by state-of-the-art SSL models, showing the potential generalizability of large-scale models to real-world data.

 

초록:음성 표현 학습에 대한 자체 감독 적용은 레이블이 지정되지 않은 많은 양의 데이터에 대한 확장성으로 인해 최근 몇 년 동안 상당한 관심을 끌고 있다. 그러나 사전 교육 및 다운스트림 평가 측면에서 많은 진전이 영어만을 고려하는 단일 언어 모델에 집중되어 있다. 다른 언어를 고려하는 모델은 거의 없고, 토착 언어를 고려하는 모델도 더 적다. ASRU 2023 ML-SUPERB Challenge의 새로운 언어 트랙에 대한 제출에서, 우리는 남미 토착 언어인 케추아에 대한 ASR 코퍼스를 제시한다. 우리는 케추아에 대한 대형 SSL 모델과 과라니어, 브리브리어 등 6개의 다른 토착 언어와 함께 저자원 ASR에 대한 효과를 벤치마킹한다. 우리의 결과는 최첨단 SSL 모델에 의한 놀라운 성능을 보여주며, 실제 데이터에 대한 대규모 모델의 잠재적인 일반화 가능성을 보여준다. 

 

 

GoLLIE: Annotation Guidelines improve Zero-Shot Information-Extraction

 

Abstract:Large Language Models (LLMs) combined with instruction tuning have made significant progress when generalizing to unseen tasks. However, they have been less successful in Information Extraction (IE), lagging behind task-specific models. Typically, IE tasks are characterized by complex annotation guidelines which describe the task and give examples to humans. Previous attempts to leverage such information have failed, even with the largest models, as they are not able to follow the guidelines out-of-the-box. In this paper we propose GoLLIE (Guideline-following Large Language Model for IE), a model able to improve zero-shot results on unseen IE tasks by virtue of being fine-tuned to comply with annotation guidelines. Comprehensive evaluation empirically demonstrates that GoLLIE is able to generalize to and follow unseen guidelines, outperforming previous attempts at zero-shot information extraction. The ablation study shows that detailed guidelines is key for good results.

 

초록:Large Language Models(LLM)는 명령 조정과 결합하여 보이지 않는 작업으로 일반화할 때 상당한 진전을 이루었다. 그러나, 그들은 작업별 모델에 뒤쳐져 정보 추출(IE)에서 덜 성공적이었다. 일반적으로 IE 작업은 작업을 설명하고 인간에게 예시를 제공하는 복잡한 주석 지침으로 특징지어진다. 그러한 정보를 활용하려는 이전의 시도는 최대 모델을 사용하더라도 지침을 즉시 따를 수 없기 때문에 실패했다. 본 논문에서는 주석 지침을 준수하도록 미세 조정되어 보이지 않는 IE 작업에 대한 제로샷 결과를 개선할 수 있는 모델인 GoLLIE(IE용 가이드라인 추종 Large Language Model)를 제안한다. 종합적인 평가는 GoLLIE가 보이지 않는 지침에 일반화하고 따를 수 있음을 실증적으로 보여주며, 제로샷 정보 추출의 이전 시도를 능가한다. 절제 연구는 상세한 지침이 좋은 결과를 위해 핵심임을 보여준다. 

 

 

Evaluating Self-Supervised Speech Representations for Indigenous American Languages

 

Abstract:The application of self-supervision to speech representation learning has garnered significant interest in recent years, due to its scalability to large amounts of unlabeled data. However, much progress, both in terms of pre-training and downstream evaluation, has remained concentrated in monolingual models that only consider English. Few models consider other languages, and even fewer consider indigenous ones. In our submission to the New Language Track of the ASRU 2023 ML-SUPERB Challenge, we present an ASR corpus for Quechua, an indigenous South American Language. We benchmark the efficacy of large SSL models on Quechua, along with 6 other indigenous languages such as Guarani and Bribri, on low-resource ASR. Our results show surprisingly strong performance by state-of-the-art SSL models, showing the potential generalizability of large-scale models to real-world data.

 

초록:음성 표현 학습에 대한 자체 감독 적용은 레이블이 지정되지 않은 많은 양의 데이터에 대한 확장성으로 인해 최근 몇 년 동안 상당한 관심을 끌고 있다. 그러나 사전 교육 및 다운스트림 평가 측면에서 많은 진전이 영어만을 고려하는 단일 언어 모델에 집중되어 있다. 다른 언어를 고려하는 모델은 거의 없고, 토착 언어를 고려하는 모델도 더 적다. ASRU 2023 ML-SUPERB Challenge의 새로운 언어 트랙에 대한 제출에서, 우리는 남미 토착 언어인 케추아에 대한 ASR 코퍼스를 제시한다. 우리는 케추아에 대한 대형 SSL 모델과 과라니어, 브리브리어 등 6개의 다른 토착 언어와 함께 저자원 ASR에 대한 효과를 벤치마킹한다. 우리의 결과는 최첨단 SSL 모델에 의한 놀라운 성능을 보여주며, 실제 데이터에 대한 대규모 모델의 잠재적인 일반화 가능성을 보여준다.