[2023-03-03] 오늘의 자연어처리

MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation

 

We introduce MuAViC, a multilingual audio-visual corpus for robust speech recognition and robust speech-to-text translation providing 1200 hours of audio-visual speech in 9 languages. It is fully transcribed and covers 6 English-to-X translation as well as 6 X-to-English translation directions. To the best of our knowledge, this is the first open benchmark for audio-visual speech-to-text translation and the largest open benchmark for multilingual audio-visual speech recognition. Our baseline results show that MuAViC is effective for building noise-robust speech recognition and translation models. We make the corpus available at this https URL.

 

우리는 강력한 음성을 위한 다국어 시청각 코퍼스인 MuAViC를 소개한다 인식 및 강력한 음성-텍스트 번역을 통해 1200시간의 데이터를 제공합니다 9개 언어로 된 시청각 음성. 그것은 완전히 기록되어 있고 6을 포함한다 영어에서 X로의 번역과 6개의 X에서 영어로의 번역 방향. 로. 우리가 아는 한, 이것은 시청각을 위한 최초의 공개 벤치마크이다 음성에서 텍스트로의 번역 및 다국어를 위한 가장 큰 개방형 벤치마크 시청각 음성 인식. 우리의 기준 결과는 MuAViC가 소음 감지 음성 인식 및 번역 모델을 구축하는 데 효과적이다. 우리는 이 https URL에서 말뭉치를 이용할 수 있게 한다. 

 

 

A Persian Benchmark for Joint Intent Detection and Slot Filling

 

Natural Language Understanding (NLU) is important in today's technology as it enables machines to comprehend and process human language, leading to improved human-computer interactions and advancements in fields such as virtual assistants, chatbots, and language-based AI systems. This paper highlights the significance of advancing the field of NLU for low-resource languages. With intent detection and slot filling being crucial tasks in NLU, the widely used datasets ATIS and SNIPS have been utilized in the past. However, these datasets only cater to the English language and do not support other languages. In this work, we aim to address this gap by creating a Persian benchmark for joint intent detection and slot filling based on the ATIS dataset. To evaluate the effectiveness of our benchmark, we employ state-of-the-art methods for intent detection and slot filling.

 

자연어 이해(NLU)는 오늘날의 기술에서 중요하다 기계가 인간의 언어를 이해하고 처리할 수 있게 하여 개선으로 이어집니다 인간과 컴퓨터의 상호작용과 가상과 같은 분야의 발전 어시스턴트, 챗봇, 언어 기반 AI 시스템. 이 문서는 다음을 강조합니다 저자원 언어를 위한 NLU 분야를 발전시키는 것의 중요성. 와 함께 의도 감지 및 슬롯 채우기는 널리 사용되는 NLU에서 중요한 작업입니다 데이터 세트 ATIS와 SNIPS는 과거에 사용된 적이 있다. 그러나 이러한 데이터 세트는 영어에만 영합하고 다른 언어는 지원하지 않는다. 이 점에서. 작업, 우리는 공동을 위한 페르시아 벤치마크를 만들어 이 격차를 해결하는 것을 목표로 한다 ATIS 데이터 세트를 기반으로 한 의도 감지 및 슬롯 채우기. 평가 방법 벤치마크의 효과, 우리는 의도에 대한 최첨단 방법을 사용한다 감지 및 슬롯 채우기. 

 

 

Competence-Based Analysis of Language Models

 

Despite the recent success of large pretrained language models (LMs) on a variety of prompting tasks, these models can be alarmingly brittle to small changes in inputs or application contexts. To better understand such behavior and motivate the design of more robust LMs, we propose a general experimental framework, CALM (Competence-based Analysis of Language Models), where targeted causal interventions are utilized to damage an LM's internal representation of various linguistic properties in order to evaluate its use of each representation in performing a given task. We implement these interventions as gradient-based adversarial attacks, which (in contrast to prior causal probing methodologies) are able to target arbitrarily-encoded representations of relational properties, and carry out a case study of this approach to analyze how BERT-like LMs use representations of several relational properties in performing associated relation prompting tasks. We find that, while the representations LMs leverage in performing each task are highly entangled, they may be meaningfully interpreted in terms of the tasks where they are most utilized; and more broadly, that CALM enables an expanded scope of inquiry in LM analysis that may be useful in predicting and explaining weaknesses of existing LMs.

 

에서 최근 대규모 사전 훈련된 언어 모델(LM)의 성공에도 불구하고 다양한 프롬프트 작업, 이러한 모델은 놀라울 정도로 깨지기 쉽습니다 입력 또는 응용 프로그램 컨텍스트의 변경. 그러한 행동을 더 잘 이해하기 위해 그리고 더 강력한 LM의 설계에 동기를 부여하고, 우리는 일반적인 실험을 제안한다 프레임워크, CALM(Competence-based Analysis of Language Models), 대상이 되는 경우 인과적 개입은 LM의 내부 표현을 손상시키기 위해 사용된다 그것의 사용을 평가하기 위해 다양한 언어적 특성 지정된 작업을 수행할 때의 표현입니다. 우리는 다음과 같이 이러한 개입을 구현한다 (이전의 인과 조사와 대조적으로) 그레이디언트 기반 적대적 공격 방법론)은 임의로 추출된 표현을 대상으로 할 수 있다 관계형 특성, 그리고 분석을 위한 이 접근법의 사례 연구를 수행한다 BERT와 같은 LM이 어떻게 여러 관계형 속성의 표현을 사용하는지 관련 관계 프롬프트 작업을 수행하는 중입니다. 우리는 그것을 발견한다 각 작업을 수행하는 데 LM이 활용하는 표현은 매우 복잡하다 그들이 가장 많은 작업의 관점에서 의미 있게 해석될 수 있다 활용; 그리고 더 넓게는, 그 CALM은 다음과 같은 확장된 조사 범위를 가능하게 한다 의 약점을 예측하고 설명하는 데 유용할 수 있는 LM 분석 기존 LM.