[2022-08-22] 오늘의 자연어처리

Analyzing Robustness of End-to-End Neural Models for Automatic Speech Recognition

 

We investigate robustness properties of pre-trained neural models for automatic speech recognition. Real life data in machine learning is usually very noisy and almost never clean, which can be attributed to various factors depending on the domain, e.g. outliers, random noise and adversarial noise. Therefore, the models we develop for various tasks should be robust to such kinds of noisy data, which led to the thriving field of robust machine learning. We consider this important issue in the setting of automatic speech recognition. With the increasing popularity of pre-trained models, it's an important question to analyze and understand the robustness of such models to noise. In this work, we perform a robustness analysis of the pre-trained neural models wav2vec2, HuBERT and DistilHuBERT on the LibriSpeech and TIMIT datasets. We use different kinds of noising mechanisms and measure the model performances as quantified by the inference time and the standard Word Error Rate metric. We also do an in-depth layer-wise analysis of the wav2vec2 model when injecting noise in between layers, enabling us to predict at a high level what each layer learns. Finally for this model, we visualize the propagation of errors across the layers and compare how it behaves on clean versus noisy data. Our experiments conform the predictions of Pasad et al. [2021] and also raise interesting directions for future work.

 

우리는 사전 훈련된 신경 모델의 견고성 특성을 조사한다. 자동 음성 인식 기계 학습의 실제 데이터는 보통 다음과 같다. 매우 시끄럽고 거의 절대 깨끗하지 않다, 그것은 다양한 요인들에 기인할 수 있다. 영역에 따라 특이치, 무작위 노이즈 및 적대적 노이즈. 따라서, 우리가 다양한 작업을 위해 개발하는 모델은 다음과 같은 경우에 강건해야 한다. 시끄러운 데이터의 종류로, 그것은 강력한 기계의 번창하는 분야로 이어졌다. 학문의 우리는 자동 음성 설정에서 이 중요한 문제를 고려한다. 인정 사전 훈련된 모델의 인기가 증가함에 따라, 그것은 그러한 모델의 견고성을 분석하고 이해하기 위한 중요한 질문 소음. 이 작업에서, 우리는 사전 훈련된 신경의 견고성 분석을 수행한다. LibriSpeech 및 TIMIT 데이터 세트에서 wav2vec2, HuBERT 및 DistilHuBERT를 모델링합니다. 우리는 다양한 종류의 소음 메커니즘을 사용하고 모델 성능을 측정합니다. 추론 시간 및 표준 단어 오류율 메트릭에 의해 정량화된다. 우리가 또한 주입할 때 wav2vec2 모델의 심층 레이어별 분석을 수행합니다. 계층 간의 잡음, 각 계층이 무엇을 하는지 높은 수준에서 예측할 수 있도록 합니다. 학습한다. 마지막으로, 이 모델을 위해, 우리는 오류의 전파를 시각화합니다. 레이어를 비교하고 깨끗한 데이터와 노이즈가 많은 데이터에서 어떻게 동작하는지 비교합니다. 우리들의 실험은 파사드 등의 예측과 일치한다. [해고] 그리고 또한 키운다. 앞으로의 일에 대한 흥미로운 방향성 

 

 

Mere Contrastive Learning for Cross-Domain Sentiment Analysis

 

Cross-domain sentiment analysis aims to predict the sentiment of texts in the target domain using the model trained on the source domain to cope with the scarcity of labeled data. Previous studies are mostly cross-entropy-based methods for the task, which suffer from instability and poor generalization. In this paper, we explore contrastive learning on the cross-domain sentiment analysis task. We propose a modified contrastive objective with in-batch negative samples so that the sentence representations from the same class will be pushed close while those from the different classes become further apart in the latent space. Experiments on two widely used datasets show that our model can achieve state-of-the-art performance in both cross-domain and multi-domain sentiment analysis tasks. Meanwhile, visualizations demonstrate the effectiveness of transferring knowledge learned in the source domain to the target domain and the adversarial test verifies the robustness of our model.

 

교차 도메인 감정 분석은 텍스트의 감정을 예측하는 것을 목표로 한다. 소스 도메인에서 훈련된 모델을 사용하여 대상 도메인을 처리합니다. 분류된 데이터의 부족 이전 연구는 대부분 교차 엔트로피 기반이다. 불안정성과 열악한 일반화로 고통받는 작업에 대한 방법들 인 이 논문에서는 교차 도메인 정서에 대한 대조적인 학습을 탐구한다. 분석 작업 우리는 배치 내와 수정된 대조 목표를 제안한다. 같은 클래스의 문장 표현이 다음과 같은 음의 샘플. 다른 계급의 사람들이 더 멀리 떨어져 있는 동안 가까이 밀리다. 잠복 공간 널리 사용되는 두 데이터 세트에 대한 실험은 우리의 모델이 교차 도메인 및 다중 도메인 모두에서 최첨단 성능을 달성할 수 있습니다. 감정 분석 작업 한편, 시각화는 다음을 보여줍니다. 소스 도메인에서 학습된 지식을 이전하는 것의 효과. 대상 도메인과 적대적 테스트는 우리 모델의 견고성을 검증한다. 

 

 

Open Information Extraction from 2007 to 2022 -- A Survey

 

Open information extraction is an important NLP task that targets extracting structured information from unstructured text without limitations on the relation type or the domain of the text. This survey paper covers open information extraction technologies from 2007 to 2022 with a focus on new models not covered by previous surveys. We propose a new categorization method from the source of information perspective to accommodate the development of recent OIE technologies. In addition, we summarize three major approaches based on task settings as well as current popular datasets and model evaluation metrics. Given the comprehensive review, several future directions are shown from datasets, source of information, output form, method, and evaluation metric aspects.

 

공개 정보 추출은 추출을 목표로 하는 중요한 NLP 작업이다. 비구조화 텍스트의 구조화된 정보(제한 없음) 관계 유형 또는 텍스트의 도메인입니다. 이 설문지는 공개되어 있다. 2007년부터 2022년까지 새로운 것에 초점을 맞춘 정보 추출 기술 이전 설문조사에서 다루지 않은 모델. 우리는 새로운 분류 방법을 제안한다. 의 개발을 수용하기 위한 정보의 원천적 관점에서. 최신 OIE 기술. 또한, 우리는 세 가지 주요 접근 방식을 기반으로 요약한다. 작업 설정 및 현재 인기 있는 데이터 세트 및 모델 평가 측정 기준 포괄적인 검토를 고려할 때, 몇 가지 미래 방향이 제시된다. 데이터 세트, 정보 소스, 출력 형식, 방법 및 평가에서 미터법적 측면