[2022-12-10] 오늘의 자연어처리

Robust Speech Recognition via Large-Scale Weak Supervision

 

We study the capabilities of speech processing systems trained simply to predict large amounts of transcripts of audio on the internet. When scaled to 680,000 hours of multilingual and multitask supervision, the resulting models generalize well to standard benchmarks and are often competitive with prior fully supervised results but in a zero-shot transfer setting without the need for any fine-tuning. When compared to humans, the models approach their accuracy and robustness. We are releasing models and inference code to serve as a foundation for further work on robust speech processing.

 

우리는 단순히 다음과 같이 훈련된 음성 처리 시스템의 능력을 연구한다. 인터넷에서 많은 양의 음성 녹취록을 예측한다. 크기 조정 시 680,000시간의 다국어 및 멀티태스킹 감독, 그 결과 모델 표준 벤치마크에 맞게 잘 일반화하고 이전과 경쟁하는 경우가 많습니다. 완전히 감독된 결과이지만 필요 없이 제로샷 전송 설정을 사용할 수 있습니다. 모든 미세 조정에 사용됩니다. 인간과 비교했을 때, 모델들은 그들의 정확성과 견고성. 우리는 다음과 같은 역할을 할 모델과 추론 코드를 발표할 것이다. 강력한 음성 처리에 대한 추가 연구를 위한 기초 

 

 

A Comprehensive Survey on Multi-hop Machine Reading Comprehension Approaches

 

Machine reading comprehension (MRC) is a long-standing topic in natural language processing (NLP). The MRC task aims to answer a question based on the given context. Recently studies focus on multi-hop MRC which is a more challenging extension of MRC, which to answer a question some disjoint pieces of information across the context are required. Due to the complexity and importance of multi-hop MRC, a large number of studies have been focused on this topic in recent years, therefore, it is necessary and worth reviewing the related literature. This study aims to investigate recent advances in the multi-hop MRC approaches based on 31 studies from 2018 to 2022. In this regard, first, the multi-hop MRC problem definition will be introduced, then 31 models will be reviewed in detail with a strong focus on their multi-hop aspects. They also will be categorized based on their main techniques. Finally, a fine-grain comprehensive comparison of the models and techniques will be presented.

 

기계 독해(MRC)는 자연계의 오랜 주제이다. 언어 처리(NLP). MRC 과제는 다음을 기반으로 질문에 답하는 것을 목표로 한다. 주어진 문맥 최근 연구들은 더 많은 멀티홉 MRC에 초점을 맞추고 있다. MRC의 도전적인 확장, 일부 분리된 부분에 대한 질문에 답하기. 컨텍스트 전체의 정보가 필요합니다. 복잡성으로 인해 멀티홉 MRC의 중요성, 많은 연구들이 집중되어 왔다. 따라서 최근 몇 년 동안 이 주제는 필요하고 검토할 가치가 있다. 관련 문헌 이 연구는 최근의 발전을 조사하는 것을 목표로 한다. 2018년부터 2022년까지 31개의 연구를 기반으로 한 멀티홉 MRC 접근법. 이 점에 있어서는 먼저, 멀티홉 MRC 문제 정의가 소개될 것이고, 그 다음에 31개의 모델이 소개될 것이다. 그들의 멀티홉 측면에 중점을 두고 자세히 검토될 것이다. 그들은 또한 그들의 주요 기술에 따라 분류될 것이다. 마침내, 미세한 알갱이. 모델과 기법의 포괄적인 비교가 제시될 것이다. 

 

 

Scientific Paper Extractive Summarization Enhanced by Citation Graphs

 

In a citation graph, adjacent paper nodes share related scientific terms and topics. The graph thus conveys unique structure information of document-level relatedness that can be utilized in the paper summarization task, for exploring beyond the intra-document information. In this work, we focus on leveraging citation graphs to improve scientific paper extractive summarization under different settings. We first propose a Multi-granularity Unsupervised Summarization model (MUS) as a simple and low-cost solution to the task. MUS finetunes a pre-trained encoder model on the citation graph by link prediction tasks. Then, the abstract sentences are extracted from the corresponding paper considering multi-granularity information. Preliminary results demonstrate that citation graph is helpful even in a simple unsupervised framework. Motivated by this, we next propose a Graph-based Supervised Summarization model (GSS) to achieve more accurate results on the task when large-scale labeled data are available. Apart from employing the link prediction as an auxiliary task, GSS introduces a gated sentence encoder and a graph information fusion module to take advantage of the graph information to polish the sentence representation. Experiments on a public benchmark dataset show that MUS and GSS bring substantial improvements over the prior state-of-the-art model.

 

인용 그래프에서, 인접한 종이 노드들은 관련된 과학 용어들을 공유한다. 따라서 그래프는 문서 수준의 고유한 구조 정보를 전달합니다. 논문 요약 과제에서 활용할 수 있는 관련성, 탐구를 위한 내부 정보를 넘어서. 이 작업에서는 활용에 중점을 둡니다. 인용 그래프를 사용하여 과학 논문 추출 요약을 개선합니다. 다른 설정 우리는 먼저 비지도 다중 입자성을 제안한다. 작업에 대한 간단하고 저렴한 솔루션인 요약 모델(MUS). MUS 링크 예측을 통해 인용 그래프에서 사전 훈련된 인코더 모델을 미세 조정한다. 그리고 나서, 그 추상적인 문장들은 해당하는 종이로부터 추출된다. 다단계 정보를 고려할 때. 예비 결과는 다음을 보여준다. 인용 그래프는 단순한 비지도 프레임워크에서도 유용하다. 동기 부여 대상 이를 위해 다음으로 그래프 기반 감독 요약 모델(GSS)을 제안한다. 대규모 레이블링된 데이터가 다음과 같을 때 작업에 대한 보다 정확한 결과를 달성한다. 이용할 수 있는. 보조과제로서 링크 예측을 이용하는 것과는 별도로, GSS 게이트 문장 인코더와 그래프 정보 융합 모듈을 소개합니다. 그래프 정보를 활용하여 문장 표현을 다듬습니다. 공개 벤치마크 데이터 세트에 대한 실험은 MUS와 GSS가 다음을 가져온다는 것을 보여준다. 이전의 최첨단 모델에 비해 실질적인 개선.