[2022-10-14] 오늘의 자연어처리

GMP*: Well-Tuned Global Magnitude Pruning Can Outperform Most BERT-Pruning Methods

 

We revisit the performance of the classic gradual magnitude pruning (GMP) baseline for large language models, focusing on the classic BERT benchmark on various popular tasks. Despite existing evidence in the literature that GMP performs poorly, we show that a simple and general variant, which we call GMP*, can match and sometimes outperform more complex state-of-the-art methods. Our results provide a simple yet strong baseline for future work, highlight the importance of parameter tuning for baselines, and even improve the performance of the state-of-the-art second-order pruning method in this setting.

 

우리는 고전적인 점진적 규모 가지치기(GMP)의 성능을 다시 살펴본다. 대규모 언어 모델을 위한 기준, 고전적인 BERT 벤치마크에 초점을 맞춥니다. 각양각색의 인기 있는 일 문헌의 기존 증거에도 불구하고 GMP는 성능이 좋지 않습니다. 우리는 GMP*라고 부르는 단순하고 일반적인 변형을 보여줍니다. 보다 복잡한 최첨단 방법에 필적할 수도 있고 때로는 능가할 수도 있습니다. 우리들의 결과는 미래 작업을 위한 간단하지만 강력한 기준선을 제공합니다. 기준선에 대한 매개 변수 조정의 중요성 및 성능 향상 이 설정에서 최첨단 2차 가지치기 방법의. 

 

 

Russian Web Tables: A Public Corpus of Web Tables for Russian Language Based on Wikipedia

 

Corpora that contain tabular data such as WebTables are a vital resource for the academic community. Essentially, they are the backbone of any modern research in information management. They are used for various tasks of data extraction, knowledge base construction, question answering, column semantic type detection and many other. Such corpora are useful not only as a source of data, but also as a base for building test datasets. So far, there were no such corpora for the Russian language and this seriously hindered research in the aforementioned areas. In this paper, we present the first corpus of Web tables created specifically out of Russian language material. It was built via a special toolkit we have developed to crawl the Russian Wikipedia. Both the corpus and the toolkit are open-source and publicly available. Finally, we present a short study that describes Russian Wikipedia tables and their statistics.

 

웹테이블과 같은 표 형식의 데이터를 포함하는 말뭉치는 다음과 같은 중요한 리소스입니다. 학계 본질적으로, 그들은 현대인의 중추이다. 정보 관리 연구 데이터의 다양한 작업에 사용됩니다. 추출, 기술 자료 구성, 질문 답변, 열 의미 유형 탐지 및 기타 여러 가지입니다. 그러한 말뭉치는 단지 출처로서 유용하지 않다. 데이터뿐만 아니라 테스트 데이터 세트를 구축하기 위한 기반으로도 사용됩니다. 지금까지는 그런 것이 없었다. 러시아어를 위한 말뭉치 그리고 이것은 심각하게 연구를 방해했다. 전술한 지역 이 논문에서, 우리는 특별히 만들어진 웹 테이블의 첫 번째 말뭉치를 제시한다. 러시아어로 된 자료에서. 그것은 우리가 가지고 있는 특별한 툴킷을 통해 만들어졌다. 러시아어 위키백과를 기어다니도록 개발되었다. 말뭉치와 툴킷 모두 오픈 소스이며 공개적으로 사용할 수 있습니다. 마지막으로, 우리는 다음과 같은 짧은 연구를 제시한다. 에서는 러시아어 위키백과 표와 그 통계를 설명합니다. 

 

 

Relational Graph Convolutional Neural Networks for Multihop Reasoning: A Comparative Study

 

Multihop Question Answering is a complex Natural Language Processing task that requires multiple steps of reasoning to find the correct answer to a given question. Previous research has explored the use of models based on Graph Neural Networks for tackling this task. Various architectures have been proposed, including Relational Graph Convolutional Networks (RGCN). For these many node types and relations between them have been introduced, such as simple entity co-occurrences, modelling coreferences, or "reasoning paths" from questions to answers via intermediary entities. Nevertheless, a thoughtful analysis on which relations, node types, embeddings and architecture are the most beneficial for this task is still missing. In this paper we explore a number of RGCN-based Multihop QA models, graph relations, and node embeddings, and empirically explore the influence of each on Multihop QA performance on the WikiHop dataset.

 

멀티홉 질문 답변은 복잡한 자연어 처리 작업입니다. 주어진 것에 대한 정확한 답을 찾기 위해 여러 단계의 추론을 필요로 한다. 질문. 이전 연구는 그래프를 기반으로 한 모델의 사용을 탐구했다. 이 작업을 수행하기 위한 신경망. 다양한 아키텍처가 있습니다. RGCN(Relational Graph Convolutional Networks)을 포함하여 제안되었습니다. 이것들을 위해 많은 노드 유형과 그들 사이의 관계가 소개되었다, 예를 들어, 단순하다. 실체 동시 발생, 상호 참조 모델링 또는 "유효한 경로" 중간 실체를 통한 답변에 대한 질문 그럼에도 불구하고, 사려 깊은 사람. 관계, 노드 유형, 임베딩 및 아키텍처에 대한 분석 이 작업에 가장 도움이 되는 것은 여전히 없습니다. 이 논문에서 우리는 다음을 탐구한다. RGCN 기반 Multihop QA 모델 수, 그래프 관계 및 노드 임베딩, 그리고 각각이 멀티홉 QA 성과에 미치는 영향을 경험적으로 탐구한다. WikiHop 데이터 집합입니다.