[2022-09-14] 오늘의 자연어처리

Stability of Syntactic Dialect Classification Over Space and Time

 

This paper analyses the degree to which dialect classifiers based on syntactic representations remain stable over space and time. While previous work has shown that the combination of grammar induction and geospatial text classification produces robust dialect models, we do not know what influence both changing grammars and changing populations have on dialect models. This paper constructs a test set for 12 dialects of English that spans three years at monthly intervals with a fixed spatial distribution across 1,120 cities. Syntactic representations are formulated within the usage-based Construction Grammar paradigm (CxG). The decay rate of classification performance for each dialect over time allows us to identify regions undergoing syntactic change. And the distribution of classification accuracy within dialect regions allows us to identify the degree to which the grammar of a dialect is internally heterogeneous. The main contribution of this paper is to show that a rigorous evaluation of dialect classification models can be used to find both variation over space and change over time.

 

이 논문은 방언 분류자가 다음을 기반으로 하는 정도를 분석한다. 통사적 표현은 공간과 시간에 걸쳐 안정적으로 유지됩니다. 이전 동안 작업은 문법 귀납과 지리공간 텍스트의 조합을 보여주었다. 분류는 강력한 방언 모델을 생성하며, 우리는 어떤 영향을 미치는지 모른다. 문법 변화와 인구 변화는 모두 방언 모델을 가지고 있다. 이것. 종이는 3년에 걸친 12개의 영어 방언을 위한 시험 세트를 구성한다. 1120개 도시에 걸쳐 고정된 공간 분포를 가진 월 간격으로. 통사적 표현은 사용 기반 구조 내에서 공식화된다. 문법 패러다임(CxG). 각 분류 성능의 붕괴율 사투리는 시간이 지남에 따라 통사적 변화를 겪고 있는 지역을 식별할 수 있게 해준다. 그리고 방언 지역 내 분류 정확도의 분포는 다음을 가능하게 한다. 우리는 방언의 문법이 내부적으로 어느 정도인지 식별한다. 이종의 이 논문의 주요 기여는 엄격한 것을 보여주는 것이다. 방언 분류 모델의 평가는 두 가지 변형을 모두 찾는 데 사용될 수 있다. 공간을 초월하고 시간이 지남에 따라 변화합니다. 

 

 

Towards Multi-Lingual Visual Question Answering

 

Visual Question Answering (VQA) has been primarily studied through the lens of the English language. Yet, tackling VQA in other languages in the same manner would require considerable amount of resources. In this paper, we propose scalable solutions to multi-lingual visual question answering (mVQA), on both data and modeling fronts. We first propose a translation-based framework to mVQA data generation that requires much less human annotation efforts than the conventional approach of directly collection questions and answers. Then, we apply our framework to the multi-lingual captions in the Crossmodal-3600 dataset and develop an efficient annotation protocol to create MAVERICS-XM3600 (MaXM), a test-only VQA benchmark in 7 diverse languages. Finally, we propose an approach to unified, extensible, open-ended, and end-to-end mVQA modeling and demonstrate strong performance in 13 languages.

 

VQA(Visual Question Answering)는 주로 렌즈를 통해 연구되었습니다. 영어의 하지만, 같은 언어로 다른 언어로 VQA를 다루고 있습니다. 방법은 상당한 양의 자원을 필요로 할 것이다. 이 논문에서, 우리는 다국어 시각적 질문 답변(mVQA)에 대한 확장 가능한 솔루션 제안 데이터 및 모델링 측면 모두에서. 먼저 번역 기반 서비스를 제안합니다. 사람 주석을 훨씬 덜 필요로 하는 mVQA 데이터 생성을 위한 프레임워크 질문을 직접 수집하는 기존의 접근 방식보다 더 많은 노력과 답들. 그런 다음, 우리는 틀을 다국어 캡션에 적용합니다. 교차 modal-3600 데이터 세트 및 효율적인 주석 프로토콜을 개발하여 생성 MAVERICS-XM3600(MaXM)은 7가지 언어로 된 테스트 전용 VQA 벤치마크입니다. 마지막으로, 우리는 통합, 확장, 개방형 및 엔드 투 엔드 mVQA 모델링 및 13개 언어로 강력한 성능 입증 

 

 

Probing for Understanding of English Verb Classes and Alternations in Large Pre-trained Language Models

 

We investigate the extent to which verb alternation classes, as described by Levin (1993), are encoded in the embeddings of Large Pre-trained Language Models (PLMs) such as BERT, RoBERTa, ELECTRA, and DeBERTa using selectively constructed diagnostic classifiers for word and sentence-level prediction tasks. We follow and expand upon the experiments of Kann et al. (2019), which aim to probe whether static embeddings encode frame-selectional properties of verbs. At both the word and sentence level, we find that contextual embeddings from PLMs not only outperform non-contextual embeddings, but achieve astonishingly high accuracies on tasks across most alternation classes. Additionally, we find evidence that the middle-to-upper layers of PLMs achieve better performance on average than the lower layers across all probing tasks.

 

우리는 다음과 같이 설명되는 동사 교대 클래스의 범위를 조사한다. Levin(1993)은 사전 훈련된 대형 언어의 임베딩으로 인코딩된다. 선택적으로 사용하는 BERT, RoBERTa, ELCTRA 및 DeBERTa와 같은 모델(PLM) 단어 및 문장 수준 예측을 위한 구성된 진단 분류기 과제. 우리는 칸 외(2019)의 실험을 따르고 확장한다. 정적 임베딩이 프레임 선택 특성을 인코딩하는지 여부를 조사하는 것을 목표로 한다. 동사들. 단어와 문장 수준 모두에서, 우리는 문맥적인 임베딩들을 발견됩니다. PLM에서 비 컨텍스트 임베딩보다 성능이 우수할 뿐만 아니라 대부분의 교대 수업에서 작업에 대한 놀라울 정도로 높은 정확도. 또한, 우리는 PLM의 중간에서 상위 계층이 달성한다는 증거를 발견한다. 모든 탐색 작업에서 하위 계층보다 평균적으로 더 나은 성능을 제공합니다.