[2022-11-08] 오늘의 자연어처리

Once-for-All Sequence Compression for Self-Supervised Speech Models

 

The sequence length along the time axis is often the dominant factor of the computational cost of self-supervised speech models. Works have been proposed to reduce the sequence length for lowering the computational cost. However, different downstream tasks have different tolerance of sequence compressing, so a model that produces a fixed compressing rate may not fit all tasks. In this work, we introduce a once-for-all (OFA) sequence compression framework for self-supervised speech models that supports a continuous range of compressing rates. The framework is evaluated on various tasks, showing marginal degradation compared to the fixed compressing rate variants with a smooth performance-efficiency trade-off. We further explore adaptive compressing rate learning, demonstrating the ability to select task-specific preferred frame periods without needing a grid search.

 

시간 축을 따르는 시퀀스 길이는 종종 의 지배적인 요소이다. 자기 지도 음성 모델의 계산 비용 작업이 제안되었습니다. 계산 비용을 낮추기 위해 시퀀스 길이를 줄입니다. 하지만, 다운스트림 작업마다 시퀀스 압축에 대한 허용오차가 다릅니다. 고정 압축률을 생성하는 모형은 일부 작업에 적합하지 않을 수 있습니다. 이 점에서. 작업, 우리는 모두를 위한 일회성(OFA) 시퀀스 압축 프레임워크를 소개한다. 지속적인 압축 범위를 지원하는 자체 감독 음성 모델 비율. 프레임워크는 다양한 작업에 대해 평가되며, 한계점을 보여준다. 평활성을 가진 고정 압축률 변형에 비해 열화 성능-효율성 트레이드오프입니다. 적응형 압축 속도를 추가로 탐색합니다. 학습, 작업별 선호 프레임을 선택하는 기능 시연 그리드 검색이 필요 없는 기간입니다. 

 

 

A Transformer Architecture for Online Gesture Recognition of Mathematical Expressions

 

The Transformer architecture is shown to provide a powerful framework as an end-to-end model for building expression trees from online handwritten gestures corresponding to glyph strokes. In particular, the attention mechanism was successfully used to encode, learn and enforce the underlying syntax of expressions creating latent representations that are correctly decoded to the exact mathematical expression tree, providing robustness to ablated inputs and unseen glyphs. For the first time, the encoder is fed with spatio-temporal data tokens potentially forming an infinitely large vocabulary, which finds applications beyond that of online gesture recognition. A new supervised dataset of online handwriting gestures is provided for training models on generic handwriting recognition tasks and a new metric is proposed for the evaluation of the syntactic correctness of the output expression trees. A small Transformer model suitable for edge inference was successfully trained to an average normalised Levenshtein accuracy of 94%, resulting in valid postfix RPN tree representation for 94% of predictions.

 

트랜스포머 아키텍처는 강력한 프레임워크를 제공하는 것으로 나타났다. 온라인 필기 제스처로부터 표현 트리를 만들기 위한 종단 간 모델 글리프 스트로크에 해당됩니다. 특히 주의 메커니즘은 인코딩, 학습 및 기본 구문 적용에 성공적으로 사용됩니다. 정확하게 디코딩되는 잠재 표현을 생성하는 표현 정확한 수학적 표현 트리, 축소된 입력에 견고성을 제공합니다. 보이지 않는 글리프 처음으로, 인코더는 시공간 데이터를 공급받는다. 토큰은 잠재적으로 무한히 큰 어휘를 형성하며, 이는 다음을 발견한다. 온라인 제스처 인식 이상의 응용 프로그램입니다. 새로운 감독 온라인 필기 제스처의 데이터 세트는 교육 모델을 위해 제공된다. 일반적인 필기 인식 작업 및 새로운 메트릭이 제안됩니다. 출력 식 트리의 구문 정확성 평가. 작은 에지 추론에 적합한 변압기 모델이 성공적으로 훈련되었다. 평균 정규화된 Levenshtein 정확도 94%로 유효한 포스트픽스 RPN이 생성되었습니다. 예측의 94%에 대한 트리 표현. 

 

 

Continuous Prompt Tuning Based Textual Entailment Model for E-commerce Entity Typing

 

The explosion of e-commerce has caused the need for processing and analysis of product titles, like entity typing in product titles. However, the rapid activity in e-commerce has led to the rapid emergence of new entities, which is difficult to be solved by general entity typing. Besides, product titles in e-commerce have very different language styles from text data in general domain. In order to handle new entities in product titles and address the special language styles problem of product titles in e-commerce domain, we propose our textual entailment model with continuous prompt tuning based hypotheses and fusion embeddings for e-commerce entity typing. First, we reformulate the entity typing task into a textual entailment problem to handle new entities that are not present during training. Second, we design a model to automatically generate textual entailment hypotheses using a continuous prompt tuning method, which can generate better textual entailment hypotheses without manual design. Third, we utilize the fusion embeddings of BERT embedding and CharacterBERT embedding with a two-layer MLP classifier to solve the problem that the language styles of product titles in e-commerce are different from that of general domain. To analyze the effect of each contribution, we compare the performance of entity typing and textual entailment model, and conduct ablation studies on continuous prompt tuning and fusion embeddings. We also evaluate the impact of different prompt template initialization for the continuous prompt tuning. We show our proposed model improves the average F1 score by around 2% compared to the baseline BERT entity typing model.

 

전자 상거래의 폭발로 인해 처리 및 분석이 필요하게 되었습니다. 제품 제목에 엔터티를 입력하는 것과 같은 제품 제목에 대해 설명합니다. 하지만, 빠른 것은 전자 상거래에서의 활동은 새로운 실체의 빠른 출현으로 이어졌다. 일반적인 엔티티 타이핑으로 해결하기 어렵습니다. 게다가, 제품 타이틀은 전자 상거래는 일반적으로 텍스트 데이터와 매우 다른 언어 스타일을 가지고 있다. 도메인. 제품 제목에서 새로운 엔티티를 처리하고 주소를 지정하기 위해. 전자 상거래 영역에서 제품 타이틀의 특별한 언어 스타일 문제, 우리는 지속적인 신속한 튜닝 기반 텍스트 포함 모델을 제안합니다. 전자 상거래 엔티티 입력을 위한 가설 및 융합 임베딩. 일단 저희가. 엔티티 타이핑 작업을 처리할 텍스트 포함 문제로 재구성합니다. 교육 중에 존재하지 않는 새로운 엔티티. 둘째, 우리는 다음과 같은 모델을 설계한다. 연속 프롬프트를 사용하여 자동으로 텍스트 수반 가설 생성 튜닝 방법, 이것은 더 나은 텍스트 수반 가설을 생성할 수 있다. 수동 설계 셋째, 우리는 BERT 임베딩의 융합 임베딩을 활용한다. 캐릭터 B문제를 해결하기 위해 2층 MLP 분류기를 사용한 ERT 임베딩 전자 상거래에서 제품 타이틀의 언어 스타일이 다른 것. 일반 영역의 그것. 각 기여의 효과를 분석하기 위해, 우리는 비교한다. 엔티티 타이핑 및 텍스트 수반 모델의 수행 및 수행 지속적인 신속한 튜닝 및 융합 임베딩에 대한 절제 연구. 저희도. 다양한 프롬프트 템플릿 초기화의 영향을 평가합니다. 연속적 신속한 튜닝 우리는 제안된 모델이 평균 F1을 향상시킨다는 것을 보여준다. 기본 BERT 엔티티 타이핑 모델과 비교하여 약 2%의 점수를 획득합니다.