[2022-12-03] 오늘의 자연어처리

Open Relation and Event Type Discovery with Type Abstraction

 

Conventional closed-world information extraction (IE) approaches rely on human ontologies to define the scope for extraction. As a result, such approaches fall short when applied to new domains. This calls for systems that can automatically infer new types from given corpora, a task which we refer to as type discovery. To tackle this problem, we introduce the idea of type abstraction, where the model is prompted to generalize and name the type. Then we use the similarity between inferred names to induce clusters. Observing that this abstraction-based representation is often complementary to the entity/trigger token representation, we set up these two representations as two views and design our model as a co-training framework. Our experiments on multiple relation extraction and event extraction datasets consistently show the advantage of our type abstraction approach. Code available at this https URL.

 

기존의 폐쇄 세계 정보 추출(IE) 접근 방식은 다음과 같다. 추출 범위를 정의하는 인간 온톨로지. 결과적으로, 그런 접근 방식은 새 도메인에 적용할 때 부족합니다. 이것은 다음과 같은 시스템을 필요로 한다. 주어진 말뭉치에서 새로운 유형을 자동으로 추론할 수 있으며, 우리가 참조하는 작업이다. 유형 검색으로 사용합니다. 이 문제를 해결하기 위해, 우리는 유형의 아이디어를 소개한다. 추상화 - 모델이 유형을 일반화하고 이름을 지정하라는 메시지를 표시합니다. 그리고나서 우리는 클러스터를 유도하기 위해 추론된 이름 사이의 유사성을 사용한다. 그것을 관찰하면서 이 추상화 기반 표현은 종종 다음과 같이 보완된다. 엔티티/트리거 토큰 표현, 우리는 이 두 표현을 두 개로 설정한다. 우리의 모델을 공동 교육 프레임워크로 보고 설계한다. 에 대한 우리의 실험. 다중 관계 추출 및 이벤트 추출 데이터 세트는 일관되게 보여줍니다. 유형 추상화 접근법의 장점. 코드 사용 가능 위치 이 https URL. 

 

 

Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis

 

Multimodal learning pipelines have benefited from the success of pretrained language models. However, this comes at the cost of increased model parameters. In this work, we propose Adapted Multimodal BERT (AMB), a BERT-based architecture for multimodal tasks that uses a combination of adapter modules and intermediate fusion layers. The adapter adjusts the pretrained language model for the task at hand, while the fusion layers perform task-specific, layer-wise fusion of audio-visual information with textual BERT representations. During the adaptation process the pre-trained language model parameters remain frozen, allowing for fast, parameter-efficient training. In our ablations we see that this approach leads to efficient models, that can outperform their fine-tuned counterparts and are robust to input noise. Our experiments on sentiment analysis with CMU-MOSEI show that AMB outperforms the current state-of-the-art across metrics, with 3.4% relative reduction in the resulting error and 2.1% relative improvement in 7-class classification accuracy.

 

멀티모달 학습 파이프라인은 사전 교육의 성공으로부터 이익을 얻었다. 언어 모델 그러나 이는 모델 매개 변수가 증가하는 비용으로 발생한다. 본 연구에서는 BERT 기반의 적응형 멀티모달 BERT(AMB)를 제안한다. 어댑터 모듈 조합을 사용하는 멀티모달 작업을 위한 아키텍처 그리고 중간 융합층. 어댑터가 사전 교육된 언어를 조정합니다. 융합 계층이 작업별로 수행하는 동안 당면한 작업에 대한 모델. 텍스트 BERT와 시청각 정보의 계층별 융합 표상 적응 과정 중에 사전 훈련된 언어 모델 매개 변수는 고정된 상태로 유지되므로 빠르고 매개 변수 효율적인 교육이 가능합니다. 인 우리의 절제술은 이 접근법이 효율적인 모델로 이어진다는 것을 알 수 있다, 그것은 다음과 같다. 미세 조정된 제품보다 성능이 우수하고 입력 노이즈에 강합니다. 우리들의 CMU-MOSEI를 사용한 감정 분석에 대한 실험은 AMB가 다음을 능가한다는 것을 보여준다. 측정 기준 전반에 걸쳐 현재의 최첨단 기술로, 3.4%의 상대적인 감소율을 보였다. 7-class 분류의 결과 오류 및 2.1% 상대적 개선 정확성. 

 

 

Embedding generation for text classification of Brazilian Portuguese user reviews: from bag-of-words to transformers

 

Text classification is a natural language processing (NLP) task relevant to many commercial applications, like e-commerce and customer service. Naturally, classifying such excerpts accurately often represents a challenge, due to intrinsic language aspects, like irony and nuance. To accomplish this task, one must provide a robust numerical representation for documents, a process known as embedding. Embedding represents a key NLP field nowadays, having faced a significant advance in the last decade, especially after the introduction of the word-to-vector concept and the popularization of Deep Learning models for solving NLP tasks, including Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs), and Transformer-based Language Models (TLMs). Despite the impressive achievements in this field, the literature coverage regarding generating embeddings for Brazilian Portuguese texts is scarce, especially when considering commercial user reviews. Therefore, this work aims to provide a comprehensive experimental study of embedding approaches targeting a binary sentiment classification of user reviews in Brazilian Portuguese. This study includes from classical (Bag-of-Words) to state-of-the-art (Transformer-based) NLP models. The methods are evaluated with five open-source databases with pre-defined data partitions made available in an open digital repository to encourage reproducibility. The Fine-tuned TLMs achieved the best results for all cases, being followed by the Feature-based TLM, LSTM, and CNN, with alternate ranks, depending on the database under analysis.

 

텍스트 분류는 다음과 관련된 자연어 처리(NLP) 작업이다. 전자 상거래 및 고객 서비스와 같은 많은 상업적 응용 프로그램 당연히. 그러한 발췌문을 정확하게 분류하는 것은 종종 도전을 나타낸다. 아이러니와 뉘앙스와 같은 본질적인 언어적 측면. 이 작업을 수행하려면 다음과 같이 하십시오. 문서에 대한 강력한 수치 표현을 제공해야 한다. 매립식으로 임베딩은 오늘날 핵심 NLP 분야를 대표한다. 지난 10년간, 특히 의 도입 후에, 상당한 발전. 단어 대 벡터 개념 및 딥 러닝 모델의 대중화 컨볼루션 신경망(CNN)을 포함한 NLP 작업 해결, 반복 신경망(RNN) 및 트랜스포머 기반 언어 모델(TLM). 불구하고 이 분야에서 인상적인 성과, 에 대한 문헌 보도. 특히 다음과 같은 경우 브라질 포르투갈어 텍스트에 대한 임베딩을 생성하는 것은 드물다. 상업적 사용자 리뷰를 고려할 때. 따라서, 이 작업은 다음을 제공하는 것을 목표로 한다. 이진법을 대상으로 하는 임베딩 접근법에 대한 포괄적인 실험 연구 브라질 포르투갈어로 된 사용자 리뷰의 정서 분류. 본 연구 클래식(백 오브 워드)부터 최첨단(트랜스포머 기반)까지 포함 NLP 모델. 이 방법들은 다음과 같은 5개의 오픈 소스 데이터베이스로 평가된다. 개방형 디지털 저장소에서 사용할 수 있는 사전 정의된 데이터 파티션 재현성을 높이다 미세 조정된 TLM은 다음에 대한 최상의 결과를 달성했습니다. 모든 사례, 기능 기반 TLM, LSTM 및 CNN이 뒤따른다. 분석 중인 데이터베이스에 따라 교대 순위를 지정합니다.