[2023-12-30] 오늘의 자연어처리

Make BERT-based Chinese Spelling Check Model Enhanced by Layerwise Attention and Gaussian Mixture Model

 

Abstract:BERT-based models have shown a remarkable ability in the Chinese Spelling Check (CSC) task recently. However, traditional BERT-based methods still suffer from two limitations. First, although previous works have identified that explicit prior knowledge like Part-Of-Speech (POS) tagging can benefit in the CSC task, they neglected the fact that spelling errors inherent in CSC data can lead to incorrect tags and therefore mislead models. Additionally, they ignored the correlation between the implicit hierarchical information encoded by BERT's intermediate layers and different linguistic phenomena. This results in sub-optimal accuracy. To alleviate the above two issues, we design a heterogeneous knowledge-infused framework to strengthen BERT-based CSC models. To incorporate explicit POS knowledge, we utilize an auxiliary task strategy driven by Gaussian mixture model. Meanwhile, to incorporate implicit hierarchical linguistic knowledge within the encoder, we propose a novel form of n-gram-based layerwise self-attention to generate a multilayer representation. Experimental results show that our proposed framework yields a stable performance boost over four strong baseline models and outperforms the previous state-of-the-art methods on two datasets.

 

추상화:BERT 기반 모델은 최근 중국어 맞춤법 검사(CSC) 과제에서 괄목할 만한 능력을 보여주고 있다. 그러나 기존의 BERT 기반 방법은 여전히 두 가지 한계를 겪고 있다. 첫째, 이전의 연구들은 음성 부분 태깅(POS)과 같은 명시적인 사전 지식이 CSC 작업에서 도움이 될 수 있다는 것을 확인했지만, CSC 데이터에 내재된 철자 오류가 잘못된 태그를 초래하여 모델을 오도할 수 있다는 사실을 무시했다. 또한 이들은 BERT의 중간 계층에 의해 암호화된 암묵적 계층 정보와 상이한 언어 현상 사이의 상관관계를 무시했다. 이는 최적이 아닌 정확도를 초래한다. 위의 두 가지 문제를 완화하기 위해 BERT 기반 CSC 모델을 강화하기 위해 이질적인 지식이 주입된 프레임워크를 설계한다. 명시적 POS 지식을 통합하기 위해 가우시안 혼합 모델에 의해 구동되는 보조 작업 전략을 활용한다. 한편, 인코더 내에 암시적 계층 언어학적 지식을 통합하기 위해 다층 표현을 생성하기 위한 새로운 형태의 n-그램 기반 계층적 자기 주의를 제안한다. 실험 결과는 우리가 제안한 프레임워크가 4개의 강력한 기준 모델에 비해 안정적인 성능 향상을 제공하고 2개의 데이터 세트에서 이전의 최첨단 방법을 능가한다는 것을 보여준다. 

 

 

Graph Neural Networks for Antisocial Behavior Detection on Twitter

 

Abstract:Social media resurgence of antisocial behavior has exerted a downward spiral on stereotypical beliefs, and hateful comments towards individuals and social groups, as well as false or distorted news. The advances in graph neural networks employed on massive quantities of graph-structured data raise high hopes for the future of mediating communication on social media platforms. An approach based on graph convolutional data was employed to better capture the dependencies between the heterogeneous types of data. Utilizing past and present experiences on the topic, we proposed and evaluated a graph-based approach for antisocial behavior detection, with general applicability that is both language- and context-independent. In this research, we carried out an experimental validation of our graph-based approach on several PAN datasets provided as part of their shared tasks, that enable the discussion of the results obtained by the proposed solution.

 

추상화:소셜 미디어의 반사회적 행동의 부활은 틀에 박힌 신념과 개인 및 사회 집단에 대한 혐오 발언, 허위 또는 왜곡된 뉴스에 하향 나선을 작용했다. 방대한 양의 그래프 구조 데이터에 사용되는 그래프 신경망의 발전은 소셜 미디어 플랫폼에서 커뮤니케이션을 매개할 미래에 대한 큰 희망을 준다. 이종 유형의 데이터 간의 의존성을 보다 잘 포착하기 위해 그래프 컨볼루션 데이터를 기반으로 한 접근법을 사용하였다. 주제에 대한 과거 및 현재 경험을 활용하여 언어 및 맥락에 독립적인 일반적인 적용 가능성을 가진 반사회적 행동 탐지를 위한 그래프 기반 접근법을 제안하고 평가했다. 본 연구에서는 공유 작업의 일부로 제공된 여러 PAN 데이터 세트에 대한 그래프 기반 접근 방식의 실험적 검증을 수행하여 제안된 솔루션으로 얻은 결과를 논의할 수 있다. 

 

 

Unified Lattice Graph Fusion for Chinese Named Entity Recognition

 

Abstract:Integrating lexicon into character-level sequence has been proven effective to leverage word boundary and semantic information in Chinese named entity recognition (NER). However, prior approaches usually utilize feature weighting and position coupling to integrate word information, but ignore the semantic and contextual correspondence between the fine-grained semantic units in the character-word space. To solve this issue, we propose a Unified Lattice Graph Fusion (ULGF) approach for Chinese NER. ULGF can explicitly capture various semantic and boundary relations across different semantic units with the adjacency matrix by converting the lattice structure into a unified graph. We stack multiple graph-based intra-source self-attention and inter-source cross-gating fusion layers that iteratively carry out semantic interactions to learn node representations. To alleviate the over-reliance on word information, we further propose to leverage lexicon entity classification as an auxiliary task. Experiments on four Chinese NER benchmark datasets demonstrate the superiority of our ULGF approach.

 

추상화:어휘를 문자 수준 시퀀스에 통합하는 것은 중국어 명명 개체 인식(NER)에서 단어 경계 및 의미 정보를 활용하는 데 효과적인 것으로 입증되었다. 그러나, 선행 접근법들은 일반적으로 단어 정보를 통합하기 위해 특징 가중 및 위치 결합을 활용하지만, 문자-단어 공간에서 세분화된 의미 단위들 사이의 의미론적 및 문맥적 대응을 무시한다. 이러한 문제를 해결하기 위해 중국 NER에 대한 ULGF(Unified Ratitude Graph Fusion) 접근법을 제안한다. ULGF는 격자 구조를 통일된 그래프로 변환함으로써 인접 행렬과의 상이한 의미 단위에 걸친 다양한 의미 및 경계 관계를 명시적으로 캡처할 수 있다. 우리는 노드 표현을 학습하기 위해 의미론적 상호 작용을 반복적으로 수행하는 여러 그래프 기반 소스 내 자기 주의 및 소스 간 교차 게이팅 융합 레이어를 스택한다. 단어 정보에 대한 과도한 의존을 완화하기 위해 추가적으로 어휘 개체 분류를 보조 작업으로 활용할 것을 제안한다. 4개의 중국 NER 벤치마크 데이터 세트에 대한 실험은 ULGF 접근법의 우수성을 보여준다.