[2023-07-23] 오늘의 자연어처리

A Dataset and Strong Baselines for Classification of Czech News Texts

 

Pre-trained models for Czech Natural Language Processing are often evaluated on purely linguistic tasks (POS tagging, parsing, NER) and relatively simple classification tasks such as sentiment classification or article classification from a single news source. As an alternative, we present CZEch~NEws~Classification~dataset (CZE-NEC), one of the largest Czech classification datasets, composed of news articles from various sources spanning over twenty years, which allows a more rigorous evaluation of such models. We define four classification tasks: news source, news category, inferred author's gender, and day of the week. To verify the task difficulty, we conducted a human evaluation, which revealed that human performance lags behind strong machine-learning baselines built upon pre-trained transformer models. Furthermore, we show that language-specific pre-trained encoder analysis outperforms selected commercially available large-scale generative language models.

 

체코어 자연어 처리를 위한 사전 훈련된 모델은 종종 평가된다 순수 언어 작업(POS 태깅, 구문 분석, NER) 및 비교적 단순한 감정 분류 또는 기사 분류와 같은 분류 작업 하나의 소식통으로부터. 대안으로, 우리는 제시한다 체코 최대 규모 중 하나인 CZEch~NEWS~분류~데이터 세트(CZE-NEC) 다양한 출처의 뉴스 기사로 구성된 분류 데이터 세트 20년 이상에 걸쳐, 그것은 그러한 것에 대한 보다 엄격한 평가를 가능하게 한다 모델들. 우리는 네 가지 분류 과제를 정의한다: 뉴스 소스, 뉴스 카테고리, 저자의 성별과 요일을 유추합니다. 작업 난이도를 확인하기 위해, 우리는 인간 평가를 실시했고, 그것은 인간의 성과가 뒤처진다는 것을 보여주었다 사전 훈련된 변압기를 기반으로 구축된 강력한 기계 학습 기준선 뒤에서 모델들. 또한, 우리는 언어별 사전 훈련된 인코더를 보여준다 분석은 선택된 상업적으로 이용 가능한 대규모 생성을 능가한다 언어 모델. 

 

 

Learn to Compose Syntactic and Semantic Representations Appropriately for Compositional Generalization

 

Recent studies have shown that sequence-to-sequence (Seq2Seq) models are limited in solving the compositional generalization (CG) tasks, failing to systematically generalize to unseen compositions of seen components. There is mounting evidence that one of the reasons hindering CG is the representation of the encoder uppermost layer is entangled. In other words, the syntactic and semantic representations of sequences are twisted inappropriately. However, most previous studies mainly concentrate on enhancing semantic information at token-level, rather than composing the syntactic and semantic representations of sequences appropriately as humans do. In addition, we consider the representation entanglement problem they found is not comprehensive, and further hypothesize that source keys and values representations passing into different decoder layers are also entangled. Staring from this intuition and inspired by humans' strategies for CG, we propose COMPSITION (Compose Syntactic and Semantic Representations), an extension to Seq2Seq models to learn to compose representations of different encoder layers appropriately for generating different keys and values passing into different decoder layers through introducing a composed layer between the encoder and decoder. COMPSITION achieves competitive and even state-of-the-art results on two realistic benchmarks, which empirically demonstrates the effectiveness of our proposal.

 

최근 연구에 따르면 시퀀스 투 시퀀스(Seq2Seq) 모델은 구성 일반화(CG) 작업을 해결하는 데 제한이 있지만 실패했습니다 보이지 않는 구성 요소의 구성으로 체계적으로 일반화합니다. 있어 CG를 방해하는 이유 중 하나가 다음의 표현이라는 증거가 증가하고 있다 인코더 최상층이 얽혀 있습니다. 다시 말해서, 통사론과 시퀀스의 의미론적 표현이 부적절하게 꼬인다. 하지만, 대부분의 이전 연구는 주로 의미 정보를 향상시키는 데 집중한다 구문 및 의미론적 표현을 구성하는 대신 토큰 수준 인간이 하는 것처럼 적절하게 배열의. 추가로, 우리는 고려한다 그들이 발견한 표현 얽힘 문제는 포괄적이지 않다 소스 키와 값 표현이 전달된다는 가설을 추가합니다 서로 다른 디코더 레이어도 얽혀 있습니다. 이 직관에서 바라보면서 CG에 대한 인간의 전략에서 영감을 받아 컴포지션(Composition)을 제안한다 및 의미론적 표현), Seq2Seq 모델의 확장을 통해 학습할 수 있습니다 서로 다른 인코더 레이어의 표현을 적절하게 구성합니다 서로 다른 디코더 계층에 전달되는 서로 다른 키 및 값 생성 인코더와 디코더 사이에 합성 레이어를 도입함으로써. 컴피티션은 두 가지 측면에서 경쟁력 있고 최첨단 결과를 달성합니다 우리의 효과를 경험적으로 보여주는 현실적인 벤치마크 제안. 

 

 

Findings of Factify 2: Multimodal Fake News Detection

 

With social media usage growing exponentially in the past few years, fake news has also become extremely prevalent. The detrimental impact of fake news emphasizes the need for research focused on automating the detection of false information and verifying its accuracy. In this work, we present the outcome of the Factify 2 shared task, which provides a multi-modal fact verification and satire news dataset, as part of the DeFactify 2 workshop at AAAI'23. The data calls for a comparison based approach to the task by pairing social media claims with supporting documents, with both text and image, divided into 5 classes based on multi-modal relations. In the second iteration of this task we had over 60 participants and 9 final test-set submissions. The best performances came from the use of DeBERTa for text and Swinv2 and CLIP for image. The highest F1 score averaged for all five classes was 81.82%.

 

지난 몇 년간 소셜 미디어 사용이 기하급수적으로 증가함에 따라, 가짜 뉴스는 또한 극도로 널리 퍼졌습니다. 가짜 뉴스의 해로운 영향 거짓 탐지 자동화에 초점을 맞춘 연구의 필요성을 강조한다 정보를 확인하고 정확성을 확인합니다. 이 작업에서, 우리는 결과를 제시한다 Factify 2 공유 작업, 다중 형식 사실 확인 및 AAAI'23의 DeFactify 2 워크숍의 일환으로 풍자 뉴스 데이터 세트. 데이터 소셜 미디어를 결합하여 작업에 대한 비교 기반 접근 방식을 요구합니다 텍스트와 이미지가 모두 포함된 증빙 서류를 포함한 청구는 5개로 나뉜다 다차원 관계에 기초한 수업. 이 작업의 두 번째 반복에서 우리는 60명 이상의 참가자와 9개의 최종 테스트 세트 제출이 있었다. 최고야 성능은 텍스트를 위한 DeBERTa와 다음을 위한 Swinv2와 CLIP의 사용으로부터 왔다 이미지. 5개 학급 모두 평균 F1 최고 점수는 81.82%였다.