[2022-12-11] 오늘의 자연어처리

A Modality-level Explainable Framework for Misinformation Checking in Social Networks

 

The widespread of false information is a rising concern worldwide with critical social impact, inspiring the emergence of fact-checking organizations to mitigate misinformation dissemination. However, human-driven verification leads to a time-consuming task and a bottleneck to have checked trustworthy information at the same pace they emerge. Since misinformation relates not only to the content itself but also to other social features, this paper addresses automatic misinformation checking in social networks from a multimodal perspective. Moreover, as simply naming a piece of news as incorrect may not convince the citizen and, even worse, strengthen confirmation bias, the proposal is a modality-level explainable-prone misinformation classifier framework. Our framework comprises a misinformation classifier assisted by explainable methods to generate modality-oriented explainable inferences. Preliminary findings show that the misinformation classifier does benefit from multimodal information encoding and the modality-oriented explainable mechanism increases both inferences' interpretability and completeness.

 

허위 정보의 광범위한 확산은 세계적으로 증가하는 우려이다. 중요한 사회적 영향, 사실 확인 조직의 출현에 영감을 줍니다. 잘못된 정보 유포를 완화하기 위해. 그러나, 인간 주도의 검증 신뢰할 수 있는지 확인하는 데 시간이 많이 걸리는 작업과 병목 현상이 발생합니다. 그들이 출현하는 것과 같은 속도의 정보. 잘못된 정보만 관련된 것이 아니기 때문에 내용 자체뿐만 아니라 다른 사회적 특징에 대해서도 이 논문은 다룬다. 멀티모달에서 소셜 네트워크에서 자동으로 잘못된 정보 확인 관점. 게다가, 단순히 뉴스의 한 부분을 부정확한 것으로 명명하는 것은 그렇지 않을 수도 있다. 시민을 설득하고, 더 나쁜 것은 확인 편향을 강화하는 것이다. 제안은 양식 수준의 설명 가능한 잘못된 정보 분류기입니다. 골조 우리의 프레임워크는 잘못된 정보 분류기로 구성되어 있다. 형식 지향적이고 설명 가능한 추론을 생성하기 위한 설명 가능한 방법. 예비 결과는 잘못된 정보 분류기가 다음과 같은 이점을 제공한다는 것을 보여준다. 멀티모달 정보 인코딩 및 양식 지향 설명 가능한 메커니즘 추론의 해석 가능성과 완전성을 모두 증가시킨다. 

 

 

Harnessing the Power of Multi-Task Pretraining for Ground-Truth Level Natural Language Explanations

 

Natural language explanations promise to offer intuitively understandable explanations of a neural network's decision process in complex vision-language tasks, as pursued in recent VL-NLE models. While current models offer impressive performance on task accuracy and explanation plausibility, they suffer from a range of issues: Some models feature a modular design where the explanation generation module is poorly integrated with a separate module for task-answer prediction, employ backbone models trained on limited sets of tasks, or incorporate ad hoc solutions to increase performance on single datasets. We propose to evade these limitations by applying recent advances in large-scale multi-task pretraining of generative Transformer models to the problem of VL-NLE tasks. Our approach outperforms recent models by a large margin, with human annotators preferring the generated explanations over the ground truth in two out of three evaluated datasets. As a novel challenge in VL-NLE research, we propose the problem of multi-task VL-NLE and show that jointly training on multiple tasks can increase the explanation quality. We discuss the ethical implications of high-quality NLE generation and other issues in recent VL-NLE research.

 

자연어 설명은 직관적으로 이해할 수 있는 것을 제공할 것을 약속한다. 복잡한 비전 언어로 된 신경망의 의사 결정 과정에 대한 설명 최근 VL-NLE 모델에서 추구하는 작업. 현재 모델은 다음을 제공합니다. 작업 정확도 및 설명 신뢰성에 대한 인상적인 성능, 그들 다음과 같은 다양한 문제를 겪고 있습니다. 일부 모델은 모듈식 설계를 특징으로 합니다. 설명 생성 모듈이 별도의 모듈과 제대로 통합되지 않았습니다. 작업-답변 예측, 제한된 세트에 대해 훈련된 백본 모델을 사용한다. 단일 환경에서 성능 향상을 위한 특별 솔루션 통합 데이터 집합입니다. 우리는 최근의 발전을 적용함으로써 이러한 한계를 회피할 것을 제안한다. 생성 트랜스포머 모델의 대규모 멀티태스킹 사전 교육 VL-NLE 작업의 문제. 우리의 접근 방식은 최근 모델을 크게 능가한다. 여백, 인간 주석자가 생성된 설명을 선호하는 경우 세 개의 평가된 데이터 세트 중 두 개의 실제 데이터 세트. 의 새로운 도전으로서. VL-NLE 연구, 우리는 멀티태스킹 VL-NLE의 문제를 제안하고 다음을 보여준다. 여러 과제에 대한 공동 교육은 설명의 질을 높일 수 있다. 우리가 고품질 NLE 생성 및 기타의 윤리적 영향을 논의한다. 최근 VL-NLE 연구의 문제. 

 

 

Harnessing the Power of Multi-Task Pretraining for Ground-Truth Level Natural Language Explanations

 

Natural language explanations promise to offer intuitively understandable explanations of a neural network's decision process in complex vision-language tasks, as pursued in recent VL-NLE models. While current models offer impressive performance on task accuracy and explanation plausibility, they suffer from a range of issues: Some models feature a modular design where the explanation generation module is poorly integrated with a separate module for task-answer prediction, employ backbone models trained on limited sets of tasks, or incorporate ad hoc solutions to increase performance on single datasets. We propose to evade these limitations by applying recent advances in large-scale multi-task pretraining of generative Transformer models to the problem of VL-NLE tasks. Our approach outperforms recent models by a large margin, with human annotators preferring the generated explanations over the ground truth in two out of three evaluated datasets. As a novel challenge in VL-NLE research, we propose the problem of multi-task VL-NLE and show that jointly training on multiple tasks can increase the explanation quality. We discuss the ethical implications of high-quality NLE generation and other issues in recent VL-NLE research.

 

자연어 설명은 직관적으로 이해할 수 있는 것을 제공할 것을 약속한다. 복잡한 비전 언어로 된 신경망의 의사 결정 과정에 대한 설명 최근 VL-NLE 모델에서 추구하는 작업. 현재 모델은 다음을 제공합니다. 작업 정확도 및 설명 신뢰성에 대한 인상적인 성능, 그들 다음과 같은 다양한 문제를 겪고 있습니다. 일부 모델은 모듈식 설계를 특징으로 합니다. 설명 생성 모듈이 별도의 모듈과 제대로 통합되지 않았습니다. 작업-답변 예측, 제한된 세트에 대해 훈련된 백본 모델을 사용한다. 단일 환경에서 성능 향상을 위한 특별 솔루션 통합 데이터 집합입니다. 우리는 최근의 발전을 적용함으로써 이러한 한계를 회피할 것을 제안한다. 생성 트랜스포머 모델의 대규모 멀티태스킹 사전 교육 VL-NLE 작업의 문제. 우리의 접근 방식은 최근 모델을 크게 능가한다. 여백, 인간 주석자가 생성된 설명을 선호하는 경우 세 개의 평가된 데이터 세트 중 두 개의 실제 데이터 세트. 의 새로운 도전으로서. VL-NLE 연구, 우리는 멀티태스킹 VL-NLE의 문제를 제안하고 다음을 보여준다. 여러 과제에 대한 공동 교육은 설명의 질을 높일 수 있다. 우리가 고품질 NLE 생성 및 기타의 윤리적 영향을 논의한다. 최근 VL-NLE 연구의 문제.