[2022-12-12] 오늘의 자연어처리

A Modality-level Explainable Framework for Misinformation Checking in Social Networks

 

The widespread of false information is a rising concern worldwide with critical social impact, inspiring the emergence of fact-checking organizations to mitigate misinformation dissemination. However, human-driven verification leads to a time-consuming task and a bottleneck to have checked trustworthy information at the same pace they emerge. Since misinformation relates not only to the content itself but also to other social features, this paper addresses automatic misinformation checking in social networks from a multimodal perspective. Moreover, as simply naming a piece of news as incorrect may not convince the citizen and, even worse, strengthen confirmation bias, the proposal is a modality-level explainable-prone misinformation classifier framework. Our framework comprises a misinformation classifier assisted by explainable methods to generate modality-oriented explainable inferences. Preliminary findings show that the misinformation classifier does benefit from multimodal information encoding and the modality-oriented explainable mechanism increases both inferences' interpretability and completeness.

 

허위 정보의 광범위한 확산은 세계적으로 증가하는 우려이다. 중요한 사회적 영향, 사실 확인 조직의 출현에 영감을 줍니다. 잘못된 정보 유포를 완화하기 위해. 그러나, 인간 주도의 검증 신뢰할 수 있는지 확인하는 데 시간이 많이 걸리는 작업과 병목 현상이 발생합니다. 그들이 출현하는 것과 같은 속도의 정보. 잘못된 정보만 관련된 것이 아니기 때문에 내용 자체뿐만 아니라 다른 사회적 특징에 대해서도 이 논문은 다룬다. 멀티모달에서 소셜 네트워크에서 자동으로 잘못된 정보 확인 관점. 게다가, 단순히 뉴스의 한 부분을 부정확한 것으로 명명하는 것은 그렇지 않을 수도 있다. 시민을 설득하고, 더 나쁜 것은 확인 편향을 강화하는 것이다. 제안은 양식 수준의 설명 가능한 잘못된 정보 분류기입니다. 골조 우리의 프레임워크는 잘못된 정보 분류기로 구성되어 있다. 형식 지향적이고 설명 가능한 추론을 생성하기 위한 설명 가능한 방법. 예비 결과는 잘못된 정보 분류기가 다음과 같은 이점을 제공한다는 것을 보여준다. 멀티모달 정보 인코딩 및 양식 지향 설명 가능한 메커니즘 추론의 해석 가능성과 완전성을 모두 증가시킨다. 

 

 

DialogCC: Large-Scale Multi-Modal Dialogue Dataset

 

As sharing images in an instant message is a crucial factor, there has been active research on learning a image-text multi-modal dialogue model. However, training a well-generalized multi-modal dialogue model is challenging because existing multi-modal dialogue datasets contain a small number of data, limited topics, and a restricted variety of images per dialogue. In this paper, we present a multi-modal dialogue dataset creation pipeline that involves matching large-scale images to dialogues based on CLIP similarity. Using this automatic pipeline, we propose a large-scale multi-modal dialogue dataset, DialogCC, which covers diverse real-world topics and various images per dialogue. With extensive experiments, we demonstrate that training a multi-modal dialogue model with our dataset can improve generalization performance. Additionally, existing models trained with our dataset achieve state-of-the-art performance on image and text retrieval tasks. The source code and the dataset will be released after publication.

 

인스턴트 메시지에서 이미지를 공유하는 것이 중요한 요소이기 때문에, 그 동안 이미지 텍스트 다중 대화 모델 학습에 대한 적극적인 연구 하지만, 잘 일반화된 다단계 대화 모델을 훈련하는 것은 어렵다. 기존의 다단계 대화 데이터 세트는 소수의 데이터를 포함하며, 제한적이다. 주제 및 대화당 제한된 다양한 이미지. 이 논문에서, 우리는 매칭을 포함하는 다중 대화 데이터 세트 생성 파이프라인을 제시한다. CLIP 유사성을 기반으로 대화에 대한 대규모 이미지. 이 자동 사용 파이프라인, 우리는 대규모 다중 모드 대화 데이터 세트인 DialogCC를 제안한다. 그것은 다양한 실제 주제와 대화당 다양한 이미지를 포함한다. 와 함께 광범위한 실험, 우리는 다자간 대화를 훈련시킨다는 것을 입증한다. 데이터 세트가 있는 모델은 일반화 성능을 향상시킬 수 있다. 또한. 데이터 세트로 훈련된 기존 모델은 최첨단 성능을 달성합니다. 이미지 및 텍스트 검색 작업에 대해 설명합니다. 소스 코드와 데이터 세트는 출판 후에 발매된 

 

 

Demystifying Prompts in Language Models via Perplexity Estimation

 

Language models can be prompted to perform a wide variety of zero- and few-shot learning problems. However, performance varies significantly with the choice of prompt, and we do not yet understand why this happens or how to pick the best prompts. In this work, we analyze the factors that contribute to this variance and establish a new empirical hypothesis: the performance of a prompt is coupled with the extent to which the model is familiar with the language it contains. Over a wide range of tasks, we show that the lower the perplexity of the prompt is, the better the prompt is able to perform the task. As a result, we devise a method for creating prompts: (1) automatically extend a small seed set of manually written prompts by paraphrasing using GPT3 and backtranslation and (2) choose the lowest perplexity prompts to get significant gains in performance.

 

언어 모델은 다양한 0과 0을 수행하도록 프롬프트될 수 있다. 단 몇 번의 학습 문제 그러나 성능은 제품에 따라 크게 다릅니다. 신속한 선택, 그리고 우리는 아직 왜 이런 일이 일어나는지 또는 어떻게 선택해야 하는지 이해하지 못한다. 최선의 조언 본 연구에서는 이에 기여하는 요인을 분석한다. 분산 및 새로운 경험적 가설 수립: 프롬프트의 성능 모델이 언어에 친숙한 정도와 결합된다. 포함하다. 광범위한 작업에서, 우리는 더 낮은 복잡성을 보여준다. 프롬프트는 프롬프트가 태스크를 더 잘 수행할 수 있다는 것입니다. 결과적으로. 우리는 프롬프트를 만드는 방법을 고안한다: (1) 작은 시드를 자동으로 확장한다. GPT3 및 역번역을 사용하여 패러프레이징하여 수동으로 작성된 프롬프트 세트 그리고 (2) 에서 중요한 이득을 얻기 위해 가장 낮은 당혹감 프롬프트를 선택한다. 성능.