[2022-11-22] 오늘의 자연어처리

Detecting Propaganda Techniques in Memes

 

Propaganda can be defined as a form of communication that aims to influence the opinions or the actions of people towards a specific goal; this is achieved by means of well-defined rhetorical and psychological devices. Propaganda, in the form we know it today, can be dated back to the beginning of the 17th century. However, it is with the advent of the Internet and the social media that it has started to spread on a much larger scale than before, thus becoming major societal and political issue. Nowadays, a large fraction of propaganda in social media is multimodal, mixing textual with visual content. With this in mind, here we propose a new multi-label multimodal task: detecting the type of propaganda techniques used in memes. We further create and release a new corpus of 950 memes, carefully annotated with 22 propaganda techniques, which can appear in the text, in the image, or in both. Our analysis of the corpus shows that understanding both modalities together is essential for detecting these techniques. This is further confirmed in our experiments with several state-of-the-art multimodal models.

 

선전은 영향을 미치는 것을 목표로 하는 의사소통의 한 형태로 정의될 수 있다. 특정한 목표를 향한 사람들의 의견 또는 행동; 이것은 성취된다. 잘 정의된 수사학적, 심리학적 장치를 통해. 선전, 인 오늘날 우리가 알고 있는 형태는 17일의 시작으로 거슬러 올라갈 수 있다. 세기. 그러나, 그것은 인터넷과 소셜 미디어의 출현과 함께 있다. 그것이 이전보다 훨씬 더 큰 규모로 퍼지기 시작했고, 그래서 그것이 된다. 주요 사회적, 정치적 문제 오늘날, 많은 부분의 선전이 소셜 미디어는 텍스트와 시각적 콘텐츠를 혼합한 멀티모달이다. 이거 넣고. 마음, 여기서 우리는 새로운 다중 레이블 멀티모달 작업을 제안한다: 유형 감지. 밈에 사용되는 선전 기법 우리는 더 나아가 새로운 말뭉치를 만들고 출시한다. 950개의 밈 중 22개의 선전 기술로 주의 깊게 주석을 달았는데, 이것은 다음과 같다. 텍스트, 이미지 또는 둘 다에 나타납니다. 말뭉치에 대한 우리의 분석은 두 양식을 함께 이해하는 것이 이것들을 탐지하는 데 필수적이다. 기술. 이것은 몇 가지 실험에서 더욱 확인된다. 최첨단 멀티모달 모델 

 

 

PAL: Program-aided Language Models

 

Large language models (LLMs) have recently demonstrated an impressive ability to perform arithmetic and symbolic reasoning tasks when provided with a few examples at test time (few-shot prompting). Much of this success can be attributed to prompting methods for reasoning, such as chain-of-thought, that employ LLMs for both understanding the problem description by decomposing it into steps, as well as solving each step of the problem. While LLMs seem to be adept at this sort of step-by-step decomposition, LLMs often make logical and arithmetic mistakes in the solution part, even when the problem is correctly decomposed. We present Program-Aided Language models (PaL): a new method that uses the LLM to understand natural language problems and generate programs as the intermediate reasoning steps, but offloads the solution step to a programmatic runtime such as a Python interpreter. With PaL, decomposing the natural language problem into runnable steps remains the only learning task for the LLM, while solving is delegated to the interpreter. We experiment with 12 reasoning tasks from BIG-Bench Hard and other benchmarks, including mathematical reasoning, symbolic reasoning, and algorithmic problems. In all these natural language reasoning tasks, generating code using an LLM and reasoning using a Python interpreter leads to more accurate results than much larger models, and we set new state-of-the-art results in all 12 benchmarks. For example, PaL using Codex achieves state-of-the-art few-shot accuracy on the GSM benchmark of math word problems when the model is allowed only a single decoding, surpassing PaLM-540B with chain-of-thought prompting by an absolute 8% .In three reasoning tasks from the BIG-Bench Hard benchmark, PaL outperforms CoT by 11%. On GSM-hard, a more challenging version of GSM that we create, PaL outperforms chain-of-thought by an absolute 40%.

 

최근 LLM(Large Language Model)이 인상적인 능력을 보여주었다. 몇 가지와 함께 제공될 때 산술적이고 상징적인 추론 작업을 수행한다. 테스트 시간의 예제(스냅샷 프롬프트). 이 성공의 많은 부분은 생각의 연쇄와 같은 추론을 위한 방법을 촉구한 덕분에. 문제 설명을 분해하여 이해하기 위해 LLM을 사용합니다. 문제의 각 단계를 해결하는 것뿐만 아니라 단계별로. LLM이 그런 것처럼 보이는 반면에 이러한 종류의 단계별 분해에 능숙한 LLM은 종종 논리적이고 문제가 정확한 경우에도 솔루션 부분의 산술적 실수 부패한 우리는 다음과 같은 새로운 방법인 프로그램 지원 언어 모델(PaL)을 제시한다. LLM을 사용하여 자연어 문제를 이해하고 다음과 같은 프로그램을 생성합니다. 중간 추론 단계, 그러나 솔루션 단계를 a로 오프로드합니다. Python 인터프리터와 같은 프로그래밍 런타임. PaL을 사용하여 분해 실행 가능한 단계에 대한 자연어 문제는 유일한 학습 과제로 남아있다. LLM, 해결은 인터프리터에게 위임됩니다. 우리는 12로 실험한다. BIG-Bench Hard 및 기타 벤치마크의 추론 작업: 수학적 추론, 상징적 추론, 그리고 알고리즘 문제들. 전체적으로 이러한 자연어 추론 작업, LLM을 사용하여 코드를 생성하고 파이썬 인터프리터를 사용한 추론은 많은 것보다 더 정확한 결과로 이어진다. 더 큰 모델, 그리고 우리는 12개 벤치마크 모두에서 새로운 최첨단 결과를 설정한다. 예를 들어, Codex를 사용하는 PaL은 에서 최첨단 퓨샷 정확도를 달성한다. 모델이 하나만 허용되는 경우 수학 단어 문제의 GSM 벤치마크 디코딩, 절대값에 의한 생각의 연쇄로 PalM-540B를 능가한다. 8%.BIG-Bench Hard 벤치마크의 세 가지 추론 작업에서 PaL의 성능이 우수함 11%의 비용 절감 GSM-hard에서, 우리가 만든 GSM의 더 도전적인 버전, PaL 생각의 연속성을 절대적으로 40% 능가합니다. 

 

 

Explainability Via Causal Self-Talk

 

Explaining the behavior of AI systems is an important problem that, in practice, is generally avoided. While the XAI community has been developing an abundance of techniques, most incur a set of costs that the wider deep learning community has been unwilling to pay in most situations. We take a pragmatic view of the issue, and define a set of desiderata that capture both the ambitions of XAI and the practical constraints of deep learning. We describe an effective way to satisfy all the desiderata: train the AI system to build a causal model of itself. We develop an instance of this solution for Deep RL agents: Causal Self-Talk. CST operates by training the agent to communicate with itself across time. We implement this method in a simulated 3D environment, and show how it enables agents to generate faithful and semantically-meaningful explanations of their own behavior. Beyond explanations, we also demonstrate that these learned models provide new ways of building semantic control interfaces to AI systems.

 

AI 시스템의 행동을 설명하는 것은 다음과 같은 중요한 문제이다. 연습은 일반적으로 피한다. XAI 커뮤니티가 개발하는 동안 풍부한 기술, 대부분은 광범위한 딥 러닝의 비용 세트를 발생시킨다. 공동체는 대부분의 상황에서 지불을 꺼렸다. 우리는 실용주의를 택한다. 이슈의 보기, 그리고 두 가지를 모두 포착하는 Desiderata의 세트를 정의합니다. XAI의 야망과 딥러닝의 실질적인 제약. 우리는 다음을 설명한다. 모든 요구 사항을 충족하는 효과적인 방법: AI 시스템을 구축하도록 훈련합니다. 그 자체의 인과적 모델. 우리는 Deep RL을 위한 이 솔루션의 인스턴스를 개발한다. 에이전트: 인과적 셀프톡. CST는 에이전트가 통신하도록 교육함으로써 작동합니다. 시간이 지남에 따라 스스로. 우리는 이 방법을 시뮬레이션된 3D로 구현한다. 환경, 그리고 그것이 어떻게 에이전트들이 충실한 것을 생성할 수 있게 하는지 보여준다. 그들 자신의 행동에 대한 의미론적으로 의미 있는 설명. 너머에 설명, 우리는 또한 이러한 학습된 모델이 새로운 방법을 제공한다는 것을 증명한다. AI 시스템에 대한 의미론적 제어 인터페이스를 구축한다.