[2023-10-02] 오늘의 자연어처리

Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News Detection

 

Abstract:Despite considerable advances in automated fake news detection, due to the timely nature of news, it remains a critical open question how to effectively predict the veracity of news articles based on limited fact-checks. Existing approaches typically follow a "Train-from-Scratch" paradigm, which is fundamentally bounded by the availability of large-scale annotated data. While expressive pre-trained language models (PLMs) have been adapted in a "Pre-Train-and-Fine-Tune" manner, the inconsistency between pre-training and downstream objectives also requires costly task-specific supervision. In this paper, we propose "Prompt-and-Align" (P&A), a novel prompt-based paradigm for few-shot fake news detection that jointly leverages the pre-trained knowledge in PLMs and the social context topology. Our approach mitigates label scarcity by wrapping the news article in a task-related textual prompt, which is then processed by the PLM to directly elicit task-specific knowledge. To supplement the PLM with social context without inducing additional training overheads, motivated by empirical observation on user veracity consistency (i.e., social users tend to consume news of the same veracity type), we further construct a news proximity graph among news articles to capture the veracity-consistent signals in shared readerships, and align the prompting predictions along the graph edges in a confidence-informed manner. Extensive experiments on three real-world benchmarks demonstrate that P&A sets new states-of-the-art for few-shot fake news detection performance by significant margins.

 

초록:자동화된 가짜 뉴스 탐지의 상당한 발전에도 불구하고, 뉴스의 적시성 때문에 제한된 사실 확인을 기반으로 뉴스 기사의 진실성을 효과적으로 예측하는 방법은 여전히 중요한 미해결 문제로 남아 있다. 기존 접근 방식은 일반적으로 대규모 주석이 달린 데이터의 가용성에 의해 기본적으로 제한되는 "스크래치에서 열차" 패러다임을 따른다. 표현적 사전 훈련 언어 모델(PLM)은 "사전 훈련 및 미세 조정" 방식으로 채택되었지만 사전 훈련과 다운스트림 목표 간의 불일치는 비용이 많이 드는 작업별 감독을 필요로 한다. 본 논문에서는 PLM에서 사전 훈련된 지식과 소셜 컨텍스트 토폴로지를 공동으로 활용하는 퓨샷 가짜 뉴스 탐지를 위한 새로운 프롬프트 기반 패러다임인 "Prompt-and-Align"(P&A)을 제안한다. 우리의 접근 방식은 뉴스 기사를 작업 관련 텍스트 프롬프트로 포장하여 레이블 부족을 완화한 다음 PLM에서 처리하여 작업별 지식을 직접 이끌어낸다. 사용자의 진실성 일관성(즉, 소셜 사용자는 동일한 진실성 유형의 뉴스를 소비하는 경향이 있음)에 대한 경험적 관찰에 동기를 부여하여 추가적인 훈련 오버헤드를 유발하지 않고 PLM을 소셜 컨텍스트로 보완하기 위해 뉴스 기사 간 뉴스 근접 그래프를 구성하여 공유된 독자에서 진실성 일관성 신호를 캡처한다ips 및 그래프 가장자리를 따라 신뢰도 정보를 바탕으로 프롬프트 예측을 정렬합니다. 3개의 실제 벤치마크에 대한 광범위한 실험은 P&A가 퓨샷 가짜 뉴스 탐지 성능을 상당한 차이로 새로운 첨단 기술을 설정한다는 것을 보여준다. 

 

 

Using Weak Supervision and Data Augmentation in Question Answering

 

Abstract:The onset of the COVID-19 pandemic accentuated the need for access to biomedical literature to answer timely and disease-specific questions. During the early days of the pandemic, one of the biggest challenges we faced was the lack of peer-reviewed biomedical articles on COVID-19 that could be used to train machine learning models for question answering (QA). In this paper, we explore the roles weak supervision and data augmentation play in training deep neural network QA models. First, we investigate whether labels generated automatically from the structured abstracts of scholarly papers using an information retrieval algorithm, BM25, provide a weak supervision signal to train an extractive QA model. We also curate new QA pairs using information retrieval techniques, guided by the this http URL schema and the structured abstracts of articles, in the absence of annotated data from biomedical domain experts. Furthermore, we explore augmenting the training data of a deep neural network model with linguistic features from external sources such as lexical databases to account for variations in word morphology and meaning. To better utilize our training data, we apply curriculum learning to domain adaptation, fine-tuning our QA model in stages based on characteristics of the QA pairs. We evaluate our methods in the context of QA models at the core of a system to answer questions about COVID-19.

 

초록:COVID-19 대유행의 시작은 시기적절하고 질병별 질문에 답하기 위한 생물의학 문헌 접근의 필요성을 강조했다. 팬데믹 초기에 우리가 직면한 가장 큰 과제 중 하나는 질문 답변(QA)을 위한 기계 학습 모델을 훈련하는 데 사용될 수 있는 COVID-19에 대한 동료 검토 생체 의학 기사의 부족이었다. 본 논문에서는 심층 신경망 QA 모델을 훈련할 때 약한 감독과 데이터 확대 역할을 탐구한다. 첫째, 정보 검색 알고리듬인 BM25를 사용하여 학술 논문의 구조화된 초록에서 자동으로 생성된 레이블이 추출 QA 모델을 훈련하기 위한 약한 감독 신호를 제공하는지 조사한다. 또한 생물 의학 도메인 전문가의 주석이 달린 데이터가 없을 때 이 http URL 스키마와 기사의 구조화된 추상화에 의해 안내되는 정보 검색 기술을 사용하여 새로운 QA 쌍을 큐레이션한다. 또한 어휘 데이터베이스와 같은 외부 소스의 언어적 특징으로 심층 신경망 모델의 훈련 데이터를 보강하여 단어 형태 및 의미의 변화를 설명하는 방법을 탐구한다. 교육 데이터를 더 잘 활용하기 위해 커리큘럼 학습을 도메인 적응에 적용하고 QA 쌍의 특성에 따라 QA 모델을 단계적으로 미세 조정한다. 우리는 코로나19에 대한 질문에 답하기 위해 시스템의 핵심인 QA 모델의 맥락에서 우리의 방법을 평가한다. 

 

 

MindShift: Leveraging Large Language Models for Mental-States-Based Problematic Smartphone Use Intervention

 

Abstract:Problematic smartphone use negatively affects physical and mental health. Despite the wide range of prior research, existing persuasive techniques are not flexible enough to provide dynamic persuasion content based on users' physical contexts and mental states. We first conduct a Wizard-of-Oz study (N=12) and an interview study (N=10) to summarize the mental states behind problematic smartphone use: boredom, stress, and inertia. This informs our design of four persuasion strategies: understanding, comforting, evoking, and scaffolding habits. We leverage large language models (LLMs) to enable the automatic and dynamic generation of effective persuasion content. We develop MindShift, a novel LLM-powered problematic smartphone use intervention technique. MindShift takes users' in-the-moment physical contexts, mental states, app usage behaviors, users' goals & habits as input, and generates high-quality and flexible persuasive content with appropriate persuasion strategies. We conduct a 5-week field experiment (N=25) to compare MindShift with baseline techniques. The results show that MindShift significantly improves intervention acceptance rates by 17.8-22.5% and reduces smartphone use frequency by 12.1-14.4%. Moreover, users have a significant drop in smartphone addiction scale scores and a rise in self-efficacy. Our study sheds light on the potential of leveraging LLMs for context-aware persuasion in other behavior change domains.

 

초록:문제가 되는 스마트폰 사용은 신체적, 정신적 건강에 부정적인 영향을 미친다. 광범위한 선행 연구에도 불구하고, 기존의 설득 기법은 사용자의 신체적 맥락과 정신 상태에 기반한 동적인 설득 콘텐츠를 제공하기에 충분히 유연하지 못하다. 먼저 Wizard-of-Oz 연구(N=12)와 인터뷰 연구(N=10)를 수행하여 문제가 되는 스마트폰 사용 이면의 정신 상태, 즉 지루함, 스트레스, 관성을 요약한다. 이를 통해 이해하기, 위로하기, 환기하기, 발판을 놓는 습관 등 네 가지 설득 전략을 설계에 알려준다. 우리는 큰 언어 모델(LLM)을 활용하여 효과적인 설득 콘텐츠의 자동적이고 동적인 생성을 가능하게 한다. 우리는 LLM 기반의 새로운 문제 스마트폰 사용 개입 기법인 MindShift를 개발한다. 마인드시프트는 사용자의 순간적인 신체적 맥락, 정신 상태, 앱 사용 행동, 사용자의 목표와 습관 등을 입력으로 받아들이고, 적절한 설득 전략으로 양질의 유연한 설득 콘텐츠를 생성한다. MindShift와 기준선 기술을 비교하기 위해 5주간의 현장 실험(N=25)을 실시한다. 결과는 마인드시프트가 개입수용률을 17.8~22.5% 유의하게 향상시키고, 스마트폰 사용빈도를 12.1~14.4% 감소시키는 것으로 나타났다. 또한 사용자들은 스마트폰 중독 척도 점수가 크게 하락하고 자기효능감이 증가하는 것으로 나타났다. 우리의 연구는 다른 행동 변화 영역에서 맥락 인식 설득을 위해 LLM을 활용하는 잠재력을 조명한다.