[2023-12-19] 오늘의 자연어처리

Data and Approaches for German Text simplification -- towards an Accessibility-enhanced Communication

 

Abstract:This paper examines the current state-of-the-art of German text simplification, focusing on parallel and monolingual German corpora. It reviews neural language models for simplifying German texts and assesses their suitability for legal texts and accessibility requirements. Our findings highlight the need for additional training data and more appropriate approaches that consider the specific linguistic characteristics of German, as well as the importance of the needs and preferences of target groups with cognitive or language impairments. The authors launched the interdisciplinary OPEN-LS project in April 2023 to address these research gaps. The project aims to develop a framework for text formats tailored to individuals with low literacy levels, integrate legal texts, and enhance comprehensibility for those with linguistic or cognitive impairments. It will also explore cost-effective ways to enhance the data with audience-specific illustrations using image-generating AI. For more and up-to-date information, please visit our project homepage this https URL

 

추상화:본고에서는 독일어 텍스트 간소화의 현황을 병렬적이고 단일어적인 독일어 corpora를 중심으로 살펴본다. 독일어 텍스트를 단순화하기 위한 신경어 모델을 검토하고, 법적 텍스트 및 접근성 요건에 대한 적합성을 평가한다. 우리의 연구 결과는 인지 또는 언어 장애가 있는 대상 그룹의 필요와 선호도의 중요성뿐만 아니라 독일어의 특정 언어적 특성을 고려한 추가 훈련 데이터와 보다 적절한 접근법의 필요성을 강조한다. 저자들은 이러한 연구 격차를 해소하기 위해 2023년 4월 학제 간 OPEN-LS 프로젝트를 시작하였다. 이 프로젝트는 문해력 수준이 낮은 개인에 맞춘 텍스트 형식의 틀을 개발하고, 법률 텍스트를 통합하며, 언어적 또는 인지적 장애를 가진 사람들을 위한 이해력을 높이는 것을 목표로 한다. 또 이미지 생성 AI를 활용해 관객 특화 일러스트로 데이터를 강화하는 비용 효율적인 방안도 모색한다. 더 많은 정보와 최신 정보는 이 https URL에서 우리 프로젝트 홈페이지를 방문하세요 

 

 

SMILE: Multimodal Dataset for Understanding Laughter in Video with Language Models

 

Abstract:Despite the recent advances of the artificial intelligence, building social intelligence remains a challenge. Among social signals, laughter is one of the distinctive expressions that occurs during social interactions between humans. In this work, we tackle a new challenge for machines to understand the rationale behind laughter in video, Video Laugh Reasoning. We introduce this new task to explain why people laugh in a particular video and a dataset for this task. Our proposed dataset, SMILE, comprises video clips and language descriptions of why people laugh. We propose a baseline by leveraging the reasoning capacity of large language models (LLMs) with textual video representation. Experiments show that our baseline can generate plausible explanations for laughter. We further investigate the scalability of our baseline by probing other video understanding tasks and in-the-wild videos. We release our dataset, code, and model checkpoints on this https URL.

 

추상화:최근 인공 지능의 발전에도 불구하고 사회적 지능을 구축하는 것은 여전히 과제로 남아 있다. 사회적 신호 중 웃음은 인간 사이의 사회적 상호 작용 중에 발생하는 독특한 표현 중 하나이다. 이 작업에서 우리는 비디오 웃음 추론인 비디오 웃음 뒤에 숨겨진 이유를 이해하기 위한 기계에 대한 새로운 도전에 도전한다. 우리는 사람들이 특정 비디오와 이 작업에 대한 데이터 세트에서 웃는 이유를 설명하기 위해 이 새로운 작업을 소개한다. 제안된 데이터 세트인 스마일(SMILE)은 사람들이 웃는 이유에 대한 비디오 클립과 언어 설명으로 구성됩니다. 우리는 텍스트 비디오 표현과 함께 대규모 언어 모델(LLM)의 추론 능력을 활용하여 기준선을 제안한다. 실험은 우리의 기준선이 웃음에 대한 그럴듯한 설명을 만들어낼 수 있음을 보여준다. 우리는 다른 비디오 이해 작업과 현장 비디오를 조사하여 기준선의 확장성을 추가로 조사한다. 이 https URL에서 데이터 세트, 코드 및 모델 체크포인트를 공개합니다. 

 

 

ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent

 

Abstract:Answering complex natural language questions often necessitates multi-step reasoning and integrating external information. Several systems have combined knowledge retrieval with a large language model (LLM) to answer such questions. These systems, however, suffer from various failure cases, and we cannot directly train them end-to-end to fix such failures, as interaction with external knowledge is non-differentiable. To address these deficiencies, we define a ReAct-style LLM agent with the ability to reason and act upon external knowledge. We further refine the agent through a ReST-like method that iteratively trains on previous trajectories, employing growing-batch reinforcement learning with AI feedback for continuous self-improvement and self-distillation. Starting from a prompted large model and after just two iterations of the algorithm, we can produce a fine-tuned small model that achieves comparable performance on challenging compositional question-answering benchmarks with two orders of magnitude fewer parameters.

 

추상화:복잡한 자연어 질문에 답하기 위해서는 여러 단계의 추론과 외부 정보의 통합이 필요한 경우가 많다. 몇몇 시스템은 지식 검색을 큰 언어 모델(LLM)과 결합하여 그러한 질문에 답한다. 그러나 이러한 시스템은 다양한 실패 사례를 겪고 있으며 외부 지식과의 상호 작용이 구별할 수 없기 때문에 이러한 실패를 해결하기 위해 엔드 투 엔드로 직접 훈련시킬 수 없다. 이러한 결함을 해결하기 위해 외부 지식을 바탕으로 추론하고 행동할 수 있는 ReAct 스타일의 LLM 에이전트를 정의한다. 지속적인 자기 개선 및 자기 증류를 위해 AI 피드백과 함께 성장 배치 강화 학습을 사용하여 이전 궤적을 반복적으로 훈련하는 ReST 유사 방법을 통해 에이전트를 더욱 정교화한다. 프롬프트가 표시되는 대형 모델에서 시작하여 단 두 번의 알고리즘 반복 후에, 우리는 2배 정도 적은 수의 매개 변수로 어려운 구성 질문 응답 벤치마크에서 유사한 성능을 달성하는 미세 조정 소형 모델을 생성할 수 있다.