[2023-11-08] 오늘의 자연어처리

Detecting Agreement in Multi-party Conversational AI

 

Today, conversational systems are expected to handle conversations in multi-party settings, especially within Socially Assistive Robots (SARs). However, practical usability remains difficult as there are additional challenges to overcome, such as speaker recognition, addressee recognition, and complex turn-taking. In this paper, we present our work on a multi-party conversational system, which invites two users to play a trivia quiz game. The system detects users' agreement or disagreement on a final answer and responds accordingly. Our evaluation includes both performance and user assessment results, with a focus on detecting user agreement. Our annotated transcripts and the code for the proposed system have been released open-source on GitHub.

 

오늘날 대화 시스템은 대화를 처리할 것으로 예상된다 특히 SAR(Social Assistive Robots) 내의 다자간 설정. 그러나 추가적인 사용성이 존재하기 때문에 실질적인 사용성은 여전히 어렵다 화자 인식, 수신인 인식, 그리고 극복해야 할 과제들 복잡한 방향 전환. 본 논문에서는 다당제에 대한 연구를 제시한다 두 명의 사용자를 초대하여 퀴즈 게임을 하는 대화 시스템. 그 시스템은 최종 답변에 대한 사용자의 동의 또는 불일치를 감지하고 응답한다 따라서. 당사의 평가는 성능 및 사용자 평가를 모두 포함합니다 결과는 사용자 동의를 감지하는 데 중점을 둡니다. 주석이 달린 우리의 녹취록 그리고 제안된 시스템의 코드는 깃허브에 오픈소스로 공개되었다. 

 

 

ALYMPICS: Language Agents Meet Game Theory

 

This paper introduces Alympics, a platform that leverages Large Language Model (LLM) agents to facilitate investigations in game theory. By employing LLMs and autonomous agents to simulate human behavior and enable multi-agent collaborations, we can construct realistic and dynamic models of human interactions for game theory hypothesis formulating and testing. To demonstrate this, we present and implement a survival game involving unequal competition for limited resources. Through manipulation of resource availability and agent personalities, we observe how different agents engage in the competition and adapt their strategies. The use of LLM agents in game theory research offers significant advantages, including simulating realistic behavior, providing a controlled, scalable, and reproducible environment. Our work highlights the potential of LLM agents in enhancing the understanding of strategic decision-making within complex socioeconomic contexts. All codes will be made public soon.

 

본 논문에서는 Large Language를 활용한 플랫폼인 Alympics를 소개한다 게임 이론의 조사를 용이하게 하기 위한 모델(LLM) 에이전트. 고용함으로써 LLM 및 자율 에이전트를 통해 사람의 행동을 시뮬레이션하고 멀티 에이전트를 지원합니다 협업을 통해 인간의 현실적이고 역동적인 모델을 구성할 수 있다 게임 이론 가설 공식화 및 테스트를 위한 상호작용. 시연하다 우리는 불평등한 경쟁을 수반하는 생존 게임을 제시하고 실행한다 한정된 자원을 위해. 리소스 가용성 및 에이전트 조작을 통해 성격들, 우리는 어떻게 다른 에이전트들이 경쟁에 참여하는지 관찰한다 그들의 전략을 조정하다. 게임이론 연구에서 LLM 에이전트의 사용 현실적인 행동을 시뮬레이션하는 것을 포함하여, 상당한 이점들을 제공한다 제어되고 확장 가능하며 재현 가능한 환경을 제공합니다. 우리의 작업은 다음을 강조한다 전략에 대한 이해를 높이는 데 LLM 에이전트의 잠재력 복잡한 사회경제적 맥락 속에서의 의사결정. 모든 코드가 생성됩니다 곧 공개될 것이다. 

 

 

Unraveling Downstream Gender Bias from Large Language Models: A Study on AI Educational Writing Assistance

 

Large Language Models (LLMs) are increasingly utilized in educational tasks such as providing writing suggestions to students. Despite their potential, LLMs are known to harbor inherent biases which may negatively impact learners. Previous studies have investigated bias in models and data representations separately, neglecting the potential impact of LLM bias on human writing. In this paper, we investigate how bias transfers through an AI writing support pipeline. We conduct a large-scale user study with 231 students writing business case peer reviews in German. Students are divided into five groups with different levels of writing support: one classroom group with feature-based suggestions and four groups recruited from Prolific -- a control group with no assistance, two groups with suggestions from fine-tuned GPT-2 and GPT-3 models, and one group with suggestions from pre-trained GPT-3.5. Using GenBit gender bias analysis, Word Embedding Association Tests (WEAT), and Sentence Embedding Association Test (SEAT) we evaluate the gender bias at various stages of the pipeline: in model embeddings, in suggestions generated by the models, and in reviews written by students. Our results demonstrate that there is no significant difference in gender bias between the resulting peer reviews of groups with and without LLM suggestions. Our research is therefore optimistic about the use of AI writing support in the classroom, showcasing a context where bias in LLMs does not transfer to students' responses.

 

대형 언어 모델(Large Language Models, LLM)은 교육 업무에 점점 더 많이 활용되고 있다 학생들에게 글쓰기 제안을 제공하는 것과 같은 것. 그들의 잠재력에도 불구하고, LLM은 학습자에게 부정적인 영향을 미칠 수 있는 내재적 편견을 가지고 있는 것으로 알려져 있다. 이전의 연구들은 모델과 데이터 표현의 편향을 조사해왔다 이와는 별도로 인간의 글쓰기에 대한 LLM 편향의 잠재적인 영향을 무시한다. 인 본 논문에서는 AI 쓰기 지원을 통해 편향이 어떻게 전달되는지 조사한다 관로를 통하다. 우리는 231명의 학생들이 글을 쓰는 대규모 사용자 연구를 진행한다 독일어로 된 비즈니스 케이스 동료 리뷰. 학생들은 다섯개의 그룹으로 나눠진다 다양한 수준의 글쓰기 지원: 한 교실 그룹과 함께 기능 기반 제안 및 다작에서 모집한 4개 그룹 -- 대조군 지원이 없는 그룹, 미세 조정된 GPT-2의 제안이 있는 두 그룹 GPT-3 모델, 사전 교육된 GPT-3.5의 제안을 포함한 하나의 그룹 젠비트 성별 편향 분석, WEAT(Word Embedding Association Tests) 및 문장 임베딩 연관성 테스트(SEAT)에서 성별 편향을 평가한다 파이프라인의 다양한 단계: 모델 임베딩에서, 생성된 제안에서 모델들에 의해서, 그리고 학생들에 의해서 쓰여진 리뷰들에서. 우리의 결과는 다음과 같이 증명한다 결과적인 또래 사이의 성별 편견에 있어서 유의한 차이가 없다 LLM 제안이 있는 그룹과 없는 그룹의 리뷰. 그러므로 우리의 연구는 교실에서 인공지능 글쓰기 지원의 사용에 대해 낙관적이고, 그것을 보여주는 LLM의 편향이 학생들의 반응으로 전이되지 않는 맥락.