[2023-10-15] 오늘의 자연어처리

Tree-Planner: Efficient Close-loop Task Planning with Large Language Models

 

Abstract:This paper studies close-loop task planning, which refers to the process of generating a sequence of skills (a plan) to accomplish a specific goal while adapting the plan based on real-time observations. Recently, prompting Large Language Models (LLMs) to generate actions iteratively has become a prevalent paradigm due to its superior performance and user-friendliness. However, this paradigm is plagued by two inefficiencies: high token consumption and redundant error correction, both of which hinder its scalability for large-scale testing and applications. To address these issues, we propose Tree-Planner, which reframes task planning with LLMs into three distinct phases: plan sampling, action tree construction, and grounded deciding. Tree-Planner starts by using an LLM to sample a set of potential plans before execution, followed by the aggregation of them to form an action tree. Finally, the LLM performs a top-down decision-making process on the tree, taking into account real-time environmental information. Experiments show that Tree-Planner achieves state-of-the-art performance while maintaining high efficiency. By decomposing LLM queries into a single plan-sampling call and multiple grounded-deciding calls, a considerable part of the prompt are less likely to be repeatedly consumed. As a result, token consumption is reduced by 92.2% compared to the previously best-performing model. Additionally, by enabling backtracking on the action tree as needed, the correction process becomes more flexible, leading to a 40.5% decrease in error corrections. Project page: this https URL

 

초록:본 논문에서는 실시간 관찰을 바탕으로 계획을 수정하면서 특정 목표를 달성하기 위한 일련의 기술(계획)을 생성하는 과정을 의미하는 클로즈루프(close-loop) 과제 계획을 연구한다. 최근 LLM(Large Language Models)을 통해 반복적으로 동작을 생성하도록 유도하는 것은 우수한 성능과 사용자 친화성으로 인해 널리 사용되는 패러다임이 되었다. 그러나 이 패러다임은 높은 토큰 소비와 중복 오류 수정이라는 두 가지 비효율성으로 인해 어려움을 겪고 있으며, 이 두 가지 모두 대규모 테스트 및 응용 프로그램에 대한 확장성을 방해한다. 이러한 문제를 해결하기 위해 LLM을 사용하여 작업 계획을 계획 샘플링, 작업 트리 구성 및 근거 결정의 세 가지 단계로 재구성하는 Tree-Planner를 제안한다. Tree-Planner는 실행 전에 LLM을 사용하여 잠재적인 계획들의 집합을 샘플링하는 것으로 시작하고, 그들을 집합하여 액션 트리를 형성한다. 마지막으로, LLM은 실시간 환경 정보를 고려하여 트리에 대한 하향식 의사결정 과정을 수행한다. 실험 결과 트리 플래너는 높은 효율성을 유지하면서도 최첨단 성능을 달성하는 것으로 나타났다. LLM 쿼리를 단일 계획 샘플링 호출과 다중 접지 결정 호출로 분해함으로써, 프롬프트의 상당 부분이 반복적으로 소비될 가능성이 줄어든다. 이에 따라 토큰 소모량은 기존 최고 성능 모델 대비 92.2% 감소했다. 또한 필요에 따라 액션 트리에 대한 역추적이 가능하도록 함으로써 수정 과정이 유연해져 오류 수정률이 40.5% 감소한다. 프로젝트 페이지: 이 https URL 

 

 

Optimizing Odia Braille Literacy: The Influence of Speed on Error Reduction and Enhanced Comprehension

 

Abstract:This study aims to conduct an extensive detailed analysis of the Odia Braille reading comprehension among students with visual disability. Specifically, the study explores their reading speed and hand or finger movements. The study also aims to investigate any comprehension difficulties and reading errors they may encounter. Six students from the 9th and 10th grades, aged between 14 and 16, participated in the study. We observed participants hand movements to understand how reading errors were connected to hand movement and identify the students reading difficulties. We also evaluated the participants Odia Braille reading skills, including their reading speed (in words per minute), errors, and comprehension. The average speed of Odia Braille reader is 17.64wpm. According to the study, there was a noticeable correlation between reading speed and reading errors. As reading speed decreased, the number of reading errors tended to increase. Moreover, the study established a link between reduced Braille reading errors and improved reading comprehension. In contrast, the study found that better comprehension was associated with increased reading speed. The researchers concluded with some interesting findings about preferred Braille reading patterns. These findings have important theoretical, developmental, and methodological implications for instruction.

 

초록:본 연구의 목적은 시각장애 학생들의 오디아 점자 읽기 이해에 대한 상세한 분석을 수행하는 것이다. 구체적으로, 이 연구는 그들의 읽기 속도와 손 또는 손가락 움직임을 탐구한다. 이 연구는 또한 그들이 겪을 수 있는 이해의 어려움과 읽기 오류를 조사하는 것을 목표로 한다. 연구대상은 만 14세에서 만 16세 사이의 초등학교 9학년과 10학년 학생 6명이다. 참여자들의 손동작을 관찰하여 읽기 오류가 손동작과 어떻게 연결되는지를 파악하고 학생들의 읽기 어려움을 파악하였다. 또한 참여자들의 읽기 속도(분당 단어 단위), 오류, 이해력 등 오디아 점자 읽기 능력을 평가하였다. 오디아 점자 리더의 평균 속도는 17.64wpm이다. 연구결과 읽기속도와 읽기오류 간에는 유의한 상관관계가 있는 것으로 나타났다. 읽기 속도가 감소할수록 읽기 오류 수가 증가하는 경향을 보였다. 또한 본 연구에서는 점자 읽기 오류 감소와 읽기 이해력 향상 간의 관계를 확인하였다. 이와 대조적으로, 그 연구는 더 나은 이해력이 읽기 속도를 증가시키는 것과 관련이 있다는 것을 발견했다. 연구원들은 선호하는 점자 읽기 패턴에 대한 몇 가지 흥미로운 발견으로 결론을 내렸다. 이러한 연구결과는 수업에 중요한 이론적, 발전적, 방법론적 함의를 갖는다. 

 

 

Tree-Planner: Efficient Close-loop Task Planning with Large Language Models

 

Abstract:This paper studies close-loop task planning, which refers to the process of generating a sequence of skills (a plan) to accomplish a specific goal while adapting the plan based on real-time observations. Recently, prompting Large Language Models (LLMs) to generate actions iteratively has become a prevalent paradigm due to its superior performance and user-friendliness. However, this paradigm is plagued by two inefficiencies: high token consumption and redundant error correction, both of which hinder its scalability for large-scale testing and applications. To address these issues, we propose Tree-Planner, which reframes task planning with LLMs into three distinct phases: plan sampling, action tree construction, and grounded deciding. Tree-Planner starts by using an LLM to sample a set of potential plans before execution, followed by the aggregation of them to form an action tree. Finally, the LLM performs a top-down decision-making process on the tree, taking into account real-time environmental information. Experiments show that Tree-Planner achieves state-of-the-art performance while maintaining high efficiency. By decomposing LLM queries into a single plan-sampling call and multiple grounded-deciding calls, a considerable part of the prompt are less likely to be repeatedly consumed. As a result, token consumption is reduced by 92.2% compared to the previously best-performing model. Additionally, by enabling backtracking on the action tree as needed, the correction process becomes more flexible, leading to a 40.5% decrease in error corrections. Project page: this https URL

 

초록:본 논문에서는 실시간 관찰을 바탕으로 계획을 수정하면서 특정 목표를 달성하기 위한 일련의 기술(계획)을 생성하는 과정을 의미하는 클로즈루프(close-loop) 과제 계획을 연구한다. 최근 LLM(Large Language Models)을 통해 반복적으로 동작을 생성하도록 유도하는 것은 우수한 성능과 사용자 친화성으로 인해 널리 사용되는 패러다임이 되었다. 그러나 이 패러다임은 높은 토큰 소비와 중복 오류 수정이라는 두 가지 비효율성으로 인해 어려움을 겪고 있으며, 이 두 가지 모두 대규모 테스트 및 응용 프로그램에 대한 확장성을 방해한다. 이러한 문제를 해결하기 위해 LLM을 사용하여 작업 계획을 계획 샘플링, 작업 트리 구성 및 근거 결정의 세 가지 단계로 재구성하는 Tree-Planner를 제안한다. Tree-Planner는 실행 전에 LLM을 사용하여 잠재적인 계획들의 집합을 샘플링하는 것으로 시작하고, 그들을 집합하여 액션 트리를 형성한다. 마지막으로, LLM은 실시간 환경 정보를 고려하여 트리에 대한 하향식 의사결정 과정을 수행한다. 실험 결과 트리 플래너는 높은 효율성을 유지하면서도 최첨단 성능을 달성하는 것으로 나타났다. LLM 쿼리를 단일 계획 샘플링 호출과 다중 접지 결정 호출로 분해함으로써, 프롬프트의 상당 부분이 반복적으로 소비될 가능성이 줄어든다. 이에 따라 토큰 소모량은 기존 최고 성능 모델 대비 92.2% 감소했다. 또한 필요에 따라 액션 트리에 대한 역추적이 가능하도록 함으로써 수정 과정이 유연해져 오류 수정률이 40.5% 감소한다. 프로젝트 페이지: 이 https URL