[2023-06-10] 오늘의 자연어처리

ToolAlpaca: Generalized Tool Learning for Language Models with 3000 Simulated Cases

 

Enabling large language models to effectively utilize real-world tools is crucial for achieving embodied intelligence. Existing approaches to tool learning have primarily relied on either extremely large language models, such as GPT-4, to attain generalized tool-use abilities in a zero-shot manner, or have utilized supervised learning to train limited types of tools on compact models. However, it remains uncertain whether smaller language models can achieve generalized tool-use abilities without specific tool-specific training. To address this question, this paper introduces ToolAlpaca, a novel framework designed to automatically generate a tool-use corpus and learn generalized tool-use abilities on compact language models with minimal human intervention. Specifically, ToolAlpaca first collects a comprehensive dataset by building a multi-agent simulation environment, which contains 3938 tool-use instances from more than 400 real-world tool APIs spanning 50 distinct categories. Subsequently, the constructed corpus is employed to fine-tune compact language models, resulting in two models, namely ToolAlpaca-7B and ToolAlpaca-13B, respectively. Finally, we evaluate the ability of these models to utilize previously unseen tools without specific training. Experimental results demonstrate that ToolAlpaca achieves effective generalized tool-use capabilities comparable to those of extremely large language models like GPT-3.5. This validation supports the notion that learning generalized tool-use abilities is feasible for compact language models.

 

대규모 언어 모델이 실제 도구를 효과적으로 활용할 수 있도록 지원하는 것은 구현된 지능을 달성하는 데 중요합니다. 툴에 대한 기존 접근 방식 학습은 주로 매우 큰 언어 모델에 의존해왔다 GPT-4로서, 제로샷 방식으로 일반화된 도구 사용 능력을 달성하거나 감독 학습을 활용하여 제한된 유형의 도구를 컴팩트하게 훈련시켰다 모델들. 그러나 작은 언어 모델들이 가능한지는 여전히 불확실하다 특정 도구별 교육 없이 일반화된 도구 사용 능력을 달성할 수 있습니다. 이 문제를 해결하기 위해, 이 논문은 새로운 프레임워크인 ToolAlpaca를 소개한다 도구 사용 말뭉치를 자동으로 생성하고 일반화된 것을 학습하도록 설계되었다 인간의 개입을 최소화하면서 콤팩트 언어 모델에 대한 도구 사용 능력. 구체적으로, 툴 알파카는 먼저 종합적인 데이터 세트를 수집한다 의 3938개 도구 사용 인스턴스가 포함된 다중 에이전트 시뮬레이션 환경 50개의 서로 다른 범주에 걸쳐 있는 400개 이상의 실제 도구 API. 그 후, 구성된 말뭉치는 콤팩트 언어를 미세 조정하기 위해 사용된다 ToolAlpaca-7B와 ToolAlpaca-13B라는 두 가지 모델이 탄생했다, 각각 다음과 같다. 마지막으로, 우리는 이러한 모델의 활용 능력을 평가한다 특정 교육을 받지 않은 이전에는 볼 수 없었던 도구. 실험 결과 ToolAlpaca가 효과적인 일반화된 도구 사용을 달성한다는 것을 입증한다 매우 큰 언어 모델과 비슷한 기능을 제공합니다 GPT-3.5. 이 검증은 학습이 일반화된 도구 사용이라는 개념을 뒷받침한다 능력은 콤팩트 언어 모델에 대해 실현 가능하다. 

 

 

Utterance Emotion Dynamics in Children's Poems: Emotional Changes Across Age

 

Emerging psychopathology studies are showing that patterns of changes in emotional state -- emotion dynamics -- are associated with overall well-being and mental health. More recently, there has been some work in tracking emotion dynamics through one's utterances, allowing for data to be collected on a larger scale across time and people. However, several questions about how emotion dynamics change with age, especially in children, and when determined through children's writing, remain unanswered. In this work, we use both a lexicon and a machine learning based approach to quantify characteristics of emotion dynamics determined from poems written by children of various ages. We show that both approaches point to similar trends: consistent increasing intensities for some emotions (e.g., anger, fear, joy, sadness, arousal, and dominance) with age and a consistent decreasing valence with age. We also find increasing emotional variability, rise rates (i.e., emotional reactivity), and recovery rates (i.e., emotional regulation) with age. These results act as a useful baselines for further research in how patterns of emotions expressed by children change with age, and their association with mental health.

 

최근의 정신병리학 연구들이 보여주고 있는 것은 변화의 패턴들이 감정 상태 -- 감정 역학은 전반적인 웰빙과 관련이 있다 그리고 정신 건강. 더 최근에, 감정을 추적하는 작업이 있었다 자신의 발언을 통한 역동성, 데이터 수집을 허용한다 시간과 인력에 걸쳐 더 큰 규모. 하지만, 방법에 대한 몇 가지 질문이 있습니다 감정 역학은 나이에 따라, 특히 아이들에게, 그리고 결정되었을 때 변화한다 아이들의 글을 통해서, 답이 없는 채로 남아 있어. 이 작업에서, 우리는 둘 다를 사용한다 어휘 및 기계 학습 기반 접근법을 통해 특성을 정량화한다 다양한 연령대의 아이들이 쓴 시에서 결정되는 감정의 역동성. 우리가 두 접근 방식 모두 유사한 추세를 가리키고 있음을 보여준다: 일관된 증가 일부 감정에 대한 강도(예: 분노, 두려움, 기쁨, 슬픔, 각성) 나이와 함께, 그리고 나이와 함께 지속적으로 감소하는 원자가. 우리는 또한 발견한다 증가하는 정서적 가변성, 상승률(즉, 정서적 반응성) 및 연령에 따른 회복률(즉, 감정 조절). 이러한 결과는 다음과 같은 역할을 합니다 감정의 패턴이 어떻게 표현되는지에 대한 추가 연구를 위한 유용한 기준 아이들은 나이와 정신 건강과의 연관성에 따라 변한다. 

 

 

Overview of the Problem List Summarization (ProbSum) 2023 Shared Task on Summarizing Patients' Active Diagnoses and Problems from Electronic Health Record Progress Notes

 

The BioNLP Workshop 2023 initiated the launch of a shared task on Problem List Summarization (ProbSum) in January 2023. The aim of this shared task is to attract future research efforts in building NLP models for real-world diagnostic decision support applications, where a system generating relevant and accurate diagnoses will augment the healthcare providers decision-making process and improve the quality of care for patients. The goal for participants is to develop models that generated a list of diagnoses and problems using input from the daily care notes collected from the hospitalization of critically ill patients. Eight teams submitted their final systems to the shared task leaderboard. In this paper, we describe the tasks, datasets, evaluation metrics, and baseline systems. Additionally, the techniques and results of the evaluation of the different approaches tried by the participating teams are summarized.

 

BioNLP 워크샵 2023은 문제에 대한 공유 작업의 시작을 시작했습니다 2023년 1월 목록 요약(ProbSum). 이 공유 작업의 목적은 다음과 같습니다 실제 환경을 위한 NLP 모델 구축에 대한 향후 연구 노력을 유치하다 진단 의사결정 지원 애플리케이션, 관련 시스템 생성 그리고 정확한 진단은 의료 제공자의 의사 결정을 강화할 것이다 환자를 위한 치료의 질을 개선하고 처리한다. 참가자 목표 사용하여 진단 및 문제 목록을 생성한 모델을 개발하는 것입니다 입원에서 수집한 일일 관리 노트에서 입력한 정보 위독한 환자. 8개 팀이 최종 시스템을 제출했습니다 공유 작업 리더보드입니다. 이 논문에서, 우리는 작업, 데이터 세트, 평가 지표 및 기준 시스템. 추가적으로, 기술과 다양한 접근법에 대한 평가 결과 참가 팀을 요약한다.