[2023-08-31] 오늘의 자연어처리

TaskLAMA: Probing the Complex Task Understanding of Language Models

 

Structured Complex Task Decomposition (SCTD) is the problem of breaking down a complex real-world task (such as planning a wedding) into a directed acyclic graph over individual steps that contribute to achieving the task, with edges specifying temporal dependencies between them. SCTD is an important component of assistive planning tools, and a challenge for commonsense reasoning systems. We probe how accurately SCTD can be done with the knowledge extracted from Large Language Models (LLMs). We introduce a high-quality human-annotated dataset for this problem and novel metrics to fairly assess performance of LLMs against several baselines. Our experiments reveal that LLMs are able to decompose complex tasks into individual steps effectively, with a relative improvement of 15% to 280% over the best baseline. We also propose a number of approaches to further improve their performance, with a relative improvement of 7% to 37% over the base model. However, we find that LLMs still struggle to predict pairwise temporal dependencies, which reveals a gap in their understanding of complex tasks.

 

구조화된 복합 작업 분해(SCTD)는 분해의 문제이다 결혼식을 계획하는 것과 같은 복잡한 현실 세계의 일을 연출된 비순환적인 일 작업 달성에 기여하는 개별 단계에 대한 그래프(가장자리 포함) 그들 사이의 시간적 종속성을 명시한다. SCTD는 중요한 구성 요소입니다 보조 계획 도구와 상식 추론 시스템에 대한 도전. 우리는 SCTD가 추출된 지식으로 얼마나 정확하게 이루어질 수 있는지 조사한다 LLM(대규모 언어 모델). 우리는 고품질의 인간 주석을 소개한다 이 문제에 대한 데이터 세트와 LLM의 성능을 공정하게 평가하기 위한 새로운 메트릭 몇 가지 기준에 따라. 우리의 실험은 LLM들이 다음과 같이 할 수 있다는 것을 보여준다 복잡한 작업을 효과적으로 개별 단계로 분해합니다 최상의 기준보다 15%에서 280%까지 향상되었습니다. 우리는 또한 몇 가지를 제안한다 상대적인 개선을 통해 성능을 더욱 향상시키는 접근 방식 기본 모델보다 7% ~ 37%. 그러나, 우리는 LLM들이 여전히 하기 위해 고군분투하고 있다는 것을 발견했다 쌍별 시간 의존성을 예측하고, 이는 그것들의 격차를 드러낸다 복잡한 업무에 대한 이해. 

 

 

PronounFlow: A Hybrid Approach for Calibrating Pronouns in Sentences

 

Flip through any book or listen to any song lyrics, and you will come across pronouns that, in certain cases, can hinder meaning comprehension, especially for machines. As the role of having cognitive machines becomes pervasive in our lives, numerous systems have been developed to resolve pronouns under various challenges. Commensurate with this, it is believed that having systems able to disambiguate pronouns in sentences will help towards the endowment of machines with commonsense and reasoning abilities like those found in humans. However, one problem these systems face with modern English is the lack of gender pronouns, where people try to alternate by using masculine, feminine, or plural to avoid the whole issue. Since humanity aims to the building of systems in the full-bodied sense we usually reserve for people, what happens when pronouns in written text, like plural or epicene ones, refer to unspecified entities whose gender is not necessarily known? Wouldn't that put extra barriers to existing coreference resolution systems? Towards answering those questions, through the implementation of a neural-symbolic system that utilizes the best of both worlds, we are employing PronounFlow, a system that reads any English sentence with pronouns and entities, identifies which of them are not tied to each other, and makes suggestions on which to use to avoid biases. Undertaken experiments show that PronounFlow not only alternates pronouns in sentences based on the collective human knowledge around us but also considerably helps coreference resolution systems with the pronoun disambiguation process.

 

아무 책이나 훑어보거나 노래 가사를 들어보면, 당신은 우연히 발견할 것이다 특정한 경우에, 특히 의미 이해를 방해할 수 있는 대명사 기계용의. 인지 기계를 갖는 역할이 우리 안에 널리 퍼지게 되면서 생명, 다양한 하에서 대명사를 해결하기 위해 수많은 시스템이 개발되었다 과제들. 이에 상응하여, 시스템들이 다음과 같은 능력을 가질 수 있다고 여겨진다 문장에서 대명사를 명확하게 하지 않으면 기계의 재능을 얻는 데 도움이 될 것이다 인간에게서 발견되는 것과 같은 상식과 추론 능력을 가지고 있다. 하지만, 이러한 시스템들이 현대 영어에서 직면하는 한가지 문제는 성별의 부족이다 사람들이 남성, 여성, 또는 복수를 사용하여 교대하려고 노력하는 대명사 모든 문제를 피하기 위해. 인류는 시스템 구축을 목표로 하기 때문에 우리가 보통 사람들을 위해 예약하는 완전한 감각, 대명사가 에 있을 때 무슨 일이 일어나는지 복수 또는 에피센과 같은 서면 텍스트는 다음과 같은 불특정 개체를 지칭한다 성별이 꼭 알려지지는 않았나요? 그것은 현존하는 것에 추가적인 장벽을 주지 않을까요 코퍼레이션 해상도 시스템? 그 질문들에 대답하기 위해, 를 통해 두 가지 장점을 모두 활용하는 신경 신호 시스템의 구현 세계, 우리는 영어 문장을 읽는 시스템인 대명사 흐름을 사용하고 있다 대명사와 개체로, 그들 중 어떤 것이 각각에 묶여 있지 않은지 식별한다 그리고 편견을 피하기 위해 어떤 것을 사용할지에 대한 제안을 한다. 인수됨 실험은 대명사 흐름이 문장에서 대명사만을 교대하는 것이 아니라는 것을 보여준다 우리 주변의 집단적인 인간 지식에 기초하지만 또한 상당한 도움을 준다 대명사 불명확화 과정을 가진 상호 참조 해결 시스템. 

 

 

Adapting text-based dialogue state tracker for spoken dialogues

 

Although there have been remarkable advances in dialogue systems through the dialogue systems technology competition (DSTC), it remains one of the key challenges to building a robust task-oriented dialogue system with a speech interface. Most of the progress has been made for text-based dialogue systems since there are abundant datasets with written corpora while those with spoken dialogues are very scarce. However, as can be seen from voice assistant systems such as Siri and Alexa, it is of practical importance to transfer the success to spoken dialogues. In this paper, we describe our engineering effort in building a highly successful model that participated in the speech-aware dialogue systems technology challenge track in DSTC11. Our model consists of three major modules: (1) automatic speech recognition error correction to bridge the gap between the spoken and the text utterances, (2) text-based dialogue system (D3ST) for estimating the slots and values using slot descriptions, and (3) post-processing for recovering the error of the estimated slot value. Our experiments show that it is important to use an explicit automatic speech recognition error correction module, post-processing, and data augmentation to adapt a text-based dialogue state tracker for spoken dialogue corpora.

 

비록 대화 시스템에서 주목할 만한 발전이 있었지만 대화 시스템 기술 경쟁(DSTC), 그것은 여전히 핵심 중 하나이다 연설을 통해 강력한 업무 중심 대화 시스템을 구축하는 데 대한 도전 인터페이스. 대부분의 진전은 텍스트 기반 대화 시스템을 위해 이루어졌다 서면 말뭉치가 있는 데이터 세트가 풍부하고 음성 말뭉치가 있는 데이터 세트가 있기 때문이다 대화가 매우 부족하다. 그러나 음성 비서 시스템에서 볼 수 있듯이 Siri와 Alexa와 같이, 성공을 옮기는 것은 실질적으로 중요하다 대화를 하기 위해. 이 논문에서, 우리는 우리의 엔지니어링 노력을 설명한다 음성 인식에 참여한 매우 성공적인 모델 구축 DSTC11의 대화 시스템 기술 챌린지 트랙. 우리의 모델은 다음과 같이 구성된다 세 가지 주요 모듈: (1) 자동 음성 인식 오류 수정 음성과 텍스트 발화 사이의 차이를 메우다. (2) 텍스트 기반 슬롯을 이용한 슬롯 및 값 추정을 위한 대화 시스템(D3ST) 설명 및 (3) 추정된 오류를 복구하기 위한 후처리 슬롯값. 우리의 실험은 명시적인 사용이 중요하다는 것을 보여준다 자동 음성 인식 오류 수정 모듈, 후처리 및 데이터 음성 대화를 위해 텍스트 기반 대화 상태 추적기를 조정하기 위한 증강 말뭉치.