[2023-09-22] 오늘의 자연어처리

Grounded Complex Task Segmentation for Conversational Assistants

 

Abstract:Following complex instructions in conversational assistants can be quite daunting due to the shorter attention and memory spans when compared to reading the same instructions. Hence, when conversational assistants walk users through the steps of complex tasks, there is a need to structure the task into manageable pieces of information of the right length and complexity. In this paper, we tackle the recipes domain and convert reading structured instructions into conversational structured ones. We annotated the structure of instructions according to a conversational scenario, which provided insights into what is expected in this setting. To computationally model the conversational step's characteristics, we tested various Transformer-based architectures, showing that a token-based approach delivers the best results. A further user study showed that users tend to favor steps of manageable complexity and length, and that the proposed methodology can improve the original web-based instructional text. Specifically, 86% of the evaluated tasks were improved from a conversational suitability point of view.

 

초록:대화 도우미에서 복잡한 지시를 따르는 것은 동일한 지시를 읽는 것에 비해 주의 집중과 기억 시간이 짧기 때문에 상당히 어려울 수 있다. 따라서 대화 보조자가 사용자에게 복잡한 작업의 단계를 안내할 때 작업을 적절한 길이와 복잡성의 관리 가능한 정보로 구성할 필요가 있다. 본 논문에서는 레시피 영역을 다루고 읽기 구조화된 명령어를 대화 구조화된 명령어로 변환한다. 우리는 대화 시나리오에 따른 명령 구조에 주석을 달았는데, 이는 이 설정에서 예상되는 것에 대한 통찰력을 제공했다. 대화 단계의 특성을 계산적으로 모델링하기 위해 다양한 트랜스포머 기반 아키텍처를 테스트하여 토큰 기반 접근 방식이 최상의 결과를 제공함을 보여주었다. 추가적인 사용자 연구는 사용자들이 관리 가능한 복잡성과 길이의 단계를 선호하는 경향이 있으며, 제안된 방법론이 웹 기반의 원문을 개선할 수 있다는 것을 보여주었다. 구체적으로 평가된 과제의 86%가 대화 적합성 관점에서 개선되었다. 

 

 

Overview of AuTexTification at IberLEF 2023: Detection and Attribution of Machine-Generated Text in Multiple Domains

 

Abstract:This paper presents the overview of the AuTexTification shared task as part of the IberLEF 2023 Workshop in Iberian Languages Evaluation Forum, within the framework of the SEPLN 2023 conference. AuTexTification consists of two subtasks: for Subtask 1, participants had to determine whether a text is human-authored or has been generated by a large language model. For Subtask 2, participants had to attribute a machine-generated text to one of six different text generation models. Our AuTexTification 2023 dataset contains more than 160.000 texts across two languages (English and Spanish) and five domains (tweets, reviews, news, legal, and how-to articles). A total of 114 teams signed up to participate, of which 36 sent 175 runs, and 20 of them sent their working notes. In this overview, we present the AuTexTification dataset and task, the submitted participating systems, and the results.

 

초록:본 논문은 SEPLN 2023 컨퍼런스의 프레임워크 내에서 이베리아 언어 평가 포럼의 일환으로 AuTexTification 공유 과제의 개요를 제시한다. AuTexTification은 두 가지 하위 작업으로 구성됩니다. 하위 작업 1의 경우, 참가자는 텍스트가 사람이 작성한 것인지 또는 큰 언어 모델에 의해 생성된 것인지를 결정해야 했습니다. 하위 작업 2의 경우, 참가자들은 기계로 생성된 텍스트를 6개의 다른 텍스트 생성 모델 중 하나에 귀속시켜야 했다. 우리의 AuTexTification 2023 데이터 세트에는 2개 언어(영어 및 스페인어)와 5개 도메인(트윗, 리뷰, 뉴스, 법률 및 사용법 기사)에 걸쳐 160,000개 이상의 텍스트가 포함되어 있다. 총 114개 팀이 참가 신청을 했고, 이 중 36개 팀이 175회차를 보냈고, 이 중 20개 팀이 작업노트를 보냈다. 이 개요에서는 AuTexTification 데이터 세트 및 작업, 제출된 참여 시스템 및 결과를 제시한다. 

 

 

Overview of AuTexTification at IberLEF 2023: Detection and Attribution of Machine-Generated Text in Multiple Domains

 

Abstract:This paper presents the overview of the AuTexTification shared task as part of the IberLEF 2023 Workshop in Iberian Languages Evaluation Forum, within the framework of the SEPLN 2023 conference. AuTexTification consists of two subtasks: for Subtask 1, participants had to determine whether a text is human-authored or has been generated by a large language model. For Subtask 2, participants had to attribute a machine-generated text to one of six different text generation models. Our AuTexTification 2023 dataset contains more than 160.000 texts across two languages (English and Spanish) and five domains (tweets, reviews, news, legal, and how-to articles). A total of 114 teams signed up to participate, of which 36 sent 175 runs, and 20 of them sent their working notes. In this overview, we present the AuTexTification dataset and task, the submitted participating systems, and the results.

 

초록:본 논문은 SEPLN 2023 컨퍼런스의 프레임워크 내에서 이베리아 언어 평가 포럼의 일환으로 AuTexTification 공유 과제의 개요를 제시한다. AuTexTification은 두 가지 하위 작업으로 구성됩니다. 하위 작업 1의 경우, 참가자는 텍스트가 사람이 작성한 것인지 또는 큰 언어 모델에 의해 생성된 것인지를 결정해야 했습니다. 하위 작업 2의 경우, 참가자들은 기계로 생성된 텍스트를 6개의 다른 텍스트 생성 모델 중 하나에 귀속시켜야 했다. 우리의 AuTexTification 2023 데이터 세트에는 2개 언어(영어 및 스페인어)와 5개 도메인(트윗, 리뷰, 뉴스, 법률 및 사용법 기사)에 걸쳐 160,000개 이상의 텍스트가 포함되어 있다. 총 114개 팀이 참가 신청을 했고, 이 중 36개 팀이 175회차를 보냈고, 이 중 20개 팀이 작업노트를 보냈다. 이 개요에서는 AuTexTification 데이터 세트 및 작업, 제출된 참여 시스템 및 결과를 제시한다.