[2023-12-25] 오늘의 자연어처리

Structured Probabilistic Coding

 

Abstract:This paper presents a new supervised representation learning framework, namely Structured Probabilistic Coding (SPC), to learn compact and informative representations from input related to the target task. SPC is an encoder-only probabilistic coding technology with a structured regularization from the target label space. By extracting compact and informative representations from input related to the target task, SPC can enhance the generalization ability of pre-trained language models for better language understanding. Specifically, the hidden representation is encoded into a Gaussian distribution space, while maximizing the prior entropy of latent representations concerning label space. This technique can simultaneously perform information encoding and task prediction in one module to more fully utilize the effective information from input data, and use variational inference in the output space to reduce randomness and uncertainty. To better control the probability distribution in the latent space, a structured regularization is proposed to promote class-level uniformity in the latent space. With the regularization term, SPC can preserve the Gaussian distribution structure of latent code as well as better cover the hidden space with class uniformly. We conduct evaluations on 12 natural language understanding tasks. The results show that our SPC can effectively improve the performance of pre-trained language models for various classification and regression tasks. Experiments demonstrate that SPC can enhance the generalization capability, robustness to label noise, and clustering quality of output representations.

 

추상화:본 논문은 목표 작업과 관련된 입력에서 압축적이고 정보적인 표현을 학습하기 위해 새로운 지도 표현 학습 프레임워크, 즉 구조화된 확률론적 코딩(SPC)을 제시한다. SPC는 타겟 라벨 공간으로부터 구조화된 정규화를 갖는 인코더 전용 확률적 코딩 기술이다. SPC는 목표 작업과 관련된 입력에서 압축적이고 정보적인 표현을 추출함으로써, 더 나은 언어 이해를 위해 사전 훈련된 언어 모델의 일반화 능력을 향상시킬 수 있다. 구체적으로, 은닉 표현은 라벨 공간에 관한 잠재 표현의 사전 엔트로피를 최대화하면서 가우시안 분포 공간으로 인코딩된다. 이 기법은 하나의 모듈에서 정보 부호화와 작업 예측을 동시에 수행하여 입력 데이터로부터 효과적인 정보를 보다 충분히 활용할 수 있으며, 출력 공간에서 가변 추론을 사용하여 무작위성과 불확실성을 줄일 수 있다. 잠재 공간에서의 확률 분포를 더 잘 제어하기 위해 잠재 공간에서 계층 수준의 균일성을 촉진하기 위한 구조화된 정규화를 제안한다. 정규화 항으로 SPC는 잠재 코드의 가우시안 분포 구조를 보존할 수 있을 뿐만 아니라 클래스로 숨겨진 공간을 균일하게 커버할 수 있다. 12개의 자연어 이해 과제에 대한 평가를 실시합니다. 결과는 우리 SPC가 다양한 분류 및 회귀 작업을 위해 사전 훈련된 언어 모델의 성능을 효과적으로 향상시킬 수 있음을 보여준다. 실험들은 SPC가 출력 표현들의 일반화 능력, 잡음 라벨링에 대한 견고성 및 클러스터링 품질을 향상시킬 수 있음을 보여준다. 

 

 

Team Flow at DRC2023: Building Common Ground and Text-based Turn-taking in a Travel Agent Spoken Dialogue System

 

Abstract:At the Dialogue Robot Competition 2023 (DRC2023), which was held to improve the capability of dialogue robots, our team developed a system that could build common ground and take more natural turns based on user utterance texts. Our system generated queries for sightseeing spot searches using the common ground and engaged in dialogue while waiting for user comprehension.

 

추상화:대화 로봇의 능력 향상을 위해 개최된 대화 로봇 대회 2023(DRC2023)에서 우리 팀은 사용자 발화 텍스트를 기반으로 공통점을 구축하고 보다 자연스러운 턴을 할 수 있는 시스템을 개발했다. 우리 시스템은 공통 지면을 사용하여 관광지 검색을 위한 쿼리를 생성하고 사용자의 이해를 기다리는 동안 대화에 참여했습니다. 

 

 

Argue with Me Tersely: Towards Sentence-Level Counter-Argument Generation

 

Abstract:Counter-argument generation -- a captivating area in computational linguistics -- seeks to craft statements that offer opposing views. While most research has ventured into paragraph-level generation, sentence-level counter-argument generation beckons with its unique constraints and brevity-focused challenges. Furthermore, the diverse nature of counter-arguments poses challenges for evaluating model performance solely based on n-gram-based metrics. In this paper, we present the ArgTersely benchmark for sentence-level counter-argument generation, drawing from a manually annotated dataset from the ChangeMyView debate forum. We also propose Arg-LlaMA for generating high-quality counter-argument. For better evaluation, we trained a BERT-based evaluator Arg-Judge with human preference data. We conducted comparative experiments involving various baselines such as LlaMA, Alpaca, GPT-3, and others. The results show the competitiveness of our proposed framework and evaluator in counter-argument generation tasks. Code and data are available at this https URL.

 

추상화:컴퓨터 언어학의 매력적인 분야인 반론 생성은 반대되는 견해를 제시하는 진술을 만들고자 한다. 대부분의 연구는 문단 수준의 생성에 도전했지만, 문장 수준의 반론 생성은 독특한 제약과 간결성에 중점을 둔 도전으로 손짓한다. 또한, 반론의 다양한 특성으로 인해 n-그램 기반의 측정 기준만으로 모델 성능을 평가해야 하는 어려움이 있다. 본 논문에서는 ChangeMyView 토론 포럼의 수동 주석이 달린 데이터 세트에서 추출하여 문장 수준의 반론 생성을 위한 ArgTersey 벤치마크를 제시한다. 또한 고품질의 반론을 생성하기 위한 Arg-LlaMA를 제안한다. 더 나은 평가를 위해, 우리는 인간 선호 데이터를 가진 BERT 기반 평가자 Arg-Judge를 훈련시켰다. 우리는 LlaMA, Alpaca, GPT-3 등과 같은 다양한 기준선을 포함하는 비교 실험을 수행했다. 결과는 우리가 제안한 프레임워크와 평가자가 반론 생성 작업에서 갖는 경쟁력을 보여준다. 코드와 데이터는 이 https URL에서 사용할 수 있습니다.