[2023-12-24] 오늘의 자연어처리

Data Transformation to Construct a Dataset for Generating Entity-Relationship Model from Natural Language

 

Abstract:In order to reduce the manual cost of designing ER models, recent approaches have been proposed to address the task of NL2ERM, i.e., automatically generating entity-relationship (ER) models from natural language (NL) utterances such as software requirements. These approaches are typically rule-based ones, which rely on rigid heuristic rules; these approaches cannot generalize well to various linguistic ways of describing the same requirement. Despite having better generalization capability than rule-based approaches, deep-learning-based models are lacking for NL2ERM due to lacking a large-scale dataset. To address this issue, in this paper, we report our insight that there exists a high similarity between the task of NL2ERM and the increasingly popular task of text-to-SQL, and propose a data transformation algorithm that transforms the existing data of text-to-SQL into the data of NL2ERM. We apply our data transformation algorithm on Spider, one of the most popular text-to-SQL datasets, and we also collect some data entries with different NL types, to obtain a large-scale NL2ERM dataset. Because NL2ERM can be seen as a special information extraction (IE) task, we train two state-of-the-art IE models on our dataset. The experimental results show that both the two models achieve high performance and outperform existing baselines.

 

추상화:ER 모델을 설계하는 수동 비용을 줄이기 위해 최근 NL2ERM의 과제를 해결하기 위한 접근법이 제안되었다. 즉, 소프트웨어 요구 사항과 같은 자연 언어(NL) 발화로부터 개체-관계(ER) 모델을 자동으로 생성한다. 이러한 접근법은 일반적으로 규칙 기반 접근법이며, 이는 엄격한 휴리스틱 규칙에 의존한다. 이러한 접근법은 동일한 요구 사항을 설명하는 다양한 언어적 방법에 잘 일반화할 수 없다. 규칙 기반 접근법보다 일반화 기능이 더 우수함에도 불구하고 대규모 데이터 세트가 부족하여 NL2ERM에 대한 딥러닝 기반 모델이 부족하다. 이 문제를 해결하기 위해 본 논문에서는 NL2ERM의 작업과 점점 대중화되고 있는 텍스트-대-SQL의 작업 사이에 높은 유사성이 존재한다는 통찰을 보고하고, 텍스트-대-SQL의 기존 데이터를 NL2ERM의 데이터로 변환하는 데이터 변환 알고리즘을 제안한다. 가장 인기 있는 텍스트-SQL 데이터 세트 중 하나인 Spider에 데이터 변환 알고리즘을 적용하고, 또한 NL 유형이 다른 일부 데이터 항목을 수집하여 대규모 NL2ERM 데이터 세트를 얻는다. NL2ERM은 특수 정보 추출(IE) 작업으로 볼 수 있기 때문에 데이터 세트에서 두 가지 최첨단 IE 모델을 훈련시킨다. 실험 결과는 두 모델 모두 높은 성능을 달성하고 기존의 기준선을 능가한다는 것을 보여준다. 

 

 

ChatGPT as a commenter to the news: can LLMs generate human-like opinions?

 

Abstract:ChatGPT, GPT-3.5, and other large language models (LLMs) have drawn significant attention since their release, and the abilities of these models have been investigated for a wide variety of tasks. In this research we investigate to what extent GPT-3.5 can generate human-like comments on Dutch news articles. We define human likeness as `not distinguishable from human comments', approximated by the difficulty of automatic classification between human and GPT comments. We analyze human likeness across multiple prompting techniques. In particular, we utilize zero-shot, few-shot and context prompts, for two generated personas. We found that our fine-tuned BERT models can easily distinguish human-written comments from GPT-3.5 generated comments, with none of the used prompting methods performing noticeably better. We further analyzed that human comments consistently showed higher lexical diversity than GPT-generated comments. This indicates that although generative LLMs can generate fluent text, their capability to create human-like opinionated comments is still limited.

 

추상화:ChatGPT, GPT-3.5 및 기타 LLM(Large Language Model)은 출시 이후 큰 주목을 받았으며, 이들 모델의 능력은 매우 다양한 작업에 대해 조사되었다. 본 연구에서는 GPT-3.5가 네덜란드 뉴스 기사에 대해 인간과 유사한 코멘트를 어느 정도 생성할 수 있는지 조사한다. 우리는 인간의 유사성을 '인간의 댓글과 구별할 수 없는 것'으로 정의하며, 인간과 GPT 댓글 간의 자동 분류의 어려움으로 근사화한다. 우리는 여러 촉진 기술에 걸쳐 인간의 유사성을 분석한다. 특히 생성된 2개의 페르소나에 대해 제로샷, 퓨샷 및 컨텍스트 프롬프트를 활용한다. 우리는 미세 조정된 BERT 모델이 사람이 작성한 코멘트와 GPT-3.5 생성 코멘트를 쉽게 구별할 수 있으며, 사용된 프롬프트 방법 중 어느 것도 눈에 띄게 더 나은 성능을 발휘하지 못한다는 것을 발견했다. 추가적으로 인간의 코멘트가 GPT 생성 코멘트보다 일관되게 더 높은 어휘 다양성을 나타냈다는 것을 분석하였다. 이는 생성 LLM이 유창한 텍스트를 생성할 수는 있지만, 인간과 유사한 의견 댓글을 생성하는 능력은 여전히 제한적임을 나타낸다. 

 

 

DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines

 

Abstract:Chaining language model (LM) calls as composable modules is fueling a new powerful way of programming. However, ensuring that LMs adhere to important constraints remains a key challenge, one often addressed with heuristic "prompt engineering". We introduce LM Assertions, a new programming construct for expressing computational constraints that LMs should satisfy. We integrate our constructs into the recent DSPy programming model for LMs, and present new strategies that allow DSPy to compile programs with arbitrary LM Assertions into systems that are more reliable and more accurate. In DSPy, LM Assertions can be integrated at compile time, via automatic prompt optimization, and/or at inference time, via automatic selfrefinement and backtracking. We report on two early case studies for complex question answering (QA), in which the LM program must iteratively retrieve information in multiple hops and synthesize a long-form answer with citations. We find that LM Assertions improve not only compliance with imposed rules and guidelines but also enhance downstream task performance, delivering intrinsic and extrinsic gains up to 35.7% and 13.3%, respectively. Our reference implementation of LM Assertions is integrated into DSPy at this https URL

 

추상화:합성 가능한 모듈로서의 LM(Chaining Language Model) 호출은 새로운 강력한 프로그래밍 방식을 부채질하고 있다. 그러나 LM이 중요한 제약 조건을 준수하는지 확인하는 것은 핵심 과제로 남아 있으며, 종종 휴리스틱 "프롬프트 엔지니어링"으로 해결된다. 우리는 LM이 충족해야 하는 계산 제약을 표현하기 위한 새로운 프로그래밍 구조인 LM Assertions를 소개한다. 우리는 LM에 대한 최근 DSPy 프로그래밍 모델에 우리의 구성을 통합하고 DSPy가 임의의 LM Assertion을 가진 프로그램을 보다 신뢰할 수 있고 정확한 시스템으로 컴파일할 수 있는 새로운 전략을 제시한다. DSPy에서 LM 어설션은 컴파일 시간, 자동 프롬프트 최적화를 통해 그리고/또는 추론 시간, 자동 자체 정제 및 역추적을 통해 통합될 수 있다. 우리는 LM 프로그램이 여러 홉에서 정보를 반복적으로 검색하고 인용문과 함께 긴 형태의 답변을 합성해야 하는 복잡한 질문 답변(QA)에 대한 두 가지 초기 사례 연구에 대해 보고한다. 우리는 LM Assertions가 부과된 규칙과 지침의 준수를 향상시킬 뿐만 아니라 다운스트림 작업 성능을 향상시켜 각각 최대 35.7%와 13.3%의 고유 및 외부 이득을 제공한다는 것을 발견했다. LM Assertions의 참조 구현은 이 https URL에서 DSPy에 통합됩니다