[2023-04-30] 오늘의 자연어처리

AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays

 

Background: Recently, ChatGPT and similar generative AI models have attracted hundreds of millions of users and become part of the public discourse. Many believe that such models will disrupt society and will result in a significant change in the education system and information generation in the future. So far, this belief is based on either colloquial evidence or benchmarks from the owners of the models -- both lack scientific rigour. Objective: Through a large-scale study comparing human-written versus ChatGPT-generated argumentative student essays, we systematically assess the quality of the AI-generated content. Methods: A large corpus of essays was rated using standard criteria by a large number of human experts (teachers). We augment the analysis with a consideration of the linguistic characteristics of the generated essays. Results: Our results demonstrate that ChatGPT generates essays that are rated higher for quality than human-written essays. The writing style of the AI models exhibits linguistic characteristics that are different from those of the human-written essays, e.g., it is characterized by fewer discourse and epistemic markers, but more nominalizations and greater lexical diversity. Conclusions: Our results clearly demonstrate that models like ChatGPT outperform humans in generating argumentative essays. Since the technology is readily available for anyone to use, educators must act immediately. We must re-invent homework and develop teaching concepts that utilize these AI models in the same way as math utilized the calculator: teach the general concepts first and then use AI tools to free up time for other learning objectives.

 

배경: 최근 ChatGPT과 유사한 생성 AI 모델이 주목받고 있다 수억 명의 사용자들이 공개 담론의 일부가 된다. 많이 그러한 모델들이 사회를 파괴하고 상당한 결과를 가져올 것이라고 믿는다 미래의 교육 시스템과 정보 생성의 변화. 그렇게 멀리, 이 믿음은 구어체 증거나 벤치마크에 기반을 두고 있다 그 모델의 소유자들은 둘 다 과학적인 엄격함이 부족하다. 목표: 인간이 쓴 것과 인간이 쓴 것을 비교하는 대규모 연구를 통해 ChatGPT에서 생성된 논쟁적인 학생 에세이, 우리는 체계적으로 평가한다 AI가 생성한 콘텐츠의 품질. 방법: 많은 에세이 코퍼스가 표준 기준을 사용하여 평가되었다 많은 수의 인간 전문가들(전문가들. 우리는 다음과 같이 분석을 확대한다 생성된 에세이의 언어적 특성에 대한 고찰. 결과: 우리의 결과는 ChatGPT가 평가된 에세이를 생성한다는 것을 보여준다 인간이 쓴 에세이보다 질이 높다. 인공지능의 글쓰기 스타일 모델들은 그것들의 것들과 다른 언어적 특징들을 보여준다 인간이 쓴 에세이, 예를 들어, 그것은 더 적은 담론과 인식론적 표지, 그러나 더 많은 명목화와 더 큰 어휘적 다양성. 결론: 우리의 결과는 모델이 ChatGPT를 좋아한다는 것을 분명히 보여준다 논쟁적인 에세이를 만드는 데 있어서 인간을 능가한다. 왜냐하면 기술이 누구나 쉽게 사용할 수 있으므로 교육자는 즉시 조치를 취해야 합니다. 우리는 해야 한다 숙제를 재창조하고 이러한 AI 모델을 활용하는 교수 개념을 개발한다 수학이 계산기를 사용한 것과 같은 방식으로: 일반적인 개념을 가르친다 우선 AI 도구를 사용하여 다른 학습 목표를 위한 시간을 확보합니다. 

 

 

Controlled Text Generation with Natural Language Instructions

 

Large language models generate fluent texts and can follow natural language instructions to solve a wide range of tasks without task-specific training. Nevertheless, it is notoriously difficult to control their generation to satisfy the various constraints required by different applications. In this work, we present InstructCTG, a controlled text generation framework that incorporates different constraints by conditioning on natural language descriptions and demonstrations of the constraints. In particular, we first extract the underlying constraints of natural texts through a combination of off-the-shelf NLP tools and simple heuristics. We then verbalize the constraints into natural language instructions to form weakly supervised training data. By prepending natural language descriptions of the constraints and a few demonstrations, we fine-tune a pre-trained language model to incorporate various types of constraints. Compared to existing search-based or score-based methods, InstructCTG is more flexible to different constraint types and has a much smaller impact on the generation quality and speed because it does not modify the decoding procedure. Additionally, InstructCTG allows the model to adapt to new constraints without re-training through the use of few-shot task generalization and in-context learning abilities of instruction-tuned language models.

 

대형 언어 모델은 유창한 텍스트를 생성하고 자연어를 따를 수 있습니다 작업별 교육 없이 광범위한 작업을 해결하기 위한 지침입니다. 그럼에도 불구하고, 그들의 세대를 통제하는 것은 악명높게 어렵다 다양한 응용 프로그램이 요구하는 다양한 제약 조건을 충족합니다. 이 점에서. 작업, 우리는 제어된 텍스트 생성 프레임워크인 InstructCTG를 제시한다 자연어를 조건화함으로써 다양한 제약을 통합한다 제약 조건에 대한 설명 및 시연. 특히 저희가 먼저 다음의 조합을 통해 자연 텍스트의 근본적인 제약을 추출한다 기성 NLP 도구와 간단한 휴리스틱. 그런 다음 우리는 언어화한다 약하게 감독되는 자연어 명령어를 형성하기 위한 제약 교육 자료. 제약 조건에 대한 자연어 설명을 추가함으로써 그리고 몇 가지 시연을 통해 사전 훈련된 언어 모델을 미세 조정합니다 다양한 유형의 제약 조건을 통합합니다. 기존 검색 기반 또는 점수 기반 방법, 강사CTG는 다양한 제약 조건 유형에 더 유연합니다 그리고 그것이 발전 품질과 속도에 훨씬 작은 영향을 미치기 때문이다 디코딩 절차를 수정하지 않습니다. 또한 InstructCTG를 통해 사용을 통해 재교육 없이 새로운 제약에 적응하는 모델 퓨샷 작업의 일반화 및 내부 학습 능력 명령형 언어 모델. 

 

 

Industrial Engineering with Large Language Models: A case study of ChatGPT's performance on Oil & Gas problems

 

Large Language Models (LLMs) have shown great potential in solving complex problems in various fields, including oil and gas engineering and other industrial engineering disciplines like factory automation, PLC programming etc. However, automatic identification of strong and weak solutions to fundamental physics equations governing several industrial processes remain a challenging task. This paper identifies the limitation of current LLM approaches, particularly ChatGPT in selected practical problems native to oil and gas engineering but not exclusively. The performance of ChatGPT in solving complex problems in oil and gas engineering is discussed and the areas where LLMs are most effective are presented.

 

대규모 언어 모델(LLM)은 복잡한 문제를 해결하는 데 큰 잠재력을 보여주었다 석유 및 가스 공학 및 기타를 포함한 다양한 분야의 문제들 공장 자동화, PLC 프로그래밍과 같은 산업 공학 분야 등. 그러나, 강력하고 약한 해결책의 자동 식별 몇 가지 산업 과정을 지배하는 기본 물리 방정식은 여전히 남아있다 어려운 일. 이 문서에서는 현재 LLM의 한계를 확인합니다 접근법, 특히 석유에 고유한 선택된 실제 문제에 대한 ChatGPT 가스 공학도 있지만 독점적인 것은 아닙니다. 해결에 있어 ChatGPT의 성과 석유와 가스 공학의 복잡한 문제들과 그 분야들이 논의된다 LLM이 가장 효과적입니다.