[2022-12-29] 오늘의 자연어처리

Generative Pre-Trained Transformers for Biologically Inspired Design

 

Biological systems in nature have evolved for millions of years to adapt and survive the environment. Many features they developed can be inspirational and beneficial for solving technical problems in modern industries. This leads to a novel form of design-by-analogy called bio-inspired design (BID). Although BID as a design method has been proven beneficial, the gap between biology and engineering continuously hinders designers from effectively applying the method. Therefore, we explore the recent advance of artificial intelligence (AI) for a computational approach to bridge the gap. This paper proposes a generative design approach based on the pre-trained language model (PLM) to automatically retrieve and map biological analogy and generate BID in the form of natural language. The latest generative pre-trained transformer, namely GPT-3, is used as the base PLM. Three types of design concept generators are identified and fine-tuned from the PLM according to the looseness of the problem space representation. Machine evaluators are also fine-tuned to assess the correlation between the domains within the generated BID concepts. The approach is then tested via a case study in which the fine-tuned models are applied to generate and evaluate light-weighted flying car concepts inspired by nature. The results show our approach can generate BID concepts with good performance.

 

자연의 생물학적 시스템은 적응하기 위해 수백만 년 동안 진화해왔다. 환경에서 살아남다 그들이 개발한 많은 기능들은 영감을 줄 수 있고 현대 산업의 기술적 문제를 해결하는 데 도움이 됩니다. 이것은 a로 이어진다. 생물학적 영감을 받은 디자인(BID)이라고 불리는 새로운 형태의 아날로그 디자인. 입찰에도 불구하고 설계 방법이 유익하다는 것이 증명되었기 때문에, 생물학과 사이의 간격은 엔지니어링은 설계자가 효과적으로 적용하는 것을 지속적으로 방해한다. 방법. 그러므로, 우리는 인공지능의 최근 발전을 탐구한다. (AI) 격차를 해소하기 위한 계산 접근법. 이 논문은 다음을 제안한다. 사전 훈련된 언어 모델(PLM)을 기반으로 한 생성적 설계 접근법을 통해 생물학적 유추를 자동으로 검색하고 매핑하여 양식에 BID를 생성합니다. 자연어의 최신 생성 사전 훈련된 변압기, 즉 GPT-3는 기본 PLM으로 사용됩니다. 세 가지 유형의 설계 개념 생성기는 다음과 같다. 느슨함에 따라 PLM에서 식별되고 미세 조정됩니다. 문제 공간 표현. 기계 평가자도 평가하도록 미세 조정됩니다. 생성된 BID 개념 내 도메인 간의 상관 관계. 그 그런 다음 미세 조정 모델이 다음과 같은 사례 연구를 통해 접근 방식을 테스트한다. 에서 영감을 받은 경량 비행 자동차 개념을 생성하고 평가하기 위해 적용된다. 자연. 그 결과는 우리의 접근법이 좋은 BID 개념을 생성할 수 있다는 것을 보여준다. 성능. 

 

 

Personalized Prediction of Offensive News Comments by Considering the Characteristics of Commenters

 

When reading news articles on social networking services and news sites, readers can view comments marked by other people on these articles. By reading these comments, a reader can understand the public opinion about the news, and it is often helpful to grasp the overall picture of the news. However, these comments often contain offensive language that readers do not prefer to read. This study aims to predict such offensive comments to improve the quality of the experience of the reader while reading comments. By considering the diversity of the readers' values, the proposed method predicts offensive news comments for each reader based on the feedback from a small number of news comments that the reader rated as "offensive" in the past. In addition, we used a machine learning model that considers the characteristics of the commenters to make predictions, independent of the words and topics in news comments. The experimental results of the proposed method show that prediction can be personalized even when the amount of readers' feedback data used in the prediction is limited. In particular, the proposed method, which considers the commenters' characteristics, has a low probability of false detection of offensive comments.

 

소셜 네트워킹 서비스와 뉴스 사이트의 뉴스 기사를 읽을 때, 독자들은 이 기사들에 대해 다른 사람들이 표시한 주석을 볼 수 있다. 읽음으로써 이 논평들, 독자는 뉴스에 대한 대중의 의견을 이해할 수 있다. 뉴스의 전체적인 상황을 파악하는 것은 종종 도움이 된다. 하지만, 이것들은 댓글은 종종 독자들이 읽기를 선호하지 않는 불쾌한 언어를 포함한다. 이 연구는 이러한 공격적인 논평을 예측하여 품질을 향상시키는 것을 목표로 한다. 독자가 댓글을 읽을 때의 경험 다음을 고려하여 독자 가치의 다양성, 제안된 방법은 불쾌한 뉴스를 예측한다. 소수의 뉴스에서 얻은 피드백을 바탕으로 한 각 독자에 대한 논평 독자가 과거에 "비정상적"이라고 평가한 논평 게다가, 우리는 해설자의 특성을 고려한 기계 학습 모델 뉴스 댓글의 단어와 주제에 관계없이 예측하기 위해. 그 제안된 방법의 실험 결과는 예측이 가능하다는 것을 보여준다. 독자 피드백 데이터의 양이 사용되는 경우에도 개인화된 예측은 제한적이다. 특히, 제안된 방법은 다음을 고려한다. 해설자의 특성, 허위 탐지 가능성이 낮다. 모욕적인 논평 

 

 

TextBox 2.0: A Text Generation Library with Pre-trained Language Models

 

To facilitate research on text generation, this paper presents a comprehensive and unified library, TextBox 2.0, focusing on the use of pre-trained language models (PLMs). To be comprehensive, our library covers $13$ common text generation tasks and their corresponding $83$ datasets and further incorporates $45$ PLMs covering general, translation, Chinese, dialogue, controllable, distilled, prompting, and lightweight PLMs. We also implement $4$ efficient training strategies and provide $4$ generation objectives for pre-training new PLMs from scratch. To be unified, we design the interfaces to support the entire research pipeline (from data loading to training and evaluation), ensuring that each step can be fulfilled in a unified way. Despite the rich functionality, it is easy to use our library, either through the friendly Python API or command line. To validate the effectiveness of our library, we conduct extensive experiments and exemplify four types of research scenarios. The project is released at the link: this https URL.

 

텍스트 생성에 대한 연구를 용이하게 하기 위해, 이 논문은 다음을 제시한다. 포괄적이고 통합된 라이브러리, TextBox 2.0, 사용에 초점을 맞춥니다. 사전 훈련된 언어 모델(PLM) 종합적으로 말하자면, 우리 도서관은 $13$ 공통 텍스트 생성 작업과 해당 $83$ 데이터 세트 및 추가로 일반, 번역, 중국어를 포함하는 $45$ PLM을 통합합니다. 대화, 제어 가능, 증류, 프롬프트 및 경량 PLM. 우리는 $4$개의 효율적인 교육 전략을 구현하고 $4$개의 세대를 제공합니다. 새로운 PLM을 처음부터 사전 교육하기 위한 목표. 통합하기 위해, 우리는 전체 연구 파이프라인을 지원하는 인터페이스(데이터 로드에서 교육 및 평가), 각 단계가 통합된 환경에서 수행될 수 있는지 확인합니다. 방법. 풍부한 기능에도 불구하고, 우리의 도서관을 사용하는 것은 또한 쉽다. Python API 또는 명령줄을 사용합니다. 효과를 검증하기 우리의 도서관에서, 우리는 광범위한 실험을 수행하고 4가지 유형의 예를 든다. 연구 시나리오 프로젝트는 다음 링크에서 릴리스됩니다. 이 https URL.