[2022-12-28] 오늘의 자연어처리

Generative Pre-Trained Transformers for Biologically Inspired Design

 

Biological systems in nature have evolved for millions of years to adapt and survive the environment. Many features they developed can be inspirational and beneficial for solving technical problems in modern industries. This leads to a novel form of design-by-analogy called bio-inspired design (BID). Although BID as a design method has been proven beneficial, the gap between biology and engineering continuously hinders designers from effectively applying the method. Therefore, we explore the recent advance of artificial intelligence (AI) for a computational approach to bridge the gap. This paper proposes a generative design approach based on the pre-trained language model (PLM) to automatically retrieve and map biological analogy and generate BID in the form of natural language. The latest generative pre-trained transformer, namely GPT-3, is used as the base PLM. Three types of design concept generators are identified and fine-tuned from the PLM according to the looseness of the problem space representation. Machine evaluators are also fine-tuned to assess the correlation between the domains within the generated BID concepts. The approach is then tested via a case study in which the fine-tuned models are applied to generate and evaluate light-weighted flying car concepts inspired by nature. The results show our approach can generate BID concepts with good performance.

 

자연의 생물학적 시스템은 적응하기 위해 수백만 년 동안 진화해왔다. 환경 속에서 살아남다 그들이 개발한 많은 기능들은 영감을 줄 수 있고 현대 산업의 기술적 문제를 해결하는 데 도움이 됩니다. 이것은 a로 이어집니다. 바이오 영감을 받은 디자인(BID)이라고 불리는 새로운 형태의 유사 디자인 BID이긴 하지만 디자인 방법이 유익하다는 것이 증명되었듯이, 생물학과 생물학의 격차이다. 엔지니어링은 설계자가 효과적으로 적용하는 것을 지속적으로 방해한다. 방법. 그러므로, 우리는 인공지능의 최근 발전을 탐구한다. (AI) 격차를 해소하기 위한 계산 접근법. 이 논문은 다음을 제안한다. 사전 훈련된 언어 모델(PLM)을 기반으로 한 생성적 설계 접근법을 통해 생물학적 유추를 자동으로 검색하고 매핑하여 양식에 BID를 생성합니다. 자연어의 최신 생성 사전 훈련된 변압기, 즉 GPT-3는 기본 PLM으로 사용됩니다. 세 가지 유형의 설계 개념 생성기는 다음과 같다. 느슨함에 따라 PLM에서 식별되고 미세 조정됩니다. 문제 공간 표현. 기계 평가자도 평가하도록 미세 조정됩니다. 생성된 BID 개념 내 도메인 간의 상관 관계. 그 그런 다음 미세 조정 모델이 다음과 같은 사례 연구를 통해 접근 방식을 테스트한다. 에서 영감을 받은 경량 비행 자동차 개념을 생성하고 평가하기 위해 적용된다. 자연. 그 결과는 우리의 접근법이 좋은 BID 개념을 생성할 수 있다는 것을 보여준다. 성능. 

 

 

The URW-KG: a Resource for Tackling the Underrepresentation of non-Western Writers

 

Digital media have enabled the access to unprecedented literary knowledge. Authors, readers, and scholars are now able to discover and share an increasing amount of information about books and their authors. Notwithstanding, digital archives are still unbalanced: writers from non-Western countries are less represented, and such a condition leads to the perpetration of old forms of discrimination. In this paper, we present the Under-Represented Writers Knowledge Graph (URW-KG), a resource designed to explore and possibly amend this lack of representation by gathering and mapping information about works and authors from Wikidata and three other sources: Open Library, Goodreads, and Google Books. The experiments based on KG embeddings showed that the integrated information encoded in the graph allows scholars and users to be more easily exposed to non-Western literary works and authors with respect to Wikidata alone. This opens to the development of fairer and effective tools for author discovery and exploration.

 

디지털 미디어는 전례 없는 문학적 지식에 대한 접근을 가능하게 했다. 작가, 독자, 학자들은 이제 증가하는 것을 발견하고 공유할 수 있다. 책과 그 저자들에 대한 정보의 양 그럼에도 불구하고 디지털 기록 보관소는 여전히 불균형하다: 비서구 국가의 작가들은 덜하다. 대표되고, 그러한 조건은 오래된 형태의 영구화로 이어진다. 차별 이 논문에서, 우리는 과소 대표 작가들을 제시한다. 지식 그래프(URW-KG), 탐색 및 수정을 위해 설계된 리소스 작품에 대한 정보를 수집하고 매핑함으로써 이러한 대표성의 부족 Wikidata 및 기타 세 가지 출처: 라이브러리, 좋은 읽기 및 Google Books. KG 임베딩을 기반으로 한 실험은 통합된 것을 보여주었다. 그래프에 암호화된 정보는 학자들과 사용자들이 더 쉽게 할 수 있게 해준다. 위키데이터와 관련하여 서양 이외의 문학작품과 작가들에게 노출된. 단독으로. 이것은 작가를 위한 더 공정하고 효과적인 도구의 개발에 열려있다. 발견과 탐험 

 

 

Development of a Thermodynamics of Human Cognition and Human Culture

 

Inspired by foundational studies in classical and quantum physics, and by information retrieval studies in quantum information theory, we have recently proved that the notions of 'energy' and 'entropy' can be consistently introduced in human language and, more generally, in human culture. More explicitly, if energy is attributed to words according to their frequency of appearance in a text, then the ensuing energy levels are distributed non-classically, namely, they obey Bose-Einstein, rather than Maxwell-Boltzmann, statistics, as a consequence of the genuinely 'quantum indistinguishability' of the words that appear in the text. Secondly, the 'quantum entanglement' due to the way meaning is carried by a text reduces the (von Neumann) entropy of the words that appear in the text, a behaviour which cannot be explained within classical (thermodynamic or information) entropy. We claim here that this 'quantum-type behaviour is valid in general in human cognition', namely, any text is conceptually more concrete than the words composing it, which entails that the entropy of the overall text decreases. This result can be prolonged to human culture and its collaborative entities having lower entropy than their constituent elements. We use these findings to propose the development of a new 'non-classical thermodynamic theory for human cognition and human culture', which bridges concepts and quantum entities and agrees with some recent findings on the conceptual, not physical, nature of quantum entities.

 

고전 물리학과 양자 물리학의 기초 연구에 영감을 받아, 그리고 양자 정보 이론에서의 정보 검색 연구, 우리는 최근에 있다. '에너지'와 '에너지'의 개념이 일관적일 수 있음을 증명했다. 인간의 언어로, 그리고 더 일반적으로, 인간의 문화에 도입되었다. 더 명시적으로, 만약 에너지가 단어의 빈도에 따라 단어에 귀속된다면. 텍스트의 출현, 그 다음의 에너지 레벨이 분배된다. 비고전적으로, 즉, 그들은 보스-아인슈타인에게 복종한다. 맥스웰-볼츠만, 통계학, 진정한 '양자'의 결과. 텍스트에 나타나는 단어의 구별 불가능성' 두번째로, 의미가 텍스트에 의해 전달되는 방식으로 인한 '복잡한 얽힘'은 의미를 줄입니다. (von Neumann) 텍스트에 나타나는 단어의 엔트로피, 행동: 고전적인 (역학적 또는 정보) 엔트로피 내에서는 설명할 수 없다. 우리가 여기서 이 '비정상적인 유형의 행동'은 일반적으로 인간에게 유효하다고 주장한다. 인지', 즉, 어떤 텍스트든 개념적으로 단어보다 더 구체적이다. 전체 텍스트의 엔트로피가 감소하는 것을 수반하는 구성. 이 결과는 인간 문화와 그것의 협력적 실체로 연장될 수 있다. 구성 요소보다 엔트로피가 낮습니다. 우리는 이 발견들을 다음과 같이 사용한다. 인간을 위한 새로운 '비논리적 열역학 이론'의 개발을 제안하다. 개념과 양자 실체를 연결하는 '인지와 인간 문화' 물리적인 것이 아닌 개념적인 것에 대한 최근의 발견에 동의한다. 양자 실체.