[2023-08-22] 오늘의 자연어처리

Document Automation Architectures and Technologies: A Survey

 

This paper surveys the current state of the art in document automation (DA). The objective of DA is to reduce the manual effort during the generation of documents by automatically integrating input from different sources and assembling documents conforming to defined templates. There have been reviews of commercial solutions of DA, particularly in the legal domain, but to date there has been no comprehensive review of the academic research on DA architectures and technologies. The current survey of DA reviews the academic literature and provides a clearer definition and characterization of DA and its features, identifies state-of-the-art DA architectures and technologies in academic research, and provides ideas that can lead to new research opportunities within the DA field in light of recent advances in artificial intelligence and deep neural networks.

 

본 논문은 문서 자동화(DA) 분야의 최신 기술을 조사한다. DA의 목적은 다음을 생성하는 동안 수동 작업을 줄이는 것입니다 다른 소스의 입력을 자동으로 통합하여 문서를 생성합니다 정의된 템플릿을 준수하는 문서를 구성합니다. 리뷰가 있었다 특히 법적 영역에서 DA의 상업적 솔루션에 대해, 그러나 현재까지 DA에 대한 학술 연구에 대한 포괄적인 검토는 없었다 건축과 기술. DA의 현재 조사는 학계를 검토한다 문헌과 DA 및 DA의 더 명확한 정의 및 특성을 제공합니다 기능, 최첨단 DA 아키텍처 및 기술 식별 학술 연구, 그리고 새로운 연구로 이어질 수 있는 아이디어를 제공한다 최근의 인공지능의 발전에 비추어 볼 때 DA 분야 내에서의 기회 지능과 깊은 신경 네트워크. 

 

 

Linearity of Relation Decoding in Transformer Language Models

 

Much of the knowledge encoded in transformer language models (LMs) may be expressed in terms of relations: relations between words and their synonyms, entities and their attributes, etc. We show that, for a subset of relations, this computation is well-approximated by a single linear transformation on the subject representation. Linear relation representations may be obtained by constructing a first-order approximation to the LM from a single prompt, and they exist for a variety of factual, commonsense, and linguistic relations. However, we also identify many cases in which LM predictions capture relational knowledge accurately, but this knowledge is not linearly encoded in their representations. Our results thus reveal a simple, interpretable, but heterogeneously deployed knowledge representation strategy in transformer LMs.

 

트랜스포머 언어 모델(LM)에서 인코딩된 지식의 대부분은 다음과 같다 관계의 관점에서 표현된다: 단어들과 그들의 동의어들 사이의 관계, 개체 및 해당 속성 등을 포함합니다. 우리는 관계의 부분집합에 대해, 이 계산은 위의 단일 선형 변환에 의해 잘 근사화된다 주체의 대표. 선형 관계 표현은 다음과 같이 얻을 수 있다 단일 프롬프트에서 LM에 대한 1차 근사를 구성한다 그들은 다양한 사실적, 상식적, 언어적 관계를 위해 존재한다. 그러나, 우리는 또한 LM 예측이 관계를 포착하는 많은 경우를 식별한다 정확하게, 그러나 이 지식은 그것들에 선형적으로 인코딩되지 않는다 표상의 표현. 따라서 우리의 결과는 단순하고 해석 가능하지만 트랜스포머 LM에서 이질적으로 배치된 지식 표현 전략. 

 

 

Conversational Ontology Alignment with ChatGPT

 

This study evaluates the applicability and efficiency of ChatGPT for ontology alignment using a naive approach. ChatGPT's output is compared to the results of the Ontology Alignment Evaluation Initiative 2022 campaign using conference track ontologies. This comparison is intended to provide insights into the capabilities of a conversational large language model when used in a naive way for ontology matching, and to investigate the potential advantages and disadvantages of this approach.

 

본 연구는 온톨로지에 대한 ChatGPT의 적용가능성과 효율성을 평가한다 순진한 접근법을 사용한 정렬. ChatGPT의 출력이 결과와 비교됩니다 컨퍼런스를 활용한 온톨로지 정렬 평가 이니셔티브 2022 캠페인의 제안 존재론을 추적하다. 이 비교는 다음에 대한 통찰력을 제공하기 위한 것입니다 순진한 방식으로 사용될 때 대화형 대어 모델의 능력 온톨로지 매칭을 위해, 그리고 잠재적인 이점을 조사하기 위해 이 접근법의 단점.