[2023-03-09] 오늘의 자연어처리

A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT

 

Recently, ChatGPT, along with DALL-E-2 and Codex,has been gaining significant attention from society. As a result, many individuals have become interested in related resources and are seeking to uncover the background and secrets behind its impressive performance. In fact, ChatGPT and other Generative AI (GAI) techniques belong to the category of Artificial Intelligence Generated Content (AIGC), which involves the creation of digital content, such as images, music, and natural language, through AI models. The goal of AIGC is to make the content creation process more efficient and accessible, allowing for the production of high-quality content at a faster pace. AIGC is achieved by extracting and understanding intent information from instructions provided by human, and generating the content according to its knowledge and the intent information. In recent years, large-scale models have become increasingly important in AIGC as they provide better intent extraction and thus, improved generation results. With the growth of data and the size of the models, the distribution that the model can learn becomes more comprehensive and closer to reality, leading to more realistic and high-quality content generation. This survey provides a comprehensive review on the history of generative models, and basic components, recent advances in AIGC from unimodal interaction and multimodal interaction. From the perspective of unimodality, we introduce the generation tasks and relative models of text and image. From the perspective of multimodality, we introduce the cross-application between the modalities mentioned above. Finally, we discuss the existing open problems and future challenges in AIGC.

 

최근 ChatGPT는 DAL-E-2, 코덱스와 함께 상당한 인기를 끌고 있다 사회의 주목. 결과적으로, 많은 사람들이 관심을 가지게 되었다 관련 자원들 그리고 배경과 비밀을 밝혀내는 것을 추구하고 있다 그것의 인상적인 공연. 실제로 ChatGPT 및 기타 생성 AI(GAI) 기술은 인공지능 생성 콘텐츠의 범주에 속한다 (AIGC)는 이미지, 음악, 음악과 같은 디지털 콘텐츠를 만드는 것을 포함한다, 그리고 인공지능 모델을 통해 자연어. AIGC의 목표는 다음을 만드는 것이다 콘텐츠 생성 프로세스가 보다 효율적이고 접근성이 높아집니다 더 빠른 속도로 고품질 콘텐츠를 제작할 수 있습니다. AIGC는 다음에 의해 달성된다 제공된 지침에서 의도 정보 추출 및 이해 인간, 그리고 그것의 지식과 의도에 따라 내용을 생성한다 정보. 최근 몇 년 동안, 대규모 모델이 점점 더 많아지고 있다 AIGC에서 중요한 것은 AIGC가 더 나은 의도 추출을 제공하고 따라서 개선되기 때문이다 생성 결과. 데이터의 증가와 모델의 크기에 따라 모델이 학습할 수 있는 분포는 더 포괄적이고 더 가까워집니다 보다 현실적이고 고품질의 콘텐츠 생성으로 이어집니다. 이것. 설문조사는 생성 모델의 역사에 대한 포괄적인 검토를 제공한다 기본 구성 요소, 단일 상호 작용에서 AIGC의 최근 발전 및 다중 모드 상호 작용. 단모달성의 관점에서, 우리는 다음을 소개한다 생성 작업 및 텍스트 및 이미지의 상대 모델. 의 관점에서 멀티모달리티, 우리는 모달리티 사이의 교차 애플리케이션을 소개한다 상술한. 마지막으로, 우리는 기존의 미해결 문제와 미래에 대해 논의한다 AIGC의 과제. 

 

 

Self-contained Beta-with-Spikes Approximation for Inference Under a Wright-Fisher Model

 

We construct a reliable estimation of evolutionary parameters within the Wright-Fisher model, which describes changes in allele frequencies due to selection and genetic drift, from time-series data. Such data exists for biological populations, for example via artificial evolution experiments, and for the cultural evolution of behavior, such as linguistic corpora that document historical usage of different words with similar meanings. Our method of analysis builds on a Beta-with-Spikes approximation to the distribution of allele frequencies predicted by the Wright-Fisher model. We introduce a self-contained scheme for estimating the parameters in the approximation, and demonstrate its robustness with synthetic data, especially in the strong-selection and near-extinction regimes where previous approaches fail. We further apply to allele frequency data for baker's yeast (Saccharomyces cerevisiae), finding a significant signal of selection in cases where independent evidence supports such a conclusion. We further demonstrate the possibility of detecting time-points at which evolutionary parameters change in the context of a historical spelling reform in the Spanish language.

 

우리는 진화 매개 변수의 신뢰할 수 있는 추정치를 구성한다 라이트-피셔 모델은 다음과 같은 이유로 인한 대립형질 빈도의 변화를 설명한다 시계열 데이터에서 선택 및 유전적 드리프트. 해당 데이터는 다음에 대해 존재합니다 생물학적 개체군, 예를 들어 인공 진화 실험, 그리고 언어적 말뭉치와 같은 행동의 문화적 진화를 위해 유사한 의미를 가진 다른 단어의 역사적 사용을 문서화합니다. 우리의 방법 의 분석은 분포에 대한 스파이크가 있는 베타 근사치를 기반으로 한다 라이트-피셔 모델에 의해 예측된 대립형질 주파수. 다음을 소개합니다 근사치의 매개변수를 추정하기 위한 자체 포함 체계 및 특히 합성 데이터로 견고성을 입증한다 이전의 접근 방식이 실패하는 강력하고 거의 멸종에 가까운 체제. 우리가 베이커 효모(Saccharomyces)의 대립 유전자 빈도 데이터에 추가로 적용한다 세레비시아), 다음과 같은 경우에 선택의 중요한 신호 찾기 독립적인 증거는 그러한 결론을 뒷받침한다. 우리는 추가적으로 증명한다 진화 매개변수가 변화하는 시점을 탐지할 가능성 스페인어의 역사적 철자법 개혁의 맥락. 

 

 

Marpa and nullable symbols

 

The Marpa parser was intended to make the best results in the academic literature on Earley's algorithm available as a practical general parser. Earley-based parsers have had issues handling nullable symbols. Initially, we dealt with nullable symbols by following the approach in Aycock and Horspool's 2002 paper. This paper reports our experience with the approach in that paper, and the approach to handling nullables that we settled on in reaction to that experience.

 

Marpa 파서는 학문에서 최고의 결과를 만들기 위해 의도되었다 얼리 알고리즘에 대한 문헌은 실용적인 일반 파서로 이용할 수 있다. 얼리 기반 파서는 무효화 가능한 기호를 처리하는 데 문제가 있었다. 처음에 저희가 아이콕과 호스풀의 접근법을 따라 무효 기호를 처리했다 2002년 논문. 이 논문은 해당 논문의 접근 방식에 대한 우리의 경험을 보고한다, 그리고 그것에 대한 반응으로 우리가 결정한 무효 처리에 대한 접근법 경험하다.