[2023-04-25] 오늘의 자연어처리

Hi Sheldon! Creating Deep Personalized Characters from TV Shows

 

Imagine an interesting multimodal interactive scenario that you can see, hear, and chat with an AI-generated digital character, who is capable of behaving like Sheldon from The Big Bang Theory, as a DEEP copy from appearance to personality. Towards this fantastic multimodal chatting scenario, we propose a novel task, named Deep Personalized Character Creation (DPCC): creating multimodal chat personalized characters from multimodal data such as TV shows. Specifically, given a single- or multi-modality input (text, audio, video), the goal of DPCC is to generate a multi-modality (text, audio, video) response, which should be well-matched the personality of a specific character such as Sheldon, and of high quality as well. To support this novel task, we further collect a character centric multimodal dialogue dataset, named Deep Personalized Character Dataset (DPCD), from TV shows. DPCD contains character-specific multimodal dialogue data of ~10k utterances and ~6 hours of audio/video per character, which is around 10 times larger compared to existing related datasets.On DPCD, we present a baseline method for the DPCC task and create 5 Deep personalized digital Characters (DeepCharacters) from Big Bang TV Shows. We conduct both subjective and objective experiments to evaluate the multimodal response from DeepCharacters in terms of characterization and quality. The results demonstrates that, on our collected DPCD dataset, the proposed baseline can create personalized digital characters for generating multimodal response.Our collected DPCD dataset, the code of data collection and our baseline will be published soon.

 

여러분이 볼 수 있는 흥미로운 멀티모달 대화형 시나리오를 상상해보세요, 인공지능이 만든 디지털 캐릭터와 대화하고, 그는 할 수 있다 빅뱅 이론의 쉘든처럼 행동하는, 겉모습에서 깊은 카피처럼 개성에 맞게. 이 환상적인 멀티모달 채팅 시나리오를 향해, 우리는 제안한다 DPCC(Deep Personalized Character Creation)라는 새로운 작업: 생성 TV 쇼와 같은 멀티모달 데이터에서 개인화된 멀티모달 채팅 캐릭터. 특히, 단일 또는 다중 형식 입력(텍스트, 오디오, 비디오)이 주어지면 DPCC의 목표는 다중 모달리티(텍스트, 오디오, 비디오) 응답을 생성하는 것이다, 다음과 같은 특정 캐릭터의 성격을 잘 표현해야 한다 Sheldon, 그리고 높은 품질의. 이 새로운 작업을 지원하기 위해, 우리는 더 나아가 Deep라는 이름의 문자 중심 멀티모달 대화 데이터 세트를 수집합니다 TV 프로그램의 개인화된 캐릭터 데이터 세트(DPCD). DPCD는 다음을 포함한다 ~10,000개의 발화 및 ~6시간의 문자별 멀티모달 대화 데이터 기존에 비해 약 10배 큰 문자당 오디오/비디오 관련 데이터 세트.DPCD에서, 우리는 DPCC 작업에 대한 기준 방법을 제시한다 빅뱅 TV에서 5개의 딥 퍼스낼라이즈된 디지털 캐릭터(Deep Characters)를 만듭니다 보여준다. 우리는 주관적인 실험과 객관적인 실험을 모두 수행한다 특성화 측면에서 딥캐릭터의 멀티모달 응답 및 퀄리티. 결과는 수집된 DPCD 데이터 세트에서 제안된 기준선은 생성을 위한 개인화된 디지털 문자를 생성할 수 있습니다 멀티모달 응답.수집된 DPCD 데이터 세트, 데이터 수집 코드 및 우리의 기준은 곧 발표될 것이다. 

 

 

Classification of news spreading barriers

 

News media is one of the most effective mechanisms for spreading information internationally, and many events from different areas are internationally relevant. However, news coverage for some news events is limited to a specific geographical region because of information spreading barriers, which can be political, geographical, economic, cultural, or linguistic. In this paper, we propose an approach to barrier classification where we infer the semantics of news articles through Wikipedia concepts. To that end, we collected news articles and annotated them for different kinds of barriers using the metadata of news publishers. Then, we utilize the Wikipedia concepts along with the body text of news articles as features to infer the news-spreading barriers. We compare our approach to the classical text classification methods, deep learning, and transformer-based methods. The results show that the proposed approach using Wikipedia concepts based semantic knowledge offers better performance than the usual for classifying the news-spreading barriers.

 

뉴스 미디어는 정보를 퍼뜨리는 가장 효과적인 메커니즘 중 하나이다 국제적으로, 그리고 다른 지역의 많은 행사들이 국제적으로 관련된. 그러나 일부 뉴스 이벤트에 대한 뉴스 보도는 특정 뉴스로 제한됩니다 정보 확산 장벽 때문에 지리적인 지역, 그것은 가능하다 정치적, 지리적, 경제적, 문화적 또는 언어적. 이 논문에서 우리는 우리가 의미론을 추론하는 장벽 분류에 대한 접근법을 제안한다 위키피디아 개념을 통한 뉴스 기사. 이를 위해 우리는 뉴스를 수집했다 메타데이터를 사용하여 다양한 종류의 장벽에 대한 기사와 주석을 달았다 뉴스 퍼블리셔의. 그런 다음 위키백과 개념을 본문과 함께 활용합니다 뉴스 차단 장벽을 추론하기 위한 특징으로서 뉴스 기사의 텍스트. 우리가 우리의 접근 방식을 고전적인 텍스트 분류 방법과 비교합니다 학습, 그리고 변압기 기반 방법. 결과는 제안된 것이 위키피디아 개념을 사용하는 접근법은 의미론적 지식을 기반으로 더 나은 것을 뉴스 차단 장벽을 분류하는 데 있어 일반적인 성능보다 더 나은 성능을 제공합니다. 

 

 

Academic Writing with GPT-3.5: Reflections on Practices, Efficacy and Transparency

 

The debate around the use of GPT 3.5 has been a popular topic among academics since the release of ChatGPT. Whilst some have argued for the advantages of GPT 3.5 in enhancing academic writing, others have raised concerns such as plagiarism, the spread of false information, and ecological issues. The need for finding ways to use GPT 3.5 models transparently has been voiced, and suggestions have been made on social media as to how to use GPT 3.5 models in a smart way. Nevertheless, to date, there is a lack of literature which clearly outlines how to use GPT 3.5 models in academic writing, how effective they are, and how to use them transparently. To address this, I conducted a personal experience experiment with GPT 3.5, specifically by using OpenAI text davinci 003 model, for writing this article. I identified five ways of using GPT 3.5: Chunk Stylist, Bullet to Paragraph, Talk Textualizer, Research Buddy, and Polisher. I reflected on their efficacy, and commented on their potential impact on writing ethics. Additionally, I provided a comprehensive document which shows the prompts I used, results I got from GPT 3.5, the final edits and visually compares those by showing the differences in percentages.

 

GPT 3.5의 사용에 대한 논쟁은 학계에서 인기 있는 주제였다 ChatGPT이 출시된 이후로. 일부는 GPT의 장점을 주장해 왔습니다 학술적 글쓰기를 향상시키는 데 있어서, 다른 사람들은 다음과 같은 우려를 제기했다 표절, 허위 정보의 확산, 그리고 생태학적인 문제들. 필요 GPT 3.5 모델을 투명하게 사용하는 방법을 찾기 위해 목소리를 높였다 소셜 미디어에서 GPT 3.5 모델을 사용하는 방법에 대한 제안이 있었다 영리한 방법. 그럼에도 불구하고, 현재까지 명백하게 문학이 부족하다 학술적 글쓰기에서 GPT 3.5 모델을 사용하는 방법, 그것들이 얼마나 효과적인지에 대해 개략적으로 설명한다, 그리고 그것들을 투명하게 사용하는 방법. 이 문제를 해결하기 위해, 저는 개인적으로 특히 OpenAI 텍스트 다빈치를 사용한 GPT 3.5의 경험 실험 이 기사를 작성하기 위한 003 모델. GPT 3.5를 사용하는 다섯 가지 방법을 확인했습니다: 청크 스타일리스트, 문단 소개, Talk Textilizer, Research Buddy 및 광택제. 나는 그들의 효능에 대해 숙고하고, 그들의 잠재력에 대해 논평했다 글쓰기 윤리에 미치는 영향. 추가로, 나는 포괄적인 문서를 제공했다 사용한 프롬프트, GPT 3.5에서 얻은 결과, 최종 편집 및 에서는 백분율의 차이를 보여줌으로써 이러한 값을 시각적으로 비교합니다.