[2023-05-08] 오늘의 자연어처리

In-context Learning as Maintaining Coherency: A Study of On-the-fly Machine Translation Using Large Language Models

 

The phenomena of in-context learning has typically been thought of as "learning from examples". In this work which focuses on Machine Translation, we present a perspective of in-context learning as the desired generation task maintaining coherency with its context, i.e., the prompt examples. We first investigate randomly sampled prompts across 4 domains, and find that translation performance improves when shown in-domain prompts. Next, we investigate coherency for the in-domain setting, which uses prompt examples from a moving window. We study this with respect to other factors that have previously been identified in the literature such as length, surface similarity and sentence embedding similarity. Our results across 3 models (GPTNeo2.7B, Bloom3B, XGLM2.9B), and three translation directions (\texttt{en}$\rightarrow$\{\texttt{pt, de, fr}\}) suggest that the long-term coherency of the prompts and the test sentence is a good indicator of downstream translation performance. In doing so, we demonstrate the efficacy of In-context Machine Translation for on-the-fly adaptation.

 

문맥 학습의 현상은 일반적으로 다음과 같이 생각되어 왔다 "예를 통해 배우는 것". 기계 번역에 초점을 맞춘 이 작업에서, 우리는 희망하는 세대 과제로 교내 학습의 관점을 제시하다 맥락, 즉 신속한 사례와의 일관성 유지. 우리가 먼저 4개의 도메인에 걸쳐 무작위로 샘플링된 프롬프트를 조사하고, 다음을 발견한다 도메인 내 프롬프트가 표시되면 번역 성능이 향상됩니다. 그다음에 저희가 프롬프트 예제를 사용하는 도메인 내 설정에 대한 일관성 조사 움직이는 창문에서. 우리는 이것을 다른 요인들과 관련하여 연구한다 길이, 표면 유사성과 같은 문헌에서 이전에 확인되었다 그리고 문장을 포함하는 유사성. 3개 모델(GPTNeo2.7B, Bloom3B, XGLM2.9B) 및 세 가지 번역 방향 (\texttt{en}$\rightarrow{\texttt{pt,de,fr}\}는 장기적으로 다음과 같이 제안한다 프롬프트와 시험 문장의 일관성은 좋은 지표이다 다운스트림 번역 성능. 그렇게 함으로써, 우리는 다음의 효과를 입증한다 즉각적인 적응을 위한 상황별 기계 번역. 

 

 

Diffusion Explainer: Visual Explanation for Text-to-image Stable Diffusion

 

Diffusion-based generative models' impressive ability to create convincing images has captured global attention. However, their complex internal structures and operations often make them difficult for non-experts to understand. We present Diffusion Explainer, the first interactive visualization tool that explains how Stable Diffusion transforms text prompts into images. Diffusion Explainer tightly integrates a visual overview of Stable Diffusion's complex components with detailed explanations of their underlying operations, enabling users to fluidly transition between multiple levels of abstraction through animations and interactive elements. By comparing the evolutions of image representations guided by two related text prompts over refinement timesteps, users can discover the impact of prompts on image generation. Diffusion Explainer runs locally in users' web browsers without the need for installation or specialized hardware, broadening the public's education access to modern AI techniques. Our open-sourced tool is available at: this https URL.

 

확산 기반 생성 모델의 설득력 있는 제작 능력 이미지는 세계적인 관심을 끌었다. 하지만, 그들의 복잡한 내부는 구조와 운영은 종종 비흡연자들이 하기 어렵게 만든다 이해하다. 우리는 최초의 대화형 시각화인 확산 설명자를 제시한다 안정적 확산이 텍스트 프롬프트를 이미지로 변환하는 방법을 설명하는 도구입니다. 확산 설명자는 안정적인 확산의 시각적 개요를 긴밀하게 통합합니다 기본 작업에 대한 자세한 설명이 포함된 복잡한 구성 요소, 사용자가 여러 추상화 수준 간에 유동적으로 전환할 수 있도록 지원 애니메이션과 상호작용적인 요소를 통해. 의 진화를 비교함으로써 정교함에 대한 두 개의 관련 텍스트 프롬프트에 의해 안내되는 이미지 표현 시간 단계를 통해 사용자는 프롬프트가 이미지 생성에 미치는 영향을 확인할 수 있습니다. Diffusion Desceler는 사용자의 웹 브라우저에서 로컬로 실행됩니다 대중의 교육 접근성을 넓히는 설치 또는 전문 하드웨어 현대 인공지능 기술에 적용할 수 있습니다. 오픈 소스 툴은 다음 사이트에서 사용할 수 있습니다: 이 https URL. 

 

 

Context-Aware Semantic Similarity Measurement for Unsupervised Word Sense Disambiguation

 

The issue of word sense ambiguity poses a significant challenge in natural language processing due to the scarcity of annotated data to feed machine learning models to face the challenge. Therefore, unsupervised word sense disambiguation methods have been developed to overcome that challenge without relying on annotated data. This research proposes a new context-aware approach to unsupervised word sense disambiguation, which provides a flexible mechanism for incorporating contextual information into the similarity measurement process. We experiment with a popular benchmark dataset to evaluate the proposed strategy and compare its performance with state-of-the-art unsupervised word sense disambiguation techniques. The experimental results indicate that our approach substantially enhances disambiguation accuracy and surpasses the performance of several existing techniques. Our findings underscore the significance of integrating contextual information in semantic similarity measurements to manage word sense ambiguity in unsupervised scenarios effectively.

 

단어 감각 모호성의 문제는 자연계에서 중요한 도전을 제기한다 피드 머신에 주석이 달린 데이터의 부족으로 인한 언어 처리 도전에 직면하기 위한 모델을 학습합니다. 그러므로, 감독되지 않은 단어 감각 명확화 방법은 그 도전을 극복하기 위해 개발되었다 주석이 달린 데이터에 의존합니다. 이 연구는 새로운 상황 인식 접근법을 제안한다 유연한 메커니즘을 제공하는 감독되지 않은 단어 감각 명확화 유사성 측정에 상황별 정보를 통합하기 위해 과정. 우리는 인기 있는 벤치마크 데이터 세트를 실험하여 평가한다 제안된 전략 및 그 성능을 최첨단 기술과 비교합니다 감독되지 않은 단어 감각 명확화 기술. 실험 결과는 우리의 접근 방식이 명확성 정확도를 상당히 향상시킨다는 것을 나타낸다 기존 기술의 성능을 능가합니다. 우리의 조사결과 문맥 정보를 의미론적으로 통합하는 것의 중요성을 강조한다 감독되지 않은 상태에서 단어 감각 모호성을 관리하기 위한 유사성 측정 시나리오를 효과적으로 작성합니다.