[2023-02-02] 오늘의 자연어처리

Adaptive Machine Translation with Large Language Models

 

Consistency is a key requirement of high-quality translation. It is especially important to adhere to pre-approved terminology and corrected translations in domain-specific projects. Machine translation (MT) has achieved significant progress in the area of domain adaptation. However, real-time adaptation remains challenging. Large-scale language models (LLMs) have recently shown interesting capabilities of in-context learning, where they learn to replicate certain input-output text generation patterns, without further fine-tuning. By feeding an LLM with a prompt that consists of a list of translation pairs, it can then simulate the domain and style characteristics at inference time. This work aims to investigate how we can utilize in-context learning to improve real-time adaptive MT. Our extensive experiments show promising results at translation time. For example, GPT-3.5 can adapt to a set of in-domain sentence pairs and/or terminology while translating a new sentence. We observe that the translation quality with few-shot in-context learning can surpass that of strong encoder-decoder MT systems, especially for high-resource languages. Moreover, we investigate whether we can combine MT from strong encoder-decoder models with fuzzy matches, which can further improve the translation, especially for less supported languages. We conduct our experiments across five diverse languages, namely English-to-Arabic (EN-AR), English-to-Chinese (EN-ZH), English-to-French (EN-FR), English-to-Kinyarwanda (EN-RW), and English-to-Spanish (EN-ES) language pairs.

 

일관성은 고품질 번역의 핵심 요건이다. 그렇다. 사전 승인된 용어 및 수정된 용어를 준수하는 것이 특히 중요합니다 도메인별 프로젝트의 번역. 기계 번역(MT) 달성 도메인 적응 분야에서 상당한 진전을 이루었습니다. 하지만 실시간으로 적응은 여전히 어렵다. 대규모 언어 모델(LLM)은 다음과 같다 최근에 그들이 있는 곳에서 교내 학습의 흥미로운 능력을 보여주었다 특정 입출력 텍스트 생성 패턴을 복제하는 방법을 학습합니다 추가 미세 조정. LLM에 다음 목록으로 구성된 프롬프트를 제공함으로써 변환 쌍, 도메인 및 스타일 특성을 시뮬레이션할 수 있습니다 추론 시간. 이 작업의 목적은 우리가 컨텍스트에서 어떻게 활용할 수 있는지를 조사하는 것입니다 실시간 적응 MT를 향상시키는 학습. 우리의 광범위한 실험은 보여준다 번역 시간에 유망한 결과. 예를 들어 GPT-3.5는 한 세트에 적응할 수 있다 새로운 번역을 하는 동안 도메인 내 문장 쌍 및/또는 용어의 문장. 우리는 퓨샷 컨텍스트의 번역 품질을 관찰한다 학습은 특히 강력한 인코더-디코더 MT 시스템의 학습을 능가할 수 있다 자원이 풍부한 언어. 또한 MT를 결합할 수 있는지 조사합니다 퍼지 매치가 있는 강력한 인코더-디코더 모델에서 더 멀리 갈 수 있다 특히 지원되는 언어가 적은 경우 번역을 개선합니다. 우리는 지휘합니다 5개의 다양한 언어, 즉 영어에서 아랍어에 대한 우리의 실험 (EN-AR), 영어-중국어(EN-ZH), 영어-프랑스어(EN-FR), English-to-Kinyarwanda(EN-RW) 및 English-to-Spanish(EN-ES) 언어 쌍. 

 

 

Automated Sentiment and Hate Speech Analysis of Facebook Data by Employing Multilingual Transformer Models

 

In recent years, there has been a heightened consensus within academia and in the public discourse that Social Media Platforms (SMPs), amplify the spread of hateful and negative sentiment content. Researchers have identified how hateful content, political propaganda, and targeted messaging contributed to real-world harms including insurrections against democratically elected governments, genocide, and breakdown of social cohesion due to heightened negative discourse towards certain communities in parts of the world. To counter these issues, SMPs have created semi-automated systems that can help identify toxic speech. In this paper we analyse the statistical distribution of hateful and negative sentiment contents within a representative Facebook dataset (n= 604,703) scrapped through 648 public Facebook pages which identify themselves as proponents (and followers) of far-right Hindutva actors. These pages were identified manually using keyword searches on Facebook and on CrowdTangleand classified as far-right Hindutva pages based on page names, page descriptions, and discourses shared on these pages. We employ state-of-the-art, open-source XLM-T multilingual transformer-based language models to perform sentiment and hate speech analysis of the textual contents shared on these pages over a period of 5.5 years. The result shows the statistical distributions of the predicted sentiment and the hate speech labels; top actors, and top page categories. We further discuss the benchmark performances and limitations of these pre-trained language models.

 

최근 몇 년간 학계와 학계에서 높은 공감대가 형성되어 왔다 소셜 미디어 플랫폼(SMP)이 확산을 증폭시키는 공개 담론 혐오스럽고 부정적인 감정의 내용. 연구원들은 얼마나 혐오스러운지를 확인했다 콘텐츠, 정치적 선전, 그리고 목표된 메시지는 실제 세계에 기여한다 민주적으로 선출된 정부에 대한 반란을 포함한 해악, 대량학살, 그리고 증가된 부정적 담론으로 인한 사회적 응집력의 붕괴 세계 일부 지역의 특정 공동체를 향해. 이러한 문제에 대응하기 위해, SMP는 독성 음성을 식별하는 데 도움을 줄 수 있는 반자동 시스템을 만들었다. 이 논문에서 우리는 증오와 부정의 통계적 분포를 분석한다 대표적인 Facebook 데이터 세트 내의 감정 콘텐츠(n=604,703) 648개의 공개 페이스북 페이지를 통해 폐기되었다 극우 힌두트바 배우들의 지지자들 (그리고 추종자들). 이 페이지들은 Facebook 및 Crowd Tangleand에서 키워드 검색을 사용하여 수동으로 식별합니다 페이지 이름, 페이지 설명에 따라 극우 힌두트바 페이지로 분류됩니다, 그리고 이 페이지들에서 공유된 담론들. 우리는 최첨단 오픈 소스를 사용한다 감정을 수행하기 위한 XLM-T 다국어 변환기 기반 언어 모델 이 페이지들에서 공유되는 텍스트 내용에 대한 혐오 발언 분석 5년 반의 기간. 그 결과는 의 통계적 분포를 보여준다 예측된 감정과 혐오 발언 레이블; 톱 배우, 톱 페이지 분류. 우리는 벤치마크 성능과 한계에 대해 추가로 논의한다 이 사전 훈련된 언어 모델들. 

 

 

Causal-Discovery Performance of ChatGPT in the context of Neuropathic Pain Diagnosis

 

ChatGPT has demonstrated exceptional proficiency in natural language conversation, e.g., it can answer a wide range of questions while no previous large language models can. Thus, we would like to push its limit and explore its ability to answer causal discovery questions by using a medical benchmark (Tu et al. 2019) in causal discovery.

 

채팅 GPT는 자연어에 탁월한 숙련도를 보여주었다 대화, 예를 들어, 그것은 이전에 없던 동안 광범위한 질문에 대답할 수 있다 큰 언어 모델은 할 수 있다. 따라서, 우리는 그 한계를 뛰어넘고 탐구하고 싶다 의료 벤치마크를 사용하여 인과적 발견 질문에 답할 수 있는 능력 (Tu et al. 2019) 인과적 발견.