[2023-04-02] 오늘의 자연어처리

Hindi as a Second Language: Improving Visually Grounded Speech with Semantically Similar Samples

 

The objective of this work is to explore the learning of visually grounded speech models (VGS) from multilingual perspective. Bilingual VGS models are generally trained with an equal number of spoken captions from both languages. However, in reality, there can be an imbalance among the languages for the available spoken captions. Our key contribution in this work is to leverage the power of a high-resource language in a bilingual visually grounded speech model to improve the performance of a low-resource language. We introduce two methods to distill the knowledge of high-resource language into low-resource languages: (1) incorporating a strong pre-trained high-resource language encoder and (2) using semantically similar spoken captions. Our experiments show that combining these two approaches effectively enables the low-resource language to surpass the performances of monolingual and bilingual counterparts for cross-modal retrieval tasks.

 

이 작업의 목표는 시각적으로 근거가 있는 학습을 탐구하는 것입니다 다국어 관점에서의 음성 모델(VGS). 이중 언어 VGS 모델은 일반적으로 두 언어의 동일한 수의 음성 캡션으로 훈련된다. 그러나 실제로는 언어 간에 불균형이 있을 수 있다 사용 가능한 음성 캡션. 이 작업에서 우리의 주요 기여는 다음을 활용하는 것입니다 시각적으로 기반을 둔 이중 언어 모델에서 고자원 언어의 힘 자원이 부족한 언어의 성능을 향상시키기 위해. 우리는 두 가지 방법을 소개한다 고자원 언어의 지식을 저자원 언어로 증류한다: (1) 강력한 사전 훈련된 고자원 언어 인코더와 (2) 의미적으로 유사한 음성 캡션을 사용합니다. 우리의 실험은 결합이 이 두 가지 접근법은 효과적으로 저자원 언어를 능가할 수 있게 한다 교차 학습을 위한 단일 언어 및 이중 언어 대응자의 성과 검색 작업. 

 

 

Evaluating GPT-3.5 and GPT-4 Models on Brazilian University Admission Exams

 

The present study aims to explore the capabilities of Language Models (LMs) in tackling high-stakes multiple-choice tests, represented here by the Exame Nacional do Ensino Médio (ENEM), a multidisciplinary entrance examination widely adopted by Brazilian universities. This exam poses challenging tasks for LMs, since its questions may span into multiple fields of knowledge, requiring understanding of information from diverse domains. For instance, a question may require comprehension of both statistics and biology to be solved. This work analyzed responses generated by GPT-3.5 and GPT-4 models for questions presented in the 2009-2017 exams, as well as for questions of the 2022 exam, which were made public after the training of the models was completed. Furthermore, different prompt strategies were tested, including the use of Chain-of-Thought (CoT) prompts to generate explanations for answers. On the 2022 edition, the best-performing model, GPT-4 with CoT, achieved an accuracy of 87%, largely surpassing GPT-3.5 by 11 points. The code and data used on experiments are available at this https URL.

 

본 연구는 언어 모델(LM)의 능력을 탐구하는 것을 목표로 한다 여기서 시험으로 대표되는 고위험 선다형 시험을 처리함에 있어 나시오날 두 엔시노 메디오(ENEM), 다학제 입학 시험 브라질 대학에 널리 채택되었다. 이 시험은 어려운 과제를 제기한다 LM의 질문은 다양한 지식 분야로 확장될 수 있기 때문에 다음을 요구한다 다양한 영역의 정보에 대한 이해. 예를 들어, 질문은 다음과 같다 통계와 생물학의 이해가 모두 해결되어야 한다. 이 작품 질문에 대한 GPT-3.5 및 GPT-4 모델에 의해 생성된 응답 분석 2009-2017년 시험과 2022년 시험의 문제에 대해 제시되었다, 모델들의 훈련이 끝난 후에 공개되었다. 또한, 다음을 포함한 다양한 즉각적인 전략이 테스트되었습니다 CoT(Chain-of-Thought) 프롬프트는 답변에 대한 설명을 생성합니다. 에서 2022년판, CoT 탑재 최고 성능 모델 GPT-4, 정확도 달성 이는 87%로 GPT-3.5를 11점 차로 크게 앞질렀다. 사용된 코드 및 데이터 실험은 이 https URL에서 사용할 수 있습니다. 

 

 

Improving the Diproche CNL through autoformalization via GPT-3

 

The Diproche system is an automated proof checker for texts written in a controlled fragment of German, designed for didactical applications in classes introducing students to proofs for the first time. The first version of the system used a controlled natural language for which a Prolog formalization routine was written. In this paper, we explore the possibility of prompting large language models for autoformalization in the context of Diproche, with encouraging first results.

 

Diproche 시스템은 다음과 같이 작성된 텍스트에 대한 자동화된 증명 검사기입니다 수업시간에 교육적 응용을 위해 설계된 독일어의 통제된 단편 학생들에게 처음으로 증명을 소개합니다. 의 첫 번째 버전 시스템은 프롤로그 공식화를 위해 통제된 자연어를 사용했다 루틴이 작성되었습니다. 이 논문에서, 우리는 다음과 같은 가능성을 탐구한다 Diproche의 맥락에서 자동 공식화를 위한 대규모 언어 모델 고무적인 첫 번째 결과.