[2023-05-26] 오늘의 자연어처리

Sentiment Analysis Using Aligned Word Embeddings for Uralic Languages

 

In this paper, we present an approach for translating word embeddings from a majority language into 4 minority languages: Erzya, Moksha, Udmurt and Komi-Zyrian. Furthermore, we align these word embeddings and present a novel neural network model that is trained on English data to conduct sentiment analysis and then applied on endangered language data through the aligned word embeddings. To test our model, we annotated a small sentiment analysis corpus for the 4 endangered languages and Finnish. Our method reached at least 56\% accuracy for each endangered language. The models and the sentiment corpus will be released together with this paper. Our research shows that state-of-the-art neural models can be used with endangered languages with the only requirement being a dictionary between the endangered language and a majority language.

 

이 논문에서, 우리는 단어 임베딩을 번역하기 위한 접근법을 제시한다 다수 언어는 4개의 소수 언어로 나뉜다: 얼자, 목샤, 우드무르트 그리고 코미지리안. 또한, 우리는 이러한 단어 임베딩을 정렬하고 소설을 제시한다 감정을 수행하기 위해 영어 데이터에 대해 훈련된 신경망 모델 정렬된 단어를 통해 분석하고 위험에 처한 언어 데이터에 적용합니다 임베디드 장치. 모델을 테스트하기 위해 작은 감정 분석 코퍼스에 주석을 달았다 4개의 멸종 위기 언어와 핀란드어를 위해. 우리의 방법은 적어도 56%에 도달했다 위험에 처한 각 언어에 대한 정확성. 모델들과 감정 말뭉치들은 본지와 함께 발매되다. 우리의 연구는 최첨단 기술이 신경 모델은 유일한 요구 사항으로 멸종 위기에 처한 언어와 함께 사용될 수 있다 멸종 위기에 처한 언어와 다수 언어 사이의 사전이 되는 것. 

 

 

Gorilla: Large Language Model Connected with Massive APIs

 

Large Language Models (LLMs) have seen an impressive wave of advances recently, with models now excelling in a variety of tasks, such as mathematical reasoning and program synthesis. However, their potential to effectively use tools via API calls remains unfulfilled. This is a challenging task even for today's state-of-the-art LLMs such as GPT-4, largely due to their inability to generate accurate input arguments and their tendency to hallucinate the wrong usage of an API call. We release Gorilla, a finetuned LLaMA-based model that surpasses the performance of GPT-4 on writing API calls. When combined with a document retriever, Gorilla demonstrates a strong capability to adapt to test-time document changes, enabling flexible user updates or version changes. It also substantially mitigates the issue of hallucination, commonly encountered when prompting LLMs directly. To evaluate the model's ability, we introduce APIBench, a comprehensive dataset consisting of HuggingFace, TorchHub, and TensorHub APIs. The successful integration of the retrieval system with Gorilla demonstrates the potential for LLMs to use tools more accurately, keep up with frequently updated documentation, and consequently increase the reliability and applicability of their outputs. Gorilla's code, model, data, and demo are available at this https URL

 

대규모 언어 모델(LLM)은 인상적인 발전의 물결을 목격했다 최근에, 모델들은 수학과 같은 다양한 작업에서 뛰어납니다 추론과 프로그램 합성. 하지만 효과적으로 사용할 수 있는 잠재력은 API 호출을 통한 도구는 충족되지 않은 상태로 남아 있습니다. 이것은 심지어 어려운 일이다 GPT-4와 같은 오늘날의 최첨단 LLM은 주로 그들의 무능력 때문이다 정확한 입력 인수와 잘못된 것을 환각화하는 경향을 생성합니다 API 호출의 사용. 우리는 고릴라를 출시한다. 고릴라는 미세 조정된 LLaMA 기반 모델이다 API 호출 작성에서 GPT-4의 성능을 능가합니다. a와 결합된 경우 문서 검색기, 고릴라는 적응하는 강력한 능력을 보여준다 문서를 테스트 시간에 변경하여 사용자 업데이트 또는 버전 변경을 유연하게 수행할 수 있습니다. 그것은 또한 환각의 문제를 상당히 완화시킨다, 일반적으로 LLM을 직접 요청할 때 발생합니다. 모델의 능력을 평가하기 위해, 우리는 HuggingFace로 구성된 포괄적인 데이터 세트인 APIBench를 소개합니다, TorchHub 및 TensorHub API. 검색의 성공적인 통합 Gorilla가 있는 시스템은 LLM이 도구를 더 많이 사용할 수 있는 잠재력을 보여줍니다 정확하게, 자주 업데이트되는 문서를 계속해서 확인할 수 있으며, 결과적으로 출력의 신뢰성과 적용 가능성을 높입니다. 고릴라의 코드, 모델, 데이터 및 데모는 이 https URL에서 사용할 수 있습니다 

 

 

Testing the General Deductive Reasoning Capacity of Large Language Models Using OOD Examples

 

Given the intractably large size of the space of proofs, any model that is capable of general deductive reasoning must generalize to proofs of greater complexity. Recent studies have shown that large language models (LLMs) possess some abstract deductive reasoning ability given chain-of-thought prompts. However, they have primarily been tested on proofs using modus ponens or of a specific size, and from the same distribution as the in-context examples. To measure the general deductive reasoning ability of LLMs, we test on a broad set of deduction rules and measure their ability to generalize to more complex proofs from simpler demonstrations from multiple angles: depth-, width-, and compositional generalization. To facilitate systematic exploration, we construct a new synthetic and programmable reasoning dataset that enables control over deduction rules and proof complexity. Our experiments on four LLMs of various sizes and training objectives show that they are able to generalize to longer and compositional proofs. However, they require explicit demonstrations to produce hypothetical subproofs, specifically in proof by cases and proof by contradiction.

 

증명 공간의 다루기 힘들 정도로 큰 크기를 고려할 때, 모든 모델은 일반적인 연역적 추론이 가능한 것은 더 큰 증거로 일반화되어야 한다 복잡성. 최근의 연구는 큰 언어 모델(LLM)이 보유하고 있음을 보여주었다 어떤 추상적인 연역적 추론 능력은 생각의 사슬 프롬프트에서 주어진다. 그러나, 그것들은 주로 모드 포넨서를 사용하여 증명에서 시험되었다 구체적인 크기 및 표본 내 예제와 동일한 분포를 따릅니다. 로. LLM의 일반적인 연역적 추론 능력을 측정하고, 우리는 넓은 세트에서 테스트한다 공제 규칙을 측정하고 더 복잡한 것으로 일반화하는 능력을 측정한다 다양한 각도에서 간단한 시연을 통해 얻은 증거: 깊이-, 폭- 및 구성 일반화. 체계적인 탐사를 용이하게 하기 위해, 우리는 를 가능하게 하는 새로운 합성 및 프로그래밍 가능한 추론 데이터 세트를 구성한다 공제 규칙 및 증명 복잡성에 대한 통제. 4개의 LLM에 대한 우리의 실험 다양한 크기와 훈련 목표는 그들이 일반화할 수 있다는 것을 보여준다 더 길고 구성적인 증명. 그러나, 그들은 명시적으로 요구한다 가상의 하위 증거를 생산하기 위한 시연, 특히 증명에서 모순에 의한 사건과 증거.