[2023-04-12] 오늘의 자연어처리

Inference with Reference: Lossless Acceleration of Large Language Models

 

We propose LLMA, an LLM accelerator to losslessly speed up Large Language Model (LLM) inference with references. LLMA is motivated by the observation that there are abundant identical text spans between the decoding result by an LLM and the reference that is available in many real world scenarios (e.g., retrieved documents). LLMA first selects a text span from the reference and copies its tokens to the decoder and then efficiently checks the tokens' appropriateness as the decoding result in parallel within one decoding step. The improved computational parallelism allows LLMA to achieve over 2x speed-up for LLMs with identical generation results as greedy decoding in many practical generation scenarios where significant overlap between in-context reference and outputs exists (e.g., search engines and multi-turn conversations).

 

LLM 가속기인 LLMA를 제안하여 Large Language 속도를 무손실로 향상시킨다 참조를 사용한 모델(LLM) 추론. LLMA는 관찰에 의해 동기 부여된다 디코딩 결과 사이에 풍부한 동일한 텍스트 범위가 있는지 여부 LLM 및 많은 실제 시나리오에서 사용 가능한 참조(예: 검색된 문서). LLMA는 먼저 참조에서 텍스트 범위를 선택하고 토큰을 디코더에 복사한 다음 토큰을 효율적으로 확인합니다 하나의 디코딩 단계 내에서 결과적으로 디코딩으로서의 적절성. 향상된 계산 병렬 처리를 통해 LLMA는 2배 이상의 속도 향상을 달성할 수 있습니다 많은 실용적인 경우 그리디 디코딩과 동일한 생성 결과를 가진 LLM의 경우 내부 기준과 내부 기준 사이에 상당한 중복이 발생하는 생성 시나리오 출력이 존재합니다(예: 검색 엔진 및 다중 회전 대화). 

 

 

Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis

 

Large language models (LLMs) have demonstrated remarkable potential in handling multilingual machine translation (MMT). In this paper, we systematically investigate the advantages and challenges of LLMs for MMT by answering two questions: 1) How well do LLMs perform in translating a massive number of languages? 2) Which factors affect LLMs' performance in translation? We evaluate popular LLMs, including XGLM, OPT, BLOOMZ, and ChatGPT, on 102 languages. Our empirical results show that even the best model ChatGPT still lags behind the supervised baseline NLLB in 83.33% of translation directions. Through further analysis, we discover that LLMs exhibit new working patterns when used for MMT. First, prompt semantics can surprisingly be ignored when given in-context exemplars, where LLMs still show strong performance even with unreasonable prompts. Second, cross-lingual exemplars can provide better task instruction for low-resource translation than exemplars in the same language pairs. Third, we observe the overestimated performance of BLOOMZ on dataset Flores-101, indicating the potential risk when using public datasets for evaluation.

 

대형 언어 모델(LLM)은 다음 분야에서 놀라운 잠재력을 보여주었다 MMT(다국어 기계 번역)를 처리합니다. 이 논문에서 우리는 MMT에 대한 LLM의 장점과 과제를 체계적으로 조사한다 두 가지 질문에 답한다: 1) LLM이 방대한 양의 번역을 얼마나 잘 수행하는지 언어의 수? 2) 번역에서 LLM의 성과에 영향을 미치는 요소는 무엇입니까? 우리는 102에서 XGLM, OPT, BLOMZ, ChatGPT를 포함한 인기 있는 LLM을 평가한다 언어들. 우리의 경험적 결과는 심지어 최고의 모델도 여전히 ChatGPT이라는 것을 보여준다 번역 방향의 83.33%에서 감독 기준선 NLLB에 뒤처진다. 추가 분석을 통해, 우리는 LLM이 새로운 작업 패턴을 보인다는 것을 발견했다 MMT에 사용될 때. 첫째, 프롬프트 의미론은 놀랍게도 무시될 수 있다 LLM이 여전히 강력한 성능을 보여주는 컨텍스트 예제가 주어집니다 부당한 요구. 둘째, 다국어 예제는 더 나은 작업을 제공할 수 있다 동일한 언어의 예시보다 저자원 번역을 위한 교육 쌍. 셋째, 데이터 세트에서 BLOMZ의 과대평가된 성능을 관찰한다 Flores-101은 공개 데이터 세트를 사용할 때 잠재적인 위험을 나타낸다 평가하기. 

 

 

FrenchMedMCQA: A French Multiple-Choice Question Answering Dataset for Medical domain

 

This paper introduces FrenchMedMCQA, the first publicly available Multiple-Choice Question Answering (MCQA) dataset in French for medical domain. It is composed of 3,105 questions taken from real exams of the French medical specialization diploma in pharmacy, mixing single and multiple answers. Each instance of the dataset contains an identifier, a question, five possible answers and their manual correction(s). We also propose first baseline models to automatically process this MCQA task in order to report on the current performances and to highlight the difficulty of the task. A detailed analysis of the results showed that it is necessary to have representations adapted to the medical domain or to the MCQA task: in our case, English specialized models yielded better results than generic French ones, even though FrenchMedMCQA is in French. Corpus, models and tools are available online.

 

이 논문은 공개적으로 이용 가능한 최초의 프랑스 의학 MCQA를 소개한다 의료 영역에 대한 프랑스어 MCQA(다중 선택 질문 응답) 데이터 세트. 그것은 프랑스 의학의 실제 시험에서 얻은 3,105개의 문제로 구성되어 있다 단답형과 복수형을 혼합한 약학 전문 졸업장. 각각 데이터 세트의 인스턴스에는 식별자, 질문, 가능한 5개가 포함됩니다 응답 및 수동 수정. 우리는 또한 첫 번째 기준 모델을 제안한다 현재 상황을 보고하기 위해 이 MCQA 작업을 자동으로 처리합니다 수행 및 과제의 난이도를 강조합니다. 상세분석 결과 중에서 표현을 적응시키는 것이 필요하다는 것을 보여주었다 의료 영역 또는 MCQA 과제: 우리의 경우, 영어 전문 모델 프랑스 MedMCQA가 일반적인 프랑스의 것보다 더 나은 결과를 산출했다 프랑스어로. 말뭉치, 모델 및 도구는 온라인으로 이용할 수 있다.