[2023-06-22] 오늘의 자연어처리

Hallucination is the last thing you need

 

The legal profession necessitates a multidimensional approach that involves synthesizing an in-depth comprehension of a legal issue with insightful commentary based on personal experience, combined with a comprehensive understanding of pertinent legislation, regulation, and case law, in order to deliver an informed legal solution. The present offering with generative AI presents major obstacles in replicating this, as current models struggle to integrate and navigate such a complex interplay of understanding, experience, and fact-checking procedures. It is noteworthy that where generative AI outputs understanding and experience, which reflect the aggregate of various subjective views on similar topics, this often deflects the model's attention from the crucial legal facts, thereby resulting in hallucination. Hence, this paper delves into the feasibility of three independent LLMs, each focused on understanding, experience, and facts, synthesising as one single ensemble model to effectively counteract the current challenges posed by the existing monolithic generative AI models. We introduce an idea of mutli-length tokenisation to protect key information assets like common law judgements, and finally we interrogate the most advanced publicly available models for legal hallucination, with some interesting results.

 

법조계는 다음과 같은 다차원적 접근을 필요로 한다 법률 문제에 대한 심층적인 이해와 통찰력을 종합하기 종합적인 것과 결합된 개인적인 경험에 기초한 논평 관련 법률, 규정 및 판례법에 대한 이해 정통한 법적 해결책을 제시하다. 생성 AI가 포함된 현재 오퍼링 현재 모델들이 고전하고 있기 때문에, 이것을 복제하는 데 주요 장애물을 제시한다 이해, 경험의 복잡한 상호작용을 통합하고 탐색합니다, 그리고 사실 확인 절차. 주목할 점은 생성 AI가 출력하는 곳이다 다양한 주관적인 것들의 집합을 반영하는 이해와 경험 유사한 주제에 대한 견해, 이것은 종종 모델의 주의를 비껴간다 결정적인 법적 사실, 그 결과 환각을 초래한다. 따라서 이 논문은 각각 초점을 맞춘 세 개의 독립적인 LLM의 실현 가능성을 탐구한다 이해, 경험 및 사실, 단일 앙상블 모델로 통합 기존의 문제에 효과적으로 대응하기 위해 단일 생성 인공지능 모델. 우리는 다중 길이의 아이디어를 소개한다 일반법 판결과 같은 핵심 정보 자산을 보호하기 위한 토큰화 마지막으로 우리는 합법적으로 공개적으로 사용할 수 있는 가장 진보된 모델을 심문한다 환각과 함께 흥미로운 결과가 나왔습니다. 

 

 

Textbooks Are All You Need

 

We introduce phi-1, a new large language model for code, with significantly smaller size than competing models: phi-1 is a Transformer-based model with 1.3B parameters, trained for 4 days on 8 A100s, using a selection of ``textbook quality" data from the web (6B tokens) and synthetically generated textbooks and exercises with GPT-3.5 (1B tokens). Despite this small scale, phi-1 attains pass@1 accuracy 50.6% on HumanEval and 55.5% on MBPP. It also displays surprising emergent properties compared to phi-1-base, our model before our finetuning stage on a dataset of coding exercises, and phi-1-small, a smaller model with 350M parameters trained with the same pipeline as phi-1 that still achieves 45% on HumanEval.

 

우리는 코드를 위한 새로운 큰 언어 모델인 phi-1을 소개한다 경쟁 모델보다 작은 크기: Phi-1은 트랜스포머 기반 모델로 8 A100s에서 4일 동안 훈련된 13B 매개 변수, 선택된 ''텍스트북''을 사용합니다 웹(60억 개 토큰) 및 합성 생성 교과서의 "품질" 데이터 GPT-3.5(1B 토큰)로 운동합니다. 이 작은 규모에도 불구하고 phi-1은 HumanEval에서 50.6%, MBPP에서 55.5%의 정확도를 통과했다. 또한 표시됩니다 Phi-1-base와 비교했을 때 놀라운 새로운 특성, 우리의 이전 모델 코딩 연습 데이터 세트에 대한 미세 조정 단계 및 Phi-1-small, small 여전히 Phi-1과 동일한 파이프라인으로 훈련된 3억 5,000만 개의 매개 변수를 가진 모델 HumanEval에서 45%를 달성했습니다. 

 

 

Textbooks Are All You Need

 

We introduce phi-1, a new large language model for code, with significantly smaller size than competing models: phi-1 is a Transformer-based model with 1.3B parameters, trained for 4 days on 8 A100s, using a selection of ``textbook quality" data from the web (6B tokens) and synthetically generated textbooks and exercises with GPT-3.5 (1B tokens). Despite this small scale, phi-1 attains pass@1 accuracy 50.6% on HumanEval and 55.5% on MBPP. It also displays surprising emergent properties compared to phi-1-base, our model before our finetuning stage on a dataset of coding exercises, and phi-1-small, a smaller model with 350M parameters trained with the same pipeline as phi-1 that still achieves 45% on HumanEval.

 

우리는 코드를 위한 새로운 큰 언어 모델인 phi-1을 소개한다 경쟁 모델보다 작은 크기: Phi-1은 트랜스포머 기반 모델로 8 A100s에서 4일 동안 훈련된 13B 매개 변수, 선택된 ''텍스트북''을 사용합니다 웹(60억 개 토큰) 및 합성 생성 교과서의 "품질" 데이터 GPT-3.5(1B 토큰)로 운동합니다. 이 작은 규모에도 불구하고 phi-1은 HumanEval에서 50.6%, MBPP에서 55.5%의 정확도를 통과했다. 또한 표시됩니다 Phi-1-base와 비교했을 때 놀라운 새로운 특성, 우리의 이전 모델 코딩 연습 데이터 세트에 대한 미세 조정 단계 및 Phi-1-small, small 여전히 Phi-1과 동일한 파이프라인으로 훈련된 3억 5,000만 개의 매개 변수를 가진 모델 HumanEval에서 45%를 달성했습니다.