[2023-02-28] 오늘의 자연어처리

ProofNet: Autoformalizing and Formally Proving Undergraduate-Level Mathematics

 

We introduce ProofNet, a benchmark for autoformalization and formal proving of undergraduate-level mathematics. The ProofNet benchmarks consists of 371 examples, each consisting of a formal theorem statement in Lean 3, a natural language theorem statement, and a natural language proof. The problems are primarily drawn from popular undergraduate pure mathematics textbooks and cover topics such as real and complex analysis, linear algebra, abstract algebra, and topology. We intend for ProofNet to be a challenging benchmark that will drive progress in autoformalization and automatic theorem proving. We report baseline results on statement autoformalization via in-context learning. Moreover, we introduce two novel statement autoformalization methods: prompt retrieval and distilled backtranslation.

 

우리는 자동 형식화 및 공식 증명을 위한 벤치마크인 ProofNet을 소개한다 학부 수준의 수학. ProofNet 벤치마크는 371개로 구성됩니다 각각 린 3의 형식적 정리문으로 구성된 예제, 자연어 언어 정리문, 그리고 자연어 증명. 문제는 주로 인기 있는 학부 순수 수학 교과서와 표지에서 인용되었다 실제와 복잡한 분석, 선형대수학, 추상대수학, 그리고 위상의. NAT은 ProofNet이 다음을 주도할 도전적인 벤치마크가 되기를 원합니다 자동 형식화 및 자동 정리 증명의 진전. 베이스라인을 보고합니다 내부 학습을 통한 문 자동화에 대한 결과. 게다가 우리는 두 가지 새로운 문 자동 형식화 방법을 소개합니다: 신속한 검색 및 증류 역번역. 

 

 

Boosting Transformers and Language Models for Clinical Prediction in Immunotherapy

 

Clinical prediction is an essential task in the healthcare industry. However, the recent success of transformers, on which large language models are built, has not been extended to this domain. In this research, we explore the use of transformers and language models in prognostic prediction for immunotherapy using real-world patients' clinical data and molecular profiles. This paper investigates the potential of transformers to improve clinical prediction compared to conventional machine learning approaches and addresses the challenge of few-shot learning in predicting rare disease areas. The study benchmarks the efficacy of baselines and language models on prognostic prediction across multiple cancer types and investigates the impact of different pretrained language models under few-shot regimes. The results demonstrate significant improvements in accuracy and highlight the potential of NLP in clinical research to improve early detection and intervention for different diseases. Anonymous codes are available at \url{https://anonymous.4open.science/r/table2text-88ED}.

 

임상 예측은 의료 산업에서 필수적인 과제이다. 하지만, 대형 언어 모델이 구축되는 트랜스포머의 최근 성공, 이 도메인으로 확장되지 않았습니다. 이 연구에서, 우리는 다음의 사용을 탐구한다 면역 치료를 위한 예후 예측에서 변환기와 언어 모델 실제 환자의 임상 데이터와 분자 프로파일을 사용합니다. 본지 임상 예측을 개선하기 위한 변압기의 잠재력을 조사한다 전통적인 기계 학습 접근법과 비교하여 그리고 그것을 다룬다 희귀 질병 영역을 예측하는 데 있어 퓨샷 학습의 도전. 연구 예측에 대한 기준선 및 언어 모델의 효율성을 벤치마크한다 여러 암 유형에 걸친 예측과 영향을 조사합니다 퓨샷 체제에서 미리 훈련된 다양한 언어 모델. 결과는 정확도의 상당한 향상을 보여주고 의 잠재력을 강조한다 조기 발견 및 개입을 개선하기 위한 임상 연구의 NLP 여러 가지 병. 익명 코드는 다음에서 사용할 수 있습니다 \url{https://timeout.4open.science/r/table2text-88ED}. 

 

 

ProofNet: Autoformalizing and Formally Proving Undergraduate-Level Mathematics

 

We introduce ProofNet, a benchmark for autoformalization and formal proving of undergraduate-level mathematics. The ProofNet benchmarks consists of 371 examples, each consisting of a formal theorem statement in Lean 3, a natural language theorem statement, and a natural language proof. The problems are primarily drawn from popular undergraduate pure mathematics textbooks and cover topics such as real and complex analysis, linear algebra, abstract algebra, and topology. We intend for ProofNet to be a challenging benchmark that will drive progress in autoformalization and automatic theorem proving. We report baseline results on statement autoformalization via in-context learning. Moreover, we introduce two novel statement autoformalization methods: prompt retrieval and distilled backtranslation.

 

우리는 자동 형식화 및 공식 증명을 위한 벤치마크인 ProofNet을 소개한다 학부 수준의 수학. ProofNet 벤치마크는 371개로 구성됩니다 각각 린 3의 형식적 정리문으로 구성된 예제, 자연어 언어 정리문, 그리고 자연어 증명. 문제는 주로 인기 있는 학부 순수 수학 교과서와 표지에서 인용되었다 실제와 복잡한 분석, 선형대수학, 추상대수학, 그리고 위상의. NAT은 ProofNet이 다음을 주도할 도전적인 벤치마크가 되기를 원합니다 자동 형식화 및 자동 정리 증명의 진전. 베이스라인을 보고합니다 내부 학습을 통한 문 자동화에 대한 결과. 게다가 우리는 두 가지 새로운 문 자동 형식화 방법을 소개합니다: 신속한 검색 및 증류 역번역.