[2023-07-11] 오늘의 자연어처리

Evaluating the Effectiveness of Large Language Models in Representing Textual Descriptions of Geometry and Spatial Relations

 

This research focuses on assessing the ability of large language models (LLMs) in representing geometries and their spatial relations. We utilize LLMs including GPT-2 and BERT to encode the well-known text (WKT) format of geometries and then feed their embeddings into classifiers and regressors to evaluate the effectiveness of the LLMs-generated embeddings for geometric attributes. The experiments demonstrate that while the LLMs-generated embeddings can preserve geometry types and capture some spatial relations (up to 73% accuracy), challenges remain in estimating numeric values and retrieving spatially related objects. This research highlights the need for improvement in terms of capturing the nuances and complexities of the underlying geospatial data and integrating domain knowledge to support various GeoAI applications using foundation models.

 

이 연구는 큰 언어 모델의 능력을 평가하는 것에 초점을 맞추고 있다 (LLM)은 기하학과 그 공간적 관계를 표현하는 데 있어요. 우리는 LLM을 활용한다 GPT-2 및 BERT를 포함하여 잘 알려진 텍스트(WKT) 형식을 인코딩합니다 기하학적 구조를 제공한 다음 분류기와 회귀기에 임베딩을 공급합니다 기하학적 임베딩에 대한 LLM 생성 임베딩의 효과 평가 특성. 실험은 LLM이 생성되는 동안 임베딩은 기하학적 유형을 보존하고 일부 공간 관계를 캡처할 수 있다 73% 정확도까지), 숫자 값을 추정하고 검색하는 데 어려움이 남아 있다 공간적으로 관련된 물체. 이 연구는 개선의 필요성을 강조한다 기본 지리 공간의 뉘앙스와 복잡성을 포착하는 용어 다양한 GeoAI 애플리케이션을 지원하기 위한 데이터 및 통합 도메인 지식 기초 모델을 사용합니다. 

 

 

Leveraging text data for causal inference using electronic health records

 

Text is a ubiquitous component of medical data, containing valuable information about patient characteristics and care that are often missing from structured chart data. Despite this richness, it is rarely used in clinical research, owing partly to its complexity. Using a large database of patient records and treatment histories accompanied by extensive notes by attendant physicians and nurses, we show how text data can be used to support causal inference with electronic health data in all stages, from conception and design to analysis and interpretation, with minimal additional effort. We focus on studies using matching for causal inference. We augment a classic matching analysis by incorporating text in three ways: by using text to supplement a multiple imputation procedure, we improve the fidelity of imputed values to handle missing data; by incorporating text in the matching stage, we strengthen the plausibility of the matching procedure; and by conditioning on text, we can estimate easily interpretable text-based heterogeneous treatment effects that may be stronger than those found across categories of structured covariates. Using these techniques, we hope to expand the scope of secondary analysis of clinical data to domains where quantitative data is of poor quality or nonexistent, but where text is available, such as in developing countries.

 

텍스트는 의료 데이터의 어디서나 볼 수 있는 구성 요소로, 가치가 있다 종종 누락되는 환자 특성 및 관리에 대한 정보 구조화된 차트 데이터. 이 풍부함에도 불구하고 임상에서는 거의 사용되지 않습니다 부분적으로 그것의 복잡성 때문에 연구. 대용량 환자 데이터베이스 사용 수행자에 의한 광범위한 메모를 수반하는 기록 및 치료 기록 의사와 간호사, 우리는 텍스트 데이터가 인과 관계를 뒷받침하기 위해 어떻게 사용될 수 있는지 보여준다 개념과 설계에서 모든 단계의 전자 건강 데이터를 사용하여 추론 최소한의 추가적인 노력으로 분석과 해석을 수행합니다. 우리는 집중한다 인과 관계 추론을 위해 일치를 사용하는 연구. 우리는 고전적인 매칭을 강화한다 텍스트를 세 가지 방법으로 통합하여 분석: 텍스트를 사용하여 보충함 다중 귀속 절차, 우리는 귀속된 값의 충실도를 개선한다 누락된 데이터를 처리합니다. 일치 단계에서 텍스트를 통합함으로써, 우리는 강화합니다 매칭 절차의 타당성; 그리고 텍스트를 조건화함으로써, 우리는 할 수 있다 쉽게 해석할 수 있는 텍스트 기반 이기종 치료 효과를 추정한다 구조화된 공변량의 범주에서 발견되는 것보다 강할 수 있습니다. 이러한 기술을 사용하여, 우리는 2차 분석의 범위를 확대하기를 희망한다 정량적 데이터의 품질이 떨어지는 도메인에 대한 임상 데이터 존재하지 않지만 개발도상국과 같이 텍스트를 사용할 수 있는 경우. 

 

 

QIGen: Generating Efficient Kernels for Quantized Inference on Large Language Models

 

We present ongoing work on a new automatic code generation approach for supporting quantized generative inference on LLMs such as LLaMA or OPT on off-the-shelf CPUs. Our approach is informed by the target architecture and a performance model, including both hardware characteristics and method-specific accuracy constraints. Results on CPU-based inference for LLaMA models show that our approach can lead to high performance and high accuracy, comparing favorably to the best existing open-source solution. A preliminary implementation is available at this https URL.

 

우리는 다음을 위한 새로운 자동 코드 생성 접근법에 대한 진행 중인 작업을 제시한다 LLaMA 또는 OPT on과 같은 LLM에 대한 양자화된 생성 추론 지원 기성 CPU. 우리의 접근 방식은 대상 아키텍처와 하드웨어 특성 및 방법별 성능 모델 정확성 제약. LLaMA 모델에 대한 CPU 기반 추론 결과는 다음을 보여준다 우리의 접근 방식은 높은 성능과 높은 정확도로 이어질 수 있다 기존의 최고의 오픈 소스 솔루션에 유리하게. 예비적인 구현은 이 https URL에서 사용할 수 있습니다.