[2023-07-27] 오늘의 자연어처리

Leveraging Label Variation in Large Language Models for Zero-Shot Text Classification

 

The zero-shot learning capabilities of large language models (LLMs) make them ideal for text classification without annotation or supervised training. Many studies have shown impressive results across multiple tasks. While tasks, data, and results differ widely, their similarities to human annotation can aid us in tackling new tasks with minimal expenses. We evaluate using 5 state-of-the-art LLMs as "annotators" on 5 different tasks (age, gender, topic, sentiment prediction, and hate speech detection), across 4 languages: English, French, German, and Spanish. No single model excels at all tasks, across languages, or across all labels within a task. However, aggregation techniques designed for human annotators perform substantially better than any one individual model. Overall, though, LLMs do not rival even simple supervised models, so they do not (yet) replace the need for human annotation. We also discuss the tradeoffs between speed, accuracy, cost, and bias when it comes to aggregated model labeling versus human annotation.

 

대용량 언어 모델(LLM)의 제로샷 학습 기능으로 인해 주석이나 지도 교육 없이 텍스트 분류에 이상적입니다. 많이 연구들은 여러 과제들에 걸쳐 인상적인 결과들을 보여주었다. 작업, 데이터, 그리고 결과는 크게 다르며, 인간 주석과의 유사성은 우리에게 도움이 될 수 있다 최소한의 비용으로 새로운 과제를 해결하는 것. 우리는 5개의 최첨단 기술을 사용하여 평가한다 LLM은 5가지 작업(연령, 성별, 주제, 정서)에 대한 "논테이터"로서의 LLM입니다 예측 및 혐오 음성 탐지), 4개 언어에 걸쳐: 영어, 불어, 독일어, 스페인어. 모든 작업, 언어 간 또는 모든 작업에서 탁월한 단일 모델은 없습니다 작업 내의 모든 레이블에 걸쳐 있습니다. 그러나 다음을 위해 설계된 집합 기술은 인간 주석자는 어떤 개별 모델보다 훨씬 더 잘 수행한다. 그러나 전체적으로 LLM은 단순한 감독 모델과도 경쟁하지 않기 때문에 경쟁합니다 인간 주석의 필요성을 대체하지는 않는다. 우리는 또한 트레이드오프에 대해 논의한다 통합 모델의 경우 속도, 정확성, 비용 및 편향성 사이의 차이 라벨링 대 인간 주석. 

 

 

Embedding Models for Supervised Automatic Extraction and Classification of Named Entities in Scientific Acknowledgements

 

Acknowledgments in scientific papers may give an insight into aspects of the scientific community, such as reward systems, collaboration patterns, and hidden research trends. The aim of the paper is to evaluate the performance of different embedding models for the task of automatic extraction and classification of acknowledged entities from the acknowledgment text in scientific papers. We trained and implemented a named entity recognition (NER) task using the Flair NLP framework. The training was conducted using three default Flair NER models with four differently-sized corpora and different versions of the Flair NLP framework. The Flair Embeddings model trained on the medium corpus with the latest FLAIR version showed the best accuracy of 0.79. Expanding the size of a training corpus from very small to medium size massively increased the accuracy of all training algorithms, but further expansion of the training corpus did not bring further improvement. Moreover, the performance of the model slightly deteriorated. Our model is able to recognize six entity types: funding agency, grant number, individuals, university, corporation, and miscellaneous. The model works more precisely for some entity types than for others; thus, individuals and grant numbers showed a very good F1-Score over 0.9. Most of the previous works on acknowledgment analysis were limited by the manual evaluation of data and therefore by the amount of processed data. This model can be applied for the comprehensive analysis of acknowledgment texts and may potentially make a great contribution to the field of automated acknowledgment analysis.

 

과학 논문에서의 인정은 다음의 측면에 대한 통찰력을 줄 수 있다 보상 시스템, 협업 패턴, 그리고 같은 과학적 공동체 숨은 연구 동향. 그 논문의 목적은 성과를 평가하는 것이다 자동 추출 작업을 위한 다양한 임베딩 모델 및 승인 텍스트에서 승인된 엔티티 분류 과학 논문. 우리는 명명된 엔티티 인식(NER)을 교육하고 구현했다 Flear NLP 프레임워크를 사용하는 작업. 교육은 세 가지를 사용하여 진행되었다 크기가 다른 4개의 말뭉치와 다른 기본 Flair NER 모델 플레어 NLP 프레임워크 버전. 에 대해 훈련된 Flair Embedding 모델 최신 FLAIR 버전의 매체 말뭉치는 0.79로 가장 정확도가 높았다. 교육 코퍼스의 크기를 매우 작은 크기에서 중간 크기로 확장 모든 훈련 알고리즘의 정확도를 크게 높였지만, 더 나아가 훈련 코퍼스의 확장은 더 이상의 개선을 가져오지 않았다. 게다가. 모델의 성능이 약간 저하되었습니다. 우리 모델은 할 수 있다 자금 조달 기관, 보조금 번호, 개인, 6개의 독립체 유형을 인식한다, 대학, 기업, 기타. 이 모델은 다음을 위해 더욱 정확하게 작동합니다 일부 개체 유형은 다른 개체 유형보다 더 많습니다. 따라서 개인 및 보조금 번호는 다음을 나타냈습니다 매우 좋은 F1-0.9 이상의 점수. 인정에 관한 대부분의 이전 작품들 분석은 데이터의 수동 평가에 의해 제한되었으며 따라서 처리된 데이터의 양입니다. 이 모델은 종합에 적용할 수 있습니다 승인 텍스트 분석 및 잠재적으로 큰 기여를 할 수 있습니다 자동 확인 분석 분야에 적용됩니다. 

 

 

Making Metadata More FAIR Using Large Language Models

 

With the global increase in experimental data artifacts, harnessing them in a unified fashion leads to a major stumbling block - bad metadata. To bridge this gap, this work presents a Natural Language Processing (NLP) informed application, called FAIRMetaText, that compares metadata. Specifically, FAIRMetaText analyzes the natural language descriptions of metadata and provides a mathematical similarity measure between two terms. This measure can then be utilized for analyzing varied metadata, by suggesting terms for compliance or grouping similar terms for identification of replaceable terms. The efficacy of the algorithm is presented qualitatively and quantitatively on publicly available research artifacts and demonstrates large gains across metadata related tasks through an in-depth study of a wide variety of Large Language Models (LLMs). This software can drastically reduce the human effort in sifting through various natural language metadata while employing several experimental datasets on the same topic.

 

실험 데이터 아티팩트가 전 세계적으로 증가함에 따라 이를 활용하여 통합된 패션은 주요 장애물인 나쁜 메타데이터를 초래합니다. 이 문제를 해결하기 위해 갭, 이 작업은 자연어 처리(NLP) 정보를 제공한다 메타데이터를 비교하는 FAREMetaText라는 응용 프로그램입니다. 구체적으로, FAREMetaText는 메타데이터의 자연어 설명을 분석한다 두 항 사이의 수학적 유사성 측도를 제공합니다. 이 조치는 할 수 있다 그리고 다음의 용어를 제안함으로써 다양한 메타데이터 분석에 활용된다 대체 가능한 용어를 식별하기 위한 준수 또는 유사한 용어 그룹화. 알고리즘의 효과는 정성적이고 정량적으로 제시된다 공개적으로 이용할 수 있는 연구 산출물 및 광범위한 이점 입증 다양한 Large에 대한 심층 연구를 통한 메타데이터 관련 작업 언어 모델(LLM). 이 소프트웨어는 인간의 노력을 획기적으로 줄일 수 있다 여러 개를 사용하면서 다양한 자연어 메타데이터를 검색합니다 동일한 주제에 대한 실험 데이터 세트.