[2023-03-11] 오늘의 자연어처리

Disambiguation of Company names via Deep Recurrent Networks

 

Name Entity Disambiguation is the Natural Language Processing task of identifying textual records corresponding to the same Named Entity, i.e. real-world entities represented as a list of attributes (names, places, organisations, etc.). In this work, we face the task of disambiguating companies on the basis of their written names. We propose a Siamese LSTM Network approach to extract -- via supervised learning -- an embedding of company name strings in a (relatively) low dimensional vector space and use this representation to identify pairs of company names that actually represent the same company (i.e. the same Entity). Given that the manual labelling of string pairs is a rather onerous task, we analyse how an Active Learning approach to prioritise the samples to be labelled leads to a more efficient overall learning pipeline. With empirical investigations, we show that our proposed Siamese Network outperforms several benchmark approaches based on standard string matching algorithms when enough labelled data are available. Moreover, we show that Active Learning prioritisation is indeed helpful when labelling resources are limited, and let the learning models reach the out-of-sample performance saturation with less labelled data with respect to standard (random) data labelling approaches.

 

이름 엔티티 명확화는 다음의 자연어 처리 작업입니다 동일한 명명된 엔티티에 해당하는 텍스트 레코드 식별. 속성(이름, 장소, 이름) 목록으로 표시되는 실제 엔티티, 조직 등). 이 작업에서, 우리는 명확하게 하는 과제에 직면한다 회사들의 서면 이름을 바탕으로 한 회사들. 샴 LSTM을 제안합니다 지도 학습을 통해 의 임베딩을 추출하는 네트워크 접근 방식 (아마도) 저차원 벡터 공간의 회사 이름 문자열 및 사용 이 표현은 실제로 대표하는 회사 이름의 쌍을 식별하기 동일한 회사(즉, 동일한 법인). 문자열 쌍의 수동 레이블링이 다소 부담스러운 작업이라는 점을 고려할 때, 우리는 샘플의 우선순위를 정하는 능동 학습 접근법을 분석합니다 라벨링된 것은 더 효율적인 전반적인 학습 파이프라인으로 이어진다. 경험적 조사를 통해 제안된 샴 네트워크를 보여준다 표준 문자열 일치를 기반으로 하는 여러 벤치마크 접근 방식을 능가합니다 충분한 레이블이 지정된 데이터를 사용할 수 있는 경우 알고리즘. 게다가, 우리는 그것을 보여준다 활성 학습 우선 순위는 리소스에 레이블을 지정할 때 실제로 도움이 됩니다 제한적이며, 학습 모델이 샘플 외 성능에 도달하도록 한다 표준(표준) 데이터와 관련하여 레이블이 적은 데이터를 사용한 포화도 라벨 표시 방식. 

 

 

MathPrompter: Mathematical Reasoning using Large Language Models

 

Large Language Models (LLMs) have limited performance when solving arithmetic reasoning tasks and often provide incorrect answers. Unlike natural language understanding, math problems typically have a single correct answer, making the task of generating accurate solutions more challenging for LLMs. To the best of our knowledge, we are not aware of any LLMs that indicate their level of confidence in their responses which fuels a trust deficit in these models impeding their adoption. To address this deficiency, we propose `MathPrompter', a technique that improves performance of LLMs on arithmetic problems along with increased reliance in the predictions. MathPrompter uses the Zero-shot chain-of-thought prompting technique to generate multiple Algebraic expressions or Python functions to solve the same math problem in different ways and thereby raise the confidence level in the output results. This is in contrast to other prompt based CoT methods, where there is no check on the validity of the intermediate steps followed. Our technique improves over state-of-the-art on the MultiArith dataset ($78.7\%\rightarrow92.5\%$) evaluated using 175B parameter GPT-based LLM.

 

LLM(Large Language Model)은 산술을 풀 때 성능이 제한됩니다 추론 작업을 수행하고 종종 오답을 제공합니다. 자연어와 다르게 이해, 수학 문제는 일반적으로 하나의 정답을 가지고 있다 정확한 솔루션을 생성하는 작업은 LLM에게 더 도전적입니다. 최선을 다합니다 우리의 지식, 우리는 그들의 수준을 나타내는 어떤 LLM도 알지 못한다 이러한 모델에 대한 신뢰 부족을 부채질하는 그들의 반응에 대한 자신감 그들의 입양을 방해합니다. 이 결함을 해결하기 위해, 우리는 'Math Prompter'를 제안한다, 산술 문제에 대한 LLM의 성능을 향상시키는 기술 예측에 대한 신뢰도가 높아짐. Math Promptor는 제로샷을 사용합니다 여러 개의 대수적 표현을 생성하기 위한 생각의 연쇄 유도 기법 또는 Python 함수는 같은 수학 문제를 다른 방법으로 해결한다 따라서 출력 결과의 신뢰 수준을 높입니다. 이것은 대조적이다 유효성에 대한 확인이 없는 다른 프롬프트 기반 CoT 방법으로 중간 단계가 뒤따랐습니다. 우리의 기술은 최첨단 기술보다 향상된다 175B를 사용하여 평가된 MultiArs 데이터 세트($78.7\%\rightarrow92.5\%$)에서 GPT 기반 LLM 매개 변수입니다. 

 

 

ChatGPT is on the horizon: Could a large language model be all we need for Intelligent Transportation?

 

ChatGPT, developed by OpenAI, is one of the largest Large Language Models (LLM) with over 175 billion parameters. ChatGPT has demonstrated the impressive capabilities of LLM, particularly in the field of natural language processing (NLP). With the emergence of the discussion and application of LLM in various research or engineering domains, it is time to envision how LLM may revolutionize the way we approach intelligent transportation systems. This paper explores the future applications of LLM in addressing key transportation problems. By leveraging LLM and a cross-modal encoder, an intelligent system can handle traffic data from various modalities and execute transportation operations through a single LLM. NLP, combined with cross-modal processing, is investigated with its potential applications in transportation. To demonstrate this potential, a smartphone-based crash report auto-generation and analysis framework is presented as a use case. Despite the potential benefits, challenges related to data privacy, data quality, and model bias must be considered. Overall, the use of LLM in intelligent transport systems holds promise for more efficient, intelligent, and sustainable transportation systems that improve the lives of people around the world.

 

OpenAI가 개발한 ChatGPT는 가장 큰 언어 모델 중 하나이다 (LLM) 매개 변수가 1,750억 개가 넘습니다. ChatGPT는 인상적인 것을 보여주었다 특히 자연어 처리 분야에서 LLM의 능력 (NLP). 다양한 분야에서 LLM의 논의와 적용의 등장과 함께 연구 또는 엔지니어링 영역, LLM이 어떻게 할 수 있는지 상상할 때입니다 우리가 지능형 교통 시스템에 접근하는 방식에 혁명을 일으킨다. 이것. 논문은 키 전송을 다루는 데 LLM의 미래 응용 프로그램을 탐구한다 문제. LLM과 크로스모달 인코더를 활용하여 지능형 시스템 다양한 양식의 트래픽 데이터를 처리하고 운송을 실행할 수 있습니다 단일 LLM을 통한 작업. NLP는 교차 모달 처리와 결합되어 있다 운송 분야에서 잠재적인 응용 분야로 조사되었습니다. 시연하기 이 잠재력, 스마트폰 기반 충돌 보고서 자동 생성 및 분석 프레임워크가 사용 사례로 제시됩니다. 잠재적인 이점에도 불구하고, 데이터 개인 정보 보호, 데이터 품질 및 모델 편향과 관련된 문제는 다음과 같아야 합니다 여겨진다. 전반적으로, 지능형 운송 시스템에서 LLM의 사용은 유지된다 보다 효율적이고 지능적이며 지속 가능한 교통 시스템을 약속한다 전 세계 사람들의 삶을 향상시키는 것.