[2023-03-12] 오늘의 자연어처리

ChatGPT is on the horizon: Could a large language model be all we need for Intelligent Transportation?

 

ChatGPT, developed by OpenAI, is one of the largest Large Language Models (LLM) with over 175 billion parameters. ChatGPT has demonstrated the impressive capabilities of LLM, particularly in the field of natural language processing (NLP). With the emergence of the discussion and application of LLM in various research or engineering domains, it is time to envision how LLM may revolutionize the way we approach intelligent transportation systems. This paper explores the future applications of LLM in addressing key transportation problems. By leveraging LLM and a cross-modal encoder, an intelligent system can handle traffic data from various modalities and execute transportation operations through a single LLM. NLP, combined with cross-modal processing, is investigated with its potential applications in transportation. To demonstrate this potential, a smartphone-based crash report auto-generation and analysis framework is presented as a use case. Despite the potential benefits, challenges related to data privacy, data quality, and model bias must be considered. Overall, the use of LLM in intelligent transport systems holds promise for more efficient, intelligent, and sustainable transportation systems that improve the lives of people around the world.

 

OpenAI가 개발한 ChatGPT는 가장 큰 언어 모델 중 하나이다 (LLM) 매개 변수가 1,750억 개가 넘습니다. ChatGPT는 인상적인 것을 보여주었다 특히 자연어 처리 분야에서 LLM의 능력 (NLP). 다양한 분야에서 LLM의 논의와 적용의 등장과 함께 연구 또는 엔지니어링 영역, LLM이 어떻게 할 수 있는지 상상할 때입니다 우리가 지능형 교통 시스템에 접근하는 방식에 혁명을 일으킨다. 이것. 논문은 키 전송을 다루는 데 LLM의 미래 응용 프로그램을 탐구한다 문제. LLM과 크로스모달 인코더를 활용하여 지능형 시스템 다양한 양식의 트래픽 데이터를 처리하고 운송을 실행할 수 있습니다 단일 LLM을 통한 작업. NLP는 교차 모달 처리와 결합되어 있다 운송 분야에서 잠재적인 응용 분야로 조사되었습니다. 시연하기 이 잠재력, 스마트폰 기반 충돌 보고서 자동 생성 및 분석 프레임워크가 사용 사례로 제시됩니다. 잠재적인 이점에도 불구하고, 데이터 개인 정보 보호, 데이터 품질 및 모델 편향과 관련된 문제는 다음과 같아야 합니다 여겨진다. 전반적으로, 지능형 운송 시스템에서 LLM의 사용은 유지된다 보다 효율적이고 지능적이며 지속 가능한 교통 시스템을 약속한다 전 세계 사람들의 삶을 향상시키는 것. 

 

 

Early Warning Signals of Social Instabilities in Twitter Data

 

The goal of this project is to create and study novel techniques to identify early warning signals for socially disruptive events, like riots, wars, or revolutions using only publicly available data on social media. Such techniques need to be robust enough to work on real-time data: to achieve this goal we propose a topological approach together with more standard BERT models. Indeed, topology-based algorithms, being provably stable against deformations and noise, seem to work well in low-data regimes. The general idea is to build a binary classifier that predicts if a given tweet is related to a disruptive event or not. The results indicate that the persistent-gradient approach is stable and even more performant than deep-learning-based anomaly detection algorithms. We also benchmark the generalisability of the methodology against out-of-samples tasks, with very promising results.

 

이 프로젝트의 목표는 식별할 수 있는 새로운 기술을 만들고 연구하는 것이다 폭동, 전쟁, 또는 같은 사회적으로 파괴적인 사건에 대한 조기 경고 신호 소셜 미디어에서 공개적으로 사용할 수 있는 데이터만 사용하는 혁명. 그런 기술들 실시간 데이터 작업을 수행할 수 있을 정도로 강력해야 합니다. 이 목표를 달성하려면 보다 표준적인 BERT 모델과 함께 토폴로지 접근법을 제안한다. 실제로. 위상 기반 알고리즘, 변형에 대해 안정적이며 노이즈, 낮은 데이터 영역에서 잘 작동하는 것 같습니다. 일반적인 생각은 다음을 구축하는 것이다 주어진 트윗이 중단과 관련이 있는지 예측하는 이진 분류기 사건의 유무. 결과는 지속적인 그레이디언트 접근법이 다음과 같은 것을 나타낸다 딥 러닝 기반 이상 탐지보다 안정적이고 훨씬 더 성능이 뛰어납니다 알고리즘. 우리는 또한 이 방법론의 일반화 가능성을 벤치마크한다 매우 유망한 결과를 가진, 실행 불가능한 작업. 

 

 

Can a Frozen Pretrained Language Model be used for Zero-shot Neural Retrieval on Entity-centric Questions?

 

Neural document retrievers, including dense passage retrieval (DPR), have outperformed classical lexical-matching retrievers, such as BM25, when fine-tuned and tested on specific question-answering datasets. However, it has been shown that the existing dense retrievers do not generalize well not only out of domain but even in domain such as Wikipedia, especially when a named entity in a question is a dominant clue for retrieval. In this paper, we propose an approach toward in-domain generalization using the embeddings generated by the frozen language model trained with the entities in the domain. By not fine-tuning, we explore the possibility that the rich knowledge contained in a pretrained language model can be used for retrieval tasks. The proposed method outperforms conventional DPRs on entity-centric questions in Wikipedia domain and achieves almost comparable performance to BM25 and state-of-the-art SPAR model. We also show that the contextualized keys lead to strong improvements compared to BM25 when the entity names consist of common words. Our results demonstrate the feasibility of the zero-shot retrieval method for entity-centric questions of Wikipedia domain, where DPR has struggled to perform.

 

고밀도 통과 검색(DPR)을 포함한 신경 문서 검색기는 다음과 같다 다음과 같은 경우 BM25와 같은 고전적인 어휘 일치 검색기보다 성능이 뛰어납니다 구체적인 질문 분석 데이터 세트에 대해 세부적으로 분석하고 테스트했습니다. 하지만, 그것은 있다 기존의 고밀도 검색기가 잘 일반화되지 않는 것으로 나타났다 도메인에서 벗어나지만 위키피디아와 같은 도메인에서도, 특히 이름이 있을 때 질문의 실체는 검색을 위한 지배적인 단서이다. 이 논문에서, 우리는 임베딩을 사용하여 도메인 내 일반화에 대한 접근 방식을 제안한다 도메인의 엔티티로 훈련된 냉동 언어 모델에 의해 생성된다. 미세 조정을 하지 않음으로써, 우리는 풍부한 지식의 가능성을 탐구한다 사전 훈련된 언어 모델에 포함된 것은 검색 작업에 사용될 수 있다. 그 제안된 방법은 엔티티 중심 질문에서 기존 DPR을 능가한다 Wikipedia 도메인과 BM25와 거의 비슷한 성능을 달성합니다 최신 SPAR 모델입니다. 우리는 또한 문맥화된 키가 다음과 같이 이어진다는 것을 보여준다 엔티티 이름이 공통으로 구성될 때 BM25와 비교하여 강력한 개선 사항 단어. 우리의 결과는 제로샷 검색의 실현 가능성을 보여준다 DPR이 있는 위키피디아 도메인의 엔티티 중심 질문을 위한 방법 공연하기 위해 고군분투했다.