[2023-04-14] 오늘의 자연어처리

Understanding Causality with Large Language Models: Feasibility and Opportunities

 

We assess the ability of large language models (LLMs) to answer causal questions by analyzing their strengths and weaknesses against three types of causal question. We believe that current LLMs can answer causal questions with existing causal knowledge as combined domain experts. However, they are not yet able to provide satisfactory answers for discovering new knowledge or for high-stakes decision-making tasks with high precision. We discuss possible future directions and opportunities, such as enabling explicit and implicit causal modules as well as deep causal-aware LLMs. These will not only enable LLMs to answer many different types of causal questions for greater impact but also enable LLMs to be more trustworthy and efficient in general.

 

우리는 인과 관계에 답할 수 있는 큰 언어 모델(LLM)의 능력을 평가한다 세 가지 유형의 질문에 대해 그들의 강점과 약점을 분석함으로써 질문 인과 관계가 있는 질문. 우리는 현재 LLM이 인과 관계에 대한 질문에 답할 수 있다고 믿는다 결합된 도메인 전문가로서 기존의 인과적 지식. 하지만, 그들은 아직 아니다 새로운 지식을 발견하거나 새로운 지식에 대한 만족스러운 답변을 제공할 수 있다 정확도가 높은 고도의 의사 결정 작업. 우리는 가능성에 대해 논의한다 명시적이고 암묵적인 활성화와 같은 미래의 방향과 기회 원인 모듈 및 심층 원인 인식 LLM. 이것들은 단지 가능하지 않을 것이다 LLM은 더 큰 영향을 미치기 위해 다양한 유형의 인과 관계 질문에 답한다 또한 LLM은 일반적으로 보다 신뢰할 수 있고 효율적일 수 있습니다. 

 

 

Zero-shot Temporal Relation Extraction with ChatGPT

 

The goal of temporal relation extraction is to infer the temporal relation between two events in the document. Supervised models are dominant in this task. In this work, we investigate ChatGPT's ability on zero-shot temporal relation extraction. We designed three different prompt techniques to break down the task and evaluate ChatGPT. Our experiments show that ChatGPT's performance has a large gap with that of supervised methods and can heavily rely on the design of prompts. We further demonstrate that ChatGPT can infer more small relation classes correctly than supervised methods. The current shortcomings of ChatGPT on temporal relation extraction are also discussed in this paper. We found that ChatGPT cannot keep consistency during temporal inference and it fails in actively long-dependency temporal inference.

 

시간 관계 추출의 목표는 시간 관계를 추론하는 것이다 문서의 두 사건 사이에. 이 경우 감독 모델이 지배적입니다 과제. 이 작업에서는 제로샷 시간에 대한 ChatGPT의 능력을 조사한다 관계 추출. 우리는 파괴하기 위해 세 가지 다른 즉각적인 기술을 설계했다 작업을 세분화하고 ChatGPT을 평가합니다. 우리의 실험은 ChatGPT가 성능은 감독된 방법과 큰 격차가 있으며 매우 크다 프롬프트 설계에 의존합니다. 우리는 또한 ChatGPT이 추론할 수 있다는 것을 증명한다 감독된 방법보다 더 작은 관계 클래스가 정확합니다. 해류 시간적 관계 추출에 대한 ChatGPT의 단점은 또한 에서 논의된다 본지. 우리는 ChatGPT이 일시적인 동안 일관성을 유지할 수 없다는 것을 발견했다 추론은 능동적으로 긴 의존성의 시간적 추론에서 실패한다. 

 

 

Galactic ChitChat: Using Large Language Models to Converse with Astronomy Literature

 

We demonstrate the potential of the state-of-the-art OpenAI GPT-4 large language model to engage in meaningful interactions with Astronomy papers using in-context prompting. To optimize for efficiency, we employ a distillation technique that effectively reduces the size of the original input paper by 50\%, while maintaining the paragraph structure and overall semantic integrity. We then explore the model's responses using a multi-document context (ten distilled documents). Our findings indicate that GPT-4 excels in the multi-document domain, providing detailed answers contextualized within the framework of related research findings. Our results showcase the potential of large language models for the astronomical community, offering a promising avenue for further exploration, particularly the possibility of utilizing the models for hypothesis generation.

 

우리는 최첨단 OpenAI GPT-4 대형의 잠재력을 보여준다 언어 모델을 사용하여 천문학 논문과 의미 있는 상호 작용에 참여합니다 인더스트링. 효율성을 최적화하기 위해 증류를 사용합니다 효과적으로 원본 입력 용지의 크기를 줄이는 기술 문단 구조와 전체적인 의미 무결성을 유지하면서 50\%. 그런 다음 다중 문서 컨텍스트(10)를 사용하여 모델의 응답을 탐색합니다 증류 문서). 우리의 연구 결과는 GPT-4가 우수하다는 것을 나타낸다 멀티벤더 도메인, 내에서 상황에 맞는 상세한 답변 제공 관련 연구 결과의 틀. 우리의 결과는 잠재력을 보여준다 유망한 천문학계를 위한 대형 언어 모델 추가 탐사를 위한 방법, 특히 활용 가능성 가설 생성 모형입니다.