[2023-04-01] 오늘의 자연어처리

Language Models can Solve Computer Tasks

 

Agents capable of carrying out general tasks on a computer can improve efficiency and productivity by automating repetitive tasks and assisting in complex problem-solving. Ideally, such agents should be able to solve new computer tasks presented to them through natural language commands. However, previous approaches to this problem require large amounts of expert demonstrations and task-specific reward functions, both of which are impractical for new tasks. In this work, we show that a pre-trained large language model (LLM) agent can execute computer tasks guided by natural language using a simple prompting scheme where the agent recursively criticizes and improves its output (RCI). The RCI approach significantly outperforms existing LLM methods for automating computer tasks and surpasses supervised learning (SL) and reinforcement learning (RL) approaches on the MiniWoB++ benchmark. RCI is competitive with the state-of-the-art SL+RL method, using only a handful of demonstrations per task rather than tens of thousands, and without a task-specific reward function. Furthermore, we demonstrate RCI prompting's effectiveness in enhancing LLMs' reasoning abilities on a suite of natural language reasoning tasks, outperforming chain of thought (CoT) prompting. We find that RCI combined with CoT performs better than either separately.

 

컴퓨터에서 일반적인 작업을 수행할 수 있는 에이전트는 개선할 수 있습니다 반복 작업을 자동화하고 지원함으로써 효율성과 생산성을 높입니다 복잡한 문제 해결. 이상적으로, 그러한 에이전트는 새로운 문제를 해결할 수 있어야 한다 자연어 명령을 통해 그들에게 제시된 컴퓨터 작업. 하지만, 이 문제에 대한 이전의 접근법은 많은 양의 전문가를 필요로 한다 시연 및 작업별 보상 기능, 둘 다 새로운 작업에는 실용적이지 않습니다. 이 작업에서, 우리는 사전 훈련된 대규모가 언어 모델(LLM) 에이전트는 자연스럽게 안내되는 컴퓨터 작업을 실행할 수 있습니다 에이전트가 재귀적으로 비판하는 간단한 프롬프트 방식을 사용하는 언어 출력(RCI)을 향상시킵니다. RCI 접근 방식이 성능을 크게 능가합니다 컴퓨터 작업을 자동화하기 위한 기존의 LLM 방법과 감독을 능가한다 MiniWoB++에서 학습(SL) 및 강화 학습(RL) 접근 방식 기준으로 삼다. RCI는 최첨단 SL+RL 방법과 경쟁력이 있다 작업당 수만 개가 아닌 소수의 데모만 수행할 수 있습니다 작업별 보상 기능이 없습니다. 게다가, 우리는 RCI를 증명한다 일련의 LLM에서 LLM의 추론 능력을 향상시키는 데 있어 프롬프트의 효과 자연어 추론 작업, 우수한 사고 체계(CoT) 재촉하는. 우리는 CoT와 결합된 RCI가 어느 것보다 더 나은 성능을 보인다는 것을 발견했다 따로따로. 

 

 

TLAG: An Informative Trigger and Label-Aware Knowledge Guided Model for Dialogue-based Relation Extraction

 

Dialogue-based Relation Extraction (DRE) aims to predict the relation type of argument pairs that are mentioned in dialogue. The latest trigger-enhanced methods propose trigger prediction tasks to promote DRE. However, these methods are not able to fully leverage the trigger information and even bring noise to relation extraction. To solve these problems, we propose TLAG, which fully leverages the trigger and label-aware knowledge to guide the relation extraction. First, we design an adaptive trigger fusion module to fully leverage the trigger information. Then, we introduce label-aware knowledge to further promote our model's performance. Experimental results on the DialogRE dataset show that our TLAG outperforms the baseline models, and detailed analyses demonstrate the effectiveness of our approach.

 

대화 기반 관계 추출(DRE)은 다음의 관계 유형을 예측하는 것을 목표로 한다 대화에서 언급되는 인수 쌍. 최신 트리거 향상 기능 메소드는 DRE를 촉진하기 위해 트리거 예측 작업을 제안한다. 그러나 이 방법들은 트리거 정보를 완전히 활용할 수 없으며 소음을 유발할 수도 없습니다 관계 추출. 이러한 문제를 해결하기 위해, 우리는 TLAG를 제안한다. TLAG는 완전히 트리거 및 라벨 인식 지식을 활용하여 관계를 안내합니다 추출. 먼저, 어댑티브 트리거 퓨전 모듈을 완전히 트리거 정보를 활용합니다. 그런 다음 레이블 인식 지식을 소개합니다 모델의 성능을 더욱 홍보합니다. 대화 상자의 실험 결과RE 데이터 세트는 우리의 TLAG가 기준 모델을 능가한다는 것을 보여주며, 상세하다 분석은 우리 접근법의 효과를 입증한다. 

 

 

Multimodal Image-Text Matching Improves Retrieval-based Chest X-Ray Report Generation

 

Automated generation of clinically accurate radiology reports can improve patient care. Previous report generation methods that rely on image captioning models often generate incoherent and incorrect text due to their lack of relevant domain knowledge, while retrieval-based attempts frequently retrieve reports that are irrelevant to the input image. In this work, we propose Contrastive X-Ray REport Match (X-REM), a novel retrieval-based radiology report generation module that uses an image-text matching score to measure the similarity of a chest X-ray image and radiology report for report retrieval. We observe that computing the image-text matching score with a language-image model can effectively capture the fine-grained interaction between image and text that is often lost when using cosine similarity. X-REM outperforms multiple prior radiology report generation modules in terms of both natural language and clinical metrics. Human evaluation of the generated reports suggests that X-REM increased the number of zero-error reports and decreased the average error severity compared to the baseline retrieval approach. Our code is available at: this https URL

 

임상적으로 정확한 방사선 보고서의 자동 생성으로 개선 가능 환자의 치료. 이미지 캡션에 의존하는 이전 보고서 생성 방법 모델은 종종 그들의 부족으로 인해 일관성이 없고 부정확한 텍스트를 생성한다 검색 기반 시도가 자주 검색되는 동안 관련 도메인 지식 입력 이미지와 관련이 없는 보고서입니다. 이 작업에서, 우리는 제안한다 새로운 검색 기반 방사선학인 대조 X-Ray 보고서 일치(X-REM) 이미지 텍스트 일치 점수를 사용하여 측정하는 보고서 생성 모듈 보고서 검색을 위한 흉부 X선 영상과 방사선 보고서의 유사성. 우리가 언어 이미지를 사용하여 이미지 텍스트 일치 점수를 계산하는 것을 관찰합니다 모델은 이미지와 이미지 사이의 미세한 상호작용을 효과적으로 포착할 수 있다 코사인 유사성을 사용할 때 종종 손실되는 텍스트. X-REM이 성능을 능가합니다 자연적인 측면에서 여러 개의 사전 방사선 보고서 생성 모듈 언어 및 임상 지표. 생성된 보고서에 대한 인적 평가 X-REM은 제로 오류 보고서의 수를 증가시키고 감소시켰음을 시사한다 기준 검색 접근 방식과 비교한 평균 오류 심각도. 우리들의 코드 사용 가능 위치: 이 https URL