[2023-06-14] 오늘의 자연어처리

Language of Bargaining

 

Leveraging an established exercise in negotiation education, we build a novel dataset for studying how the use of language shapes bilateral bargaining. Our dataset extends existing work in two ways: 1) we recruit participants via behavioral labs instead of crowdsourcing platforms and allow participants to negotiate through audio, enabling more naturalistic interactions; 2) we add a control setting where participants negotiate only through alternating, written numeric offers.Despite the two contrasting forms of communication, we find that the average agreed prices of the two treatments are identical. But when subjects can talk, fewer offers are exchanged, negotiations finish faster, the likelihood of reaching agreement rises, and the variance of prices at which subjects agree drops substantially. We further propose a taxonomy of speech acts in negotiation and enrich the dataset with annotated speech acts. We set up prediction tasks to predict negotiation success and find that being reactive to the arguments of the other party is advantageous over driving the negotiation.

 

협상 교육에서 확립된 연습을 활용하여, 우리는 소설을 만든다 언어 사용이 어떻게 양자 협상을 형성하는지 연구하기 위한 데이터 세트. 우리들의 데이터 세트는 두 가지 방식으로 기존 작업을 확장합니다. 1) 우리는 다음을 통해 참가자를 모집합니다 클라우드 소싱 플랫폼 대신 행동 연구소를 사용하고 참가자들이 할 수 있도록 한다 오디오를 통해 협상하여 더 자연스러운 상호 작용을 가능하게 한다; 2) 우리는 추가한다 참가자들이 교대로, 작성된 것을 통해서만 협상하는 제어 숫자상의 오퍼.두 가지 상반되는 의사소통 형태에도 불구하고, 우리는 다음과 같은 것을 발견한다 두 치료제의 평균 합의 가격이 동일합니다. 하지만 언제 주체들은 대화할 수 있고, 더 적은 제안이 교환되고, 협상이 더 빨리 끝난다 합의에 도달할 가능성이 높아지고, 가격의 차이는 다음과 같다 피험자들은 실질적인 감소에 동의한다. 우리는 또한 언어의 분류법을 제안한다 협상에서 행동하고 주석이 달린 음성 행동으로 데이터 세트를 풍부하게 한다. 우리는 설정했다 협상의 성공을 예측하고 반응적이라는 것을 발견하기 위해 예측 작업을 상향 조정합니다 상대방의 주장에 따르면 운전하는 것보다 유리하다 교섭. 

 

 

The Devil is in the Details: On the Pitfalls of Event Extraction Evaluation

 

Event extraction (EE) is a crucial task aiming at extracting events from texts, which includes two subtasks: event detection (ED) and event argument extraction (EAE). In this paper, we check the reliability of EE evaluations and identify three major pitfalls: (1) The data preprocessing discrepancy makes the evaluation results on the same dataset not directly comparable, but the data preprocessing details are not widely noted and specified in papers. (2) The output space discrepancy of different model paradigms makes different-paradigm EE models lack grounds for comparison and also leads to unclear mapping issues between predictions and annotations. (3) The absence of pipeline evaluation of many EAE-only works makes them hard to be directly compared with EE works and may not well reflect the model performance in real-world pipeline scenarios. We demonstrate the significant influence of these pitfalls through comprehensive meta-analyses of recent papers and empirical experiments. To avoid these pitfalls, we suggest a series of remedies, including specifying data preprocessing, standardizing outputs, and providing pipeline evaluation results. To help implement these remedies, we develop a consistent evaluation framework OMNIEVENT, which can be obtained from this https URL.

 

이벤트 추출(EE)은 이벤트 추출을 목표로 하는 중요한 작업이다 텍스트 - 이벤트 탐지(ED) 및 이벤트 인수의 두 가지 하위 작업을 포함합니다 추출(EA). 본 논문에서는 EE 평가의 신뢰성을 확인하고 세 가지 주요 함정을 식별한다: (1) 데이터 전처리 불일치는 다음을 만든다 동일한 데이터 세트에 대한 평가 결과를 직접 비교할 수 없지만 데이터 전처리 세부사항은 널리 공지되어 있지 않으며, 논문에 명시되어 있지 않다. (2) 시험실무자 서로 다른 모델 패러다임의 출력 공간 불일치가 서로 다른 값을 만듭니다 EE 모델은 비교할 근거가 부족하고 불분명한 매핑 문제로 이어진다 예측과 주석 사이. (3) 파이프라인 평가의 부재 많은 EAE 전용 작품들은 EE 작품들과 직접적으로 비교하기 어렵게 만든다 실제 파이프라인 시나리오에서 모델 성능을 잘 반영하지 못할 수 있습니다. 우리가 포괄적인 방법을 통해 이러한 함정의 중요한 영향력을 입증한다 최근 논문과 경험적 실험의 메타 분석. 이것들을 피하려면 함정, 우리는 데이터 지정을 포함한 일련의 해결책을 제안한다 사전 처리, 출력 표준화 및 파이프라인 평가 제공 결과. 이러한 해결책을 구현하는 데 도움이 되도록 일관된 평가를 개발합니다 프레임워크 OMNIEVENT는 다음에서 얻을 수 있다 이 https URL. 

 

 

Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow

 

Various industries such as finance, meteorology, and energy generate vast amounts of heterogeneous data every day. There is a natural demand for humans to manage, process, and display data efficiently. However, it necessitates labor-intensive efforts and a high level of expertise for these data-related tasks. Considering that large language models (LLMs) have showcased promising capabilities in semantic understanding and reasoning, we advocate that the deployment of LLMs could autonomously manage and process massive amounts of data while displaying and interacting in a human-friendly manner. Based on this belief, we propose Data-Copilot, an LLM-based system that connects numerous data sources on one end and caters to diverse human demands on the other end. Acting like an experienced expert, Data-Copilot autonomously transforms raw data into visualization results that best match the user's intent. Specifically, Data-Copilot autonomously designs versatile interfaces (tools) for data management, processing, prediction, and visualization. In real-time response, it automatically deploys a concise workflow by invoking corresponding interfaces step by step for the user's request. The interface design and deployment processes are fully controlled by Data-Copilot itself, without human assistance. Besides, we create a Data-Copilot demo that links abundant data from different domains (stock, fund, company, economics, and live news) and accurately respond to diverse requests, serving as a reliable AI assistant.

 

금융, 기상, 에너지와 같은 다양한 산업들이 거대하게 생성된다 매일의 이기종 데이터 양. 인간에 대한 자연적인 수요가 있다 데이터를 효율적으로 관리, 처리 및 표시할 수 있습니다. 그러나, 그것은 필요하다 이러한 데이터 관련 작업에 대한 노동 집약적인 노력과 높은 수준의 전문성 큰 언어 모델(LLM)이 유망한 것을 보여준 것을 고려하면 의미론적 이해와 추론의 능력, 우리는 그것을 옹호한다 LLM의 구축은 자율적으로 막대한 양을 관리와 처리를 할 수 있다 인간 친화적인 방식으로 표시하고 상호 작용하는 동안 데이터. 이를 바탕으로 믿고, 우리는 수많은 것을 연결하는 LLM 기반 시스템인 Data-Copilot을 제안한다 한 쪽은 데이터 소스이고 다른 쪽은 다양한 인간의 요구에 부응합니다. 숙련된 전문가처럼 행동하는 Data-Copilot은 자동으로 원시 상태로 변환됩니다 사용자의 의도와 가장 잘 일치하는 시각화 결과로 데이터를 전송합니다. 특히 Data-Copilot은 다용도 인터페이스(도구)를 자율적으로 설계합니다 데이터 관리, 처리, 예측 및 시각화를 지원합니다. 실시간으로 응답, 해당하는 워크플로우를 호출하여 자동으로 간결한 워크플로우를 배포합니다 사용자의 요청에 대한 인터페이스를 단계별로 지정합니다. 인터페이스 설계 및 구축 프로세스는 인력 없이 Data-Copilot 자체에 의해 완전히 제어됩니다 도움. 게다가, 우리는 풍부한 데이터를 연결하는 Data-Copilot 데모를 만듭니다 다양한 영역(주식, 펀드, 회사, 경제 및 라이브 뉴스) 및 다양한 요청에 정확하게 대응하여 신뢰할 수 있는 AI 비서 역할을 수행합니다.