[2022-09-08] 오늘의 자연어처리

Cross-Lingual and Cross-Domain Crisis Classification for Low-Resource Scenarios

 

Social media data has emerged as a useful source of timely information about real-world crisis events. One of the main tasks related to the use of social media for disaster management is the automatic identification of crisis-related messages. Most of the studies on this topic have focused on the analysis of data for a particular type of event in a specific language. This limits the possibility of generalizing existing approaches because models cannot be directly applied to new types of events or other languages. In this work, we study the task of automatically classifying messages that are related to crisis events by leveraging cross-language and cross-domain labeled data. Our goal is to make use of labeled data from high-resource languages to classify messages from other (low-resource) languages and/or of new (previously unseen) types of crisis situations. For our study we consolidated from the literature a large unified dataset containing multiple crisis events and languages. Our empirical findings show that it is indeed possible to leverage data from crisis events in English to classify the same type of event in other languages, such as Spanish and Italian (80.0% F1-score). Furthermore, we achieve good performance for the cross-domain task (80.0% F1-score) in a cross-lingual setting. Overall, our work contributes to improving the data scarcity problem that is so important for multilingual crisis classification. In particular, mitigating cold-start situations in emergency events, when time is of essence.

 

소셜 미디어 데이터는 시기 적절한 정보의 유용한 출처로 부상했다. 현실 세계의 위기 사건 사회적 활용과 관련된 주요 업무 중 하나 재난 관리를 위한 미디어는 위기 관련의 자동 식별이다. 메시지 이 주제에 대한 대부분의 연구는 의 분석에 초점을 맞추었다. 특정 언어의 특정 이벤트 유형에 대한 데이터. 이것은 을 제한한다. 모델이 될 수 없기 때문에 기존 접근 방식을 일반화할 수 있는 가능성 새로운 유형의 이벤트 또는 다른 언어에 직접 적용됩니다. 이 작품에서, 우리는 위기와 관련된 메시지를 자동으로 분류하는 작업을 연구하다 교차 언어 및 교차 도메인 레이블이 지정된 데이터를 활용하여 이벤트를 발생시킵니다. 저희 목표는. 메시지를 분류하기 위해 고자원 언어의 레이블링된 데이터를 활용하다 다른 (저자원) 언어 및/또는 새로운 (이전에는 볼 수 없었던) 유형의 위기 상황 우리의 연구를 위해 우리는 문헌을 크게 통합했다. 여러 위기 이벤트 및 언어를 포함하는 통합 데이터 세트 우리의 경험적. 조사 결과는 위기 사건의 데이터를 활용하는 것이 실제로 가능하다는 것을 보여준다. 스페인어와 같은 다른 언어로 동일한 유형의 이벤트를 분류하는 영어 이탈리아어(80.0% F1-점수). 게다가, 우리는 좋은 성과를 달성한다. 교차 언어 환경에서 교차 도메인 작업(80.0% F1-점수) 전체적으로 저희. 작업은 매우 중요한 데이터 부족 문제를 개선하는 데 기여한다. 다국어 위기 분류에 사용됩니다. 특히 콜드 스타트 완화 시간이 중요한 비상 사태의 상황. 

 

 

Selective Annotation Makes Language Models Better Few-Shot Learners

 

Many recent approaches to natural language tasks are built on the remarkable abilities of large language models. Large language models can perform in-context learning, where they learn a new task from a few task demonstrations, without any parameter updates. This work examines the implications of in-context learning for the creation of datasets for new natural language tasks. Departing from recent in-context learning methods, we formulate an annotation-efficient, two-step framework: selective annotation that chooses a pool of examples to annotate from unlabeled data in advance, followed by prompt retrieval that retrieves task examples from the annotated pool at test time. Based on this framework, we propose an unsupervised, graph-based selective annotation method, voke-k, to select diverse, representative examples to annotate. Extensive experiments on 10 datasets (covering classification, commonsense reasoning, dialogue, and text/code generation) demonstrate that our selective annotation method improves the task performance by a large margin. On average, vote-k achieves a 12.9%/11.4% relative gain under an annotation budget of 18/100, as compared to randomly selecting examples to annotate. Compared to state-of-the-art supervised finetuning approaches, it yields similar performance with 10-100x less annotation cost across 10 tasks. We further analyze the effectiveness of our framework in various scenarios: language models with varying sizes, alternative selective annotation methods, and cases where there is a test data domain shift. We hope that our studies will serve as a basis for data annotations as large language models are increasingly applied to new tasks. Our code is available at this https URL.

 

자연어 작업에 대한 많은 최근의 접근 방식은 주목할 만한 것을 기반으로 한다. 대규모 언어 모델의 능력 대규모 언어 모델이 수행할 수 있습니다. 몇 가지 과제에서 새로운 과제를 배우는 학습 과정 내 학습 매개 변수 업데이트 없이 시연합니다. 이 작업은 다음을 조사합니다. 새로운 데이터 세트 생성을 위한 내부 학습의 시사점 자연어 작업 최근의 문맥 내 학습 방법에서 벗어나, 우리는 주석 효율적인 2단계 프레임워크를 공식화: 선택적 주석 레이블이 지정되지 않은 데이터에서 미리 주석을 달 수 있는 예제 풀을 선택합니다. 주석이 달린 작업 예제를 검색하는 신속한 검색이 뒤따릅니다. 시험 시간에 당구를 치다 이 틀을 바탕으로 비감독을 제안합니다 그래프 기반 선택적 주석 방법, voke-k, 다양한 선택, 주석을 달 수 있는 대표적인 예입니다. 10개의 데이터 세트에 대한 광범위한 실험 (상식 분류, 상식 추론, 대화 및 텍스트/코드) 생성) 우리의 선택적 주석 방법이 작업을 개선한다는 것을 입증한다. 큰 차이의 업적 평균적으로 vote-k는 12.9%/11.4%를 달성한다. 무작위로 비교한 주석 예산 18/100에 따른 상대적 이득 주석을 달 예제를 선택합니다. 감독되는 최첨단 제품과 비교 미세 조정 접근 방식, 10-100배 적은 비용으로 유사한 성능을 제공합니다. 10개의 작업에 걸쳐 주석 비용이 발생합니다. 우리는 우리의 효과를 더 분석한다. 다양한 시나리오의 프레임워크: 다양한 크기의 언어 모델, 대안 선택적 주석 방법 및 테스트 데이터 도메인이 있는 경우 우리는 우리의 연구가 데이터 주석의 기초가 되기를 바란다. 대형 언어 모델은 새로운 작업에 점점 더 많이 적용되고 있다. 우리의 코드는 이 https URL에서 사용할 수 있습니다. 

 

 

External Knowledge Selection with Weighted Negative Sampling in Knowledge-grounded Task-oriented Dialogue Systems

 

Constructing a robust dialogue system on spoken conversations bring more challenge than written conversation. In this respect, DSTC10-Track2-Task2 is proposed, which aims to build a task-oriented dialogue (TOD) system incorporating unstructured external knowledge on a spoken conversation, extending DSTC9-Track1. This paper introduces our system containing four advanced methods: data construction, weighted negative sampling, post-training, and style transfer. We first automatically construct a large training data because DSTC10-Track2 does not release the official training set. For the knowledge selection task, we propose weighted negative sampling to train the model more fine-grained manner. We also employ post-training and style transfer for the response generation task to generate an appropriate response with a similar style to the target response. In the experiment, we investigate the effect of weighted negative sampling, post-training, and style transfer. Our model ranked 7 out of 16 teams in the objective evaluation and 6 in human evaluation.

 

음성 대화에 강력한 대화 시스템을 구축하는 것은 더 많은 것을 가져다 줍니다. 서면에 의한 대화보다 도전하다 이와 관련하여 DSTC10-Track2-Task2는 과제 지향 대화(TOD) 시스템 구축을 목표로 한 제안 음성 대화에 구조화되지 않은 외부 지식을 통합합니다. DSTC9-Track1을 확장합니다. 이 논문은 4가지로 구성된 시스템을 소개한다. 고급 방법: 데이터 구성, 가중 음성 샘플링, 교육 후 그리고 스타일 전송. 먼저 대규모 교육 데이터를 자동으로 구성합니다. DSTC10-Track2는 공식 훈련 세트를 공개하지 않기 때문이다. 를 위해 지식 선택 과제, 우리는 훈련시키기 위해 가중 음성 샘플링을 제안한다. 좀 더 세밀한 태도를 보이다. 우리는 또한 사후 훈련과 스타일 이전을 채용한다. 응답 생성 작업이 적절한 응답을 생성할 수 있도록 하기 위해 목표 반응과 유사한 스타일입니다. 실험에서, 우리는 그것을 조사한다. 가중 음성 샘플링, 교육 후 및 스타일 전송의 효과. 우리들의 모델은 객관적인 평가에서 16개 팀 중 7위를 차지했고 인간에서는 6위를 차지했다. 평가하기.