[2023-01-27] 오늘의 자연어처리

One Model for All Domains: Collaborative Domain-Prefix Tuning for Cross-Domain NER

 

Cross-domain NER is a challenging task to address the low-resource problem in practical scenarios. Previous typical solutions mainly obtain a NER model by pre-trained language models (PLMs) with data from a rich-resource domain and adapt it to the target domain. Owing to the mismatch issue among entity types in different domains, previous approaches normally tune all parameters of PLMs, ending up with an entirely new NER model for each domain. Moreover, current models only focus on leveraging knowledge in one general source domain while failing to successfully transfer knowledge from multiple sources to the target. To address these issues, we introduce Collaborative Domain-Prefix Tuning for cross-domain NER (CP-NER) based on text-to-text generative PLMs. Specifically, we present text-to-text generation grounding domain-related instructors to transfer knowledge to new domain NER tasks without structural modifications. We utilize frozen PLMs and conduct collaborative domain-prefix tuning to stimulate the potential of PLMs to handle NER tasks across various domains. Experimental results on the Cross-NER benchmark show that the proposed approach has flexible transfer ability and performs better on both one-source and multiple-source cross-domain NER tasks. Codes will be available in this https URL.

 

교차 도메인 NER는 다음과 같은 낮은 리소스 문제를 해결하기 위한 어려운 작업입니다 현실적인 시나리오. 이전의 전형적인 솔루션은 주로 다음과 같은 NER 모델을 얻는다 풍부한 자원 도메인의 데이터를 포함한 사전 훈련된 언어 모델(PLM) 및 목표 도메인에 맞게 조정합니다. 엔티티 유형 간 불일치 문제로 인해 다른 도메인에서, 이전 접근법은 일반적으로 PLM의 모든 매개 변수를 조정한다, 각 도메인에 대해 완전히 새로운 NER 모델을 제공합니다. 게다가, 현재 모델은 하나의 일반적인 소스 도메인에서 지식을 활용하는 데만 초점을 맞춥니다 여러 소스에서 대상으로 지식을 성공적으로 전송하지 못했습니다. 이러한 문제를 해결하기 위해 다음에 대한 협업 도메인 접두사 조정을 도입합니다 텍스트 대 텍스트 생성 PLM에 기반한 교차 도메인 NER(CP-NER). 구체적으로, 우리는 텍스트 대 텍스트 생성 접지 도메인 관련 강사를 제시한다 구조 수정 없이 새로운 도메인 NER 작업으로 지식을 이전한다. 우리가 동결된 PLM을 활용하고 협업 도메인 접두사 조정을 수행하여 자극합니다 다양한 도메인에 걸쳐 NER 작업을 처리할 수 있는 PLM의 잠재력. 실험적 Cross-NER 벤치마크에 대한 결과는 제안된 접근 방식이 유연하다는 것을 보여준다 전송 능력 및 단일 소스와 다중 소스 모두에서 더 나은 성능을 제공합니다 교차 도메인 NER 태스크. 코드는 에서 사용할 수 있습니다 이 https URL. 

 

 

Pre-computed memory or on-the-fly encoding? A hybrid approach to retrieval augmentation makes the most of your compute

 

Retrieval-augmented language models such as Fusion-in-Decoder are powerful, setting the state of the art on a variety of knowledge-intensive tasks. However, they are also expensive, due to the need to encode a large number of retrieved passages. Some work avoids this cost by pre-encoding a text corpus into a memory and retrieving dense representations directly. However, pre-encoding memory incurs a severe quality penalty as the memory representations are not conditioned on the current input. We propose LUMEN, a hybrid between these two extremes, pre-computing the majority of the retrieval representation and completing the encoding on the fly using a live encoder that is conditioned on the question and fine-tuned for the task. We show that LUMEN significantly outperforms pure memory on multiple question-answering tasks while being much cheaper than FiD, and outperforms both for any given compute budget. Moreover, the advantage of LUMEN over FiD increases with model size.

 

Fusion-in-Decoder와 같은 검색 증강 언어 모델은 강력하다, 다양한 지식 집약적인 작업에 최첨단 기술을 적용합니다. 그러나, 그것들은 또한 많은 수를 인코딩해야 하기 때문에 비싸다 검색된 구절. 일부 작업은 텍스트 말뭉치를 사전 인코딩하여 이러한 비용을 피한다 메모리에 저장하고 조밀한 표현을 직접 검색합니다. 하지만, 미리 저장된 메모리는 메모리로서 심각한 품질 저하를 초래한다 표현은 현재 입력에서 조건화되지 않았습니다. 우리는 LUMEN, a를 제안한다 이 두 극단 사이의 교잡, 검색의 대부분을 사전에 파악합니다 표현 및 라이브 인코더를 사용한 즉석 인코딩 완료 질문에 따라 조건이 지정되고 작업에 맞게 세부적으로 조정됩니다. 우리는 루멘을 보여준다 여러 문제 해결 작업에서 순수 메모리를 크게 능가합니다 FiD보다 훨씬 저렴하며 주어진 컴퓨팅에 대해 두 가지 모두를 능가합니다 게다가, FiD보다 LUMEN의 장점은 모델 크기에 따라 증가한다. 

 

 

Weakly Supervised Headline Dependency Parsing

 

English news headlines form a register with unique syntactic properties that have been documented in linguistics literature since the 1930s. However, headlines have received surprisingly little attention from the NLP syntactic parsing community. We aim to bridge this gap by providing the first news headline corpus of Universal Dependencies annotated syntactic dependency trees, which enables us to evaluate existing state-of-the-art dependency parsers on news headlines. To improve English news headline parsing accuracies, we develop a projection method to bootstrap silver training data from unlabeled news headline-article lead sentence pairs. Models trained on silver headline parses demonstrate significant improvements in performance over models trained solely on gold-annotated long-form texts. Ultimately, we find that, although projected silver training data improves parser performance across different news outlets, the improvement is moderated by constructions idiosyncratic to outlet.

 

영국 뉴스 헤드라인은 독특한 통사적 특성을 가진 레지스터를 형성한다 1930년대부터 언어학 문헌에 기록되어 왔다. 하지만, 헤드라인은 놀랍게도 NLP 구문으로부터 거의 관심을 받지 못했다 구문 분석 커뮤니티. 우리는 첫 번째 뉴스를 제공함으로써 이 격차를 줄이는 것을 목표로 한다 범용 종속성 주석이 달린 구문 종속성 트리의 헤드라인 말뭉치, 이를 통해 기존의 최신 종속성 파서를 평가할 수 있습니다 뉴스의 표제. 영어 뉴스 헤드라인 구문 분석 정확도를 향상시키기 위해, 우리는 개발한다 레이블이 없는 뉴스에서 실버 트레이닝 데이터를 부트스트랩하는 투영 방법 헤드라인과 기사의 리드 문장 쌍. 실버 헤드라인 구문 분석에 대한 교육을 받은 모델 단독으로 훈련된 모델에 비해 상당한 성능 향상을 보여준다 금으로 장식된 장문본에 대해서요. 궁극적으로, 우리는 그것을 발견한다, 비록 계획되었지만 실버 교육 데이터는 다양한 뉴스 매체에서 파서 성능을 향상시킵니다, 개선은 아웃렛 특유의 구조에 의해 조정된다.