[2022-09-04] 오늘의 자연어처리

Unsupervised Simplification of Legal Texts

 

The processing of legal texts has been developing as an emerging field in natural language processing (NLP). Legal texts contain unique jargon and complex linguistic attributes in vocabulary, semantics, syntax, and morphology. Therefore, the development of text simplification (TS) methods specific to the legal domain is of paramount importance for facilitating comprehension of legal text by ordinary people and providing inputs to high-level models for mainstream legal NLP applications. While a recent study proposed a rule-based TS method for legal text, learning-based TS in the legal domain has not been considered previously. Here we introduce an unsupervised simplification method for legal texts (USLT). USLT performs domain-specific TS by replacing complex words and splitting long sentences. To this end, USLT detects complex words in a sentence, generates candidates via a masked-transformer model, and selects a candidate for substitution based on a rank score. Afterward, USLT recursively decomposes long sentences into a hierarchy of shorter core and context sentences while preserving semantic meaning. We demonstrate that USLT outperforms state-of-the-art domain-general TS methods in text simplicity while keeping the semantics intact.

 

법률 텍스트의 처리는 새로운 분야로 발전하고 있다. 자연어 처리(NLP) 법률문헌은 독특한 전문용어를 포함하고 있다. 어휘, 의미론, 구문 및 형태학의 복잡한 언어 속성 따라서, 텍스트 단순화(TS) 방법의 개발은 다음과 같다. 법률 영역은 법률의 이해를 촉진하는 데 가장 중요하다. 일반인에 의한 텍스트 및 고급 모델에 대한 입력 제공 주류 법률 NLP 애플리케이션. 최근의 한 연구는 규칙 기반에 대해 제안했다. 법률 텍스트에 대한 TS 방법, 법률 영역의 학습 기반 TS는 아직 수행되지 않았습니다. 이전에 고려된. 여기서 우리는 감독되지 않은 단순화 방법을 소개한다. 법적 텍스트(USLT)의 경우. USLT는 복합체를 대체하여 도메인별 TS 수행 단어와 긴 문장을 나누는 것 이를 위해, USLT는 복잡한 단어들을 감지한다. 문장, 마스킹된 모델(masked-reader model)을 통해 후보들을 생성하고, a를 선택한다. 순위 점수에 따라 대체 후보 그 후 USLT는 재귀적으로 긴 문장을 짧은 핵심과 문맥의 계층 구조로 분해한다. 의미적 의미를 보존하면서 문장들. 우리는 USLT를 입증한다. 텍스트 단순성에서 최첨단 도메인 일반 TS 방법을 능가하는 반면 의미론을 그대로 유지하는 것. 

 

 

SwiftPruner: Reinforced Evolutionary Pruning for Efficient Ad Relevance

 

Ad relevance modeling plays a critical role in online advertising systems including Microsoft Bing. To leverage powerful transformers like BERT in this low-latency setting, many existing approaches perform ad-side computations offline. While efficient, these approaches are unable to serve cold start ads, resulting in poor relevance predictions for such ads. This work aims to design a new, low-latency BERT via structured pruning to empower real-time online inference for cold start ads relevance on a CPU platform. Our challenge is that previous methods typically prune all layers of the transformer to a high, uniform sparsity, thereby producing models which cannot achieve satisfactory inference speed with an acceptable accuracy. In this paper, we propose SwiftPruner - an efficient framework that leverages evolution-based search to automatically find the best-performing layer-wise sparse BERT model under the desired latency constraint. Different from existing evolution algorithms that conduct random mutations, we propose a reinforced mutator with a latency-aware multi-objective reward to conduct better mutations for efficiently searching the large space of layer-wise sparse models. Extensive experiments demonstrate that our method consistently achieves higher ROC AUC and lower latency than the uniform sparse baseline and state-of-the-art search methods. Remarkably, under our latency requirement of 1900us on CPU, SwiftPruner achieves a 0.86% higher AUC than the state-of-the-art uniform sparse baseline for BERT-Mini on a large scale real-world dataset. Online A/B testing shows that our model also achieves a significant 11.7% cut in the ratio of defective cold start ads with satisfactory real-time serving latency.

 

광고 관련성 모델링은 온라인 광고 시스템에서 중요한 역할을 한다. 마이크로소프트 빙을 포함해서. 여기에 BERT와 같은 강력한 변압기를 활용하기 위해 대기 시간이 짧은 설정, 많은 기존 접근 방식이 애드사이드 계산을 수행합니다. 오프라인의 이러한 접근 방식은 효율적이지만 콜드 스타트 광고를 제공할 수 없습니다. 결과적으로 그러한 광고에 대한 관련성 예측이 좋지 않다. 이 작업은 디자인을 목표로 한다. 실시간 온라인 기능을 지원하는 구조화된 가지치기를 통해 지연 시간이 짧은 새로운 BERT CPU 플랫폼의 콜드 스타트 광고 관련성에 대한 추론. 우리의 도전은 이전 방법들은 전형적으로 변압기의 모든 층을 높은 층으로 가지치기한다. 균일한 희소성, 따라서 만족할 수 없는 모델을 생산한다. 허용 가능한 정확도로 추론 속도. 본 논문에서는 다음과 같은 기능을 제공하는 효율적인 프레임워크인 SwiftPruner를 제안한다. 계층별 최고의 성능을 자동으로 찾기 위한 진화 기반 검색 원하는 지연 시간 제약 조건 하에서 희소 BERT 모델. 기존과 다름 무작위 돌연변이를 수행하는 진화 알고리즘, 우리는 강화된 것을 제안한다. 더 나은 돌연변이를 수행하기 위한 대기 시간 인식 다중 응답 보상이 있는 돌연변이 계층별 희소 모델의 넓은 공간을 효율적으로 검색합니다. 광범위한 실험은 우리의 방법이 일관되게 더 높은 성과를 달성한다는 것을 보여준다. ROC AUC 및 균일한 희소 기준선 및 최첨단보다 낮은 대기 시간 검색 방법 놀랍게도, CPU에 1900us의 대기 시간이 요구됩니다. SwiftPruner는 최첨단 유니폼보다 0.86% 더 높은 AUC를 달성합니다. 대규모 실제 데이터 세트에서 BERT-Mini의 희소 기준. 온라인 A/B 테스트 결과 우리 모델도 이 비율에서 11.7%의 상당한 감소를 달성했습니다. 실시간 서비스 지연 시간이 만족스러운 결함이 있는 콜드 스타트 광고의. 

 

 

An Ion Exchange Mechanism Inspired Story Ending Generator for Different Characters

 

Story ending generation aims at generating reasonable endings for a given story context. Most existing studies in this area focus on generating coherent or diversified story endings, while they ignore that different characters may lead to different endings for a given story. In this paper, we propose a Character-oriented Story Ending Generator (CoSEG) to customize an ending for each character in a story. Specifically, we first propose a character modeling module to learn the personalities of characters from their descriptive experiences extracted from the story context. Then, inspired by the ion exchange mechanism in chemical reactions, we design a novel vector breaking/forming module to learn the intrinsic interactions between each character and the corresponding context through an analogical information exchange procedure. Finally, we leverage the attention mechanism to learn effective character-specific interactions and feed each interaction into a decoder to generate character-orient endings. Extensive experimental results and case studies demonstrate that CoSEG achieves significant improvements in the quality of generated endings compared with state-of-the-art methods, and it effectively customizes the endings for different characters.

 

스토리 엔딩 생성은 주어진 것에 대해 합리적인 엔딩을 생성하는 것을 목표로 합니다. 이야기의 맥락 이 분야의 대부분의 기존 연구는 일관성 있는 생성에 초점을 맞추고 있다. 또는 다양한 이야기의 결말을, 그들은 다른 등장인물들이 할 수 있다는 것을 무시한다. 어떤 이야기의 결말을 바꾸다 이 논문에서, 우리는 다음을 제안한다. CoSEG(캐릭터 지향 스토리 엔딩 생성기)를 사용하여 엔딩을 사용자 정의합니다. 이야기 속의 각 인물 구체적으로, 우리는 먼저 캐릭터 모델링을 제안한다. 설명에서 인물의 성격을 학습하기 위한 모듈 이야기의 맥락에서 추출된 경험들 그리고 이온에서 영감을 받아 화학 반응에서 교환 메커니즘, 우리는 새로운 벡터를 설계한다. 각 모듈 간의 고유한 상호 작용을 학습하기 위한 모듈 분리/형성 유사 정보를 통한 캐릭터 및 해당 컨텍스트 교환 절차 마지막으로, 우리는 주의 메커니즘을 활용하여 학습합니다. 효과적인 캐릭터별 상호 작용과 각 상호 작용을 a에 공급한다. 문자 지향 엔딩을 생성하는 디코더입니다. 광범위한 실험 결과 그리고 사례 연구는 CoSEG가 상당한 개선을 달성한다는 것을 보여준다. 최첨단 방법과 비교하여 생성된 엔딩의 품질, 그리고 그것. 다양한 캐릭터의 엔딩을 효과적으로 사용자 지정합니다.