[2022-10-23] 오늘의 자연어처리

Improving Chinese Spelling Check by Character Pronunciation Prediction: The Effects of Adaptivity and Granularity

 

Chinese spelling check (CSC) is a fundamental NLP task that detects and corrects spelling errors in Chinese texts. As most of these spelling errors are caused by phonetic similarity, effectively modeling the pronunciation of Chinese characters is a key factor for CSC. In this paper, we consider introducing an auxiliary task of Chinese pronunciation prediction (CPP) to improve CSC, and, for the first time, systematically discuss the adaptivity and granularity of this auxiliary task. We propose SCOPE which builds on top of a shared encoder two parallel decoders, one for the primary CSC task and the other for a fine-grained auxiliary CPP task, with a novel adaptive weighting scheme to balance the two tasks. In addition, we design a delicate iterative correction strategy for further improvements during inference. Empirical evaluation shows that SCOPE achieves new state-of-the-art on three CSC benchmarks, demonstrating the effectiveness and superiority of the auxiliary CPP task. Comprehensive ablation studies further verify the positive effects of adaptivity and granularity of the task. Code and data used in this paper are publicly available at this https URL.

 

중국어 철자 검사(CSC)는 감지하고 감지하는 기본적인 NLP 작업입니다. 중국어 텍스트의 철자 오류를 수정합니다. 이러한 철자 오류의 대부분은 발음의 유사성에 의해 야기되며, 효과적으로 발음을 모델링한다. 한자는 CSC의 핵심 요소입니다. 이 논문에서, 우리는 다음을 고려한다. 중국어 발음 예측(CPP)의 보조 과제를 도입하다 CSC를 개선하고, 처음으로 적응성에 대해 체계적으로 논의한다. 이 보조 작업의 세분화. 우리는 위에 빌드되는 SCAPE를 제안한다. 공유 인코더 2개의 병렬 디코더, 하나는 기본 CSC 작업 및 기타 새로운 적응 가중치가 있는 세분화된 보조 CPP 작업의 경우 두 일의 균형을 맞추려고 계획하다 게다가, 우리는 섬세한 반복을 설계한다. 추론 중 추가 개선을 위한 수정 전략. 경험적 평가는 SCOPE가 3개의 CSC에서 새로운 최첨단 기술을 달성한다는 것을 보여준다. 벤치마크, 보조 장치의 효과 및 우수성 입증 CPP 작업. 포괄적인 절제 연구는 긍정적인 효과를 추가로 검증한다. 작업의 적응성과 세분성. 본 논문에서 사용된 코드와 데이터는 이 https URL에서 공개적으로 사용할 수 있습니다. 

 

 

Counterfactual Recipe Generation: Exploring Compositional Generalization in a Realistic Scenario

 

People can acquire knowledge in an unsupervised manner by reading, and compose the knowledge to make novel combinations. In this paper, we investigate whether pretrained language models can perform compositional generalization in a realistic setting: recipe generation. We design the counterfactual recipe generation task, which asks models to modify a base recipe according to the change of an ingredient. This task requires compositional generalization at two levels: the surface level of incorporating the new ingredient into the base recipe, and the deeper level of adjusting actions related to the changing ingredient. We collect a large-scale recipe dataset in Chinese for models to learn culinary knowledge, and a subset of action-level fine-grained annotations for evaluation. We finetune pretrained language models on the recipe corpus, and use unsupervised counterfactual generation methods to generate modified recipes. Results show that existing models have difficulties in modifying the ingredients while preserving the original text style, and often miss actions that need to be adjusted. Although pretrained language models can generate fluent recipe texts, they fail to truly learn and use the culinary knowledge in a compositional way. Code and data are available at this https URL.

 

사람들은 독서를 통해 감독되지 않은 방식으로 지식을 습득할 수 있다. 지식을 짜서 새로운 조합을 만들다 이 논문에서, 우리는 사전 훈련된 언어 모델이 구성 일반화를 수행할 수 있는지 여부 현실적인 환경: 레시피 생성. 우리는 반사실적인 레시피를 설계한다. 생성 작업, 모델에 따라 기본 레시피를 수정하도록 요청합니다. 성분의 변화 이 작업은 2에서 구성 일반화가 필요하다. 레벨: 베이스에 새로운 성분을 포함하는 표면 레벨 레시피 및 변경과 관련된 조정 작업의 더 깊은 수준 재료. 우리는 모델을 위해 중국어로 된 대규모 레시피 데이터 세트를 수집한다. 요리 지식과 행동 수준의 세밀한 주석의 하위 집합을 배운다. 평가를 위해 레시피 코퍼스에서 미리 훈련된 언어 모델을 미세 조정하고 그리고 수정 사항을 생성하기 위해 감독되지 않은 반사실적 생성 방법을 사용한다. 조리법 결과는 기존 모델이 수정에 어려움을 겪는다는 것을 보여준다. 원본 텍스트 스타일을 보존하는 동안 재료, 그리고 종종 동작을 놓친다. 그것은 조정되어야 한다. 사전 훈련된 언어 모델이 생성될 수 있지만 유창한 레시피 텍스트, 그들은 요리 지식을 진정으로 배우고 사용하는 데 실패한다. 작문법 코드 및 데이터는 다음 위치에서 사용할 수 있습니다. 이 https URL. 

 

 

Improving Chinese Spelling Check by Character Pronunciation Prediction: The Effects of Adaptivity and Granularity

 

Chinese spelling check (CSC) is a fundamental NLP task that detects and corrects spelling errors in Chinese texts. As most of these spelling errors are caused by phonetic similarity, effectively modeling the pronunciation of Chinese characters is a key factor for CSC. In this paper, we consider introducing an auxiliary task of Chinese pronunciation prediction (CPP) to improve CSC, and, for the first time, systematically discuss the adaptivity and granularity of this auxiliary task. We propose SCOPE which builds on top of a shared encoder two parallel decoders, one for the primary CSC task and the other for a fine-grained auxiliary CPP task, with a novel adaptive weighting scheme to balance the two tasks. In addition, we design a delicate iterative correction strategy for further improvements during inference. Empirical evaluation shows that SCOPE achieves new state-of-the-art on three CSC benchmarks, demonstrating the effectiveness and superiority of the auxiliary CPP task. Comprehensive ablation studies further verify the positive effects of adaptivity and granularity of the task. Code and data used in this paper are publicly available at this https URL.

 

중국어 철자 검사(CSC)는 감지하고 감지하는 기본적인 NLP 작업입니다. 중국어 텍스트의 철자 오류를 수정합니다. 이러한 철자 오류의 대부분은 발음의 유사성에 의해 야기되며, 효과적으로 발음을 모델링한다. 한자는 CSC의 핵심 요소입니다. 이 논문에서, 우리는 다음을 고려한다. 중국어 발음 예측(CPP)의 보조 과제를 도입하다 CSC를 개선하고, 처음으로 적응성에 대해 체계적으로 논의한다. 이 보조 작업의 세분화. 우리는 위에 빌드되는 SCAPE를 제안한다. 공유 인코더 2개의 병렬 디코더, 하나는 기본 CSC 작업 및 기타 새로운 적응 가중치가 있는 세분화된 보조 CPP 작업의 경우 두 일의 균형을 맞추려고 계획하다 게다가, 우리는 섬세한 반복을 설계한다. 추론 중 추가 개선을 위한 수정 전략. 경험적 평가는 SCOPE가 3개의 CSC에서 새로운 최첨단 기술을 달성한다는 것을 보여준다. 벤치마크, 보조 장치의 효과 및 우수성 입증 CPP 작업. 포괄적인 절제 연구는 긍정적인 효과를 추가로 검증한다. 작업의 적응성과 세분성. 본 논문에서 사용된 코드와 데이터는 이 https URL에서 공개적으로 사용할 수 있습니다.