[2023-05-04] 오늘의 자연어처리

A Study on the Integration of Pipeline and E2E SLU systems for Spoken Semantic Parsing toward STOP Quality Challenge

 

Recently there have been efforts to introduce new benchmark tasks for spoken language understanding (SLU), like semantic parsing. In this paper, we describe our proposed spoken semantic parsing system for the quality track (Track 1) in Spoken Language Understanding Grand Challenge which is part of ICASSP Signal Processing Grand Challenge 2023. We experiment with both end-to-end and pipeline systems for this task. Strong automatic speech recognition (ASR) models like Whisper and pretrained Language models (LM) like BART are utilized inside our SLU framework to boost performance. We also investigate the output level combination of various models to get an exact match accuracy of 80.8, which won the 1st place at the challenge.

 

최근에는 말하기를 위한 새로운 벤치마크 과제를 도입하려는 노력이 있었다 의미 구문 분석과 같은 언어 이해(SLU). 이 논문에서 우리는 다음과 같이 기술한다 품질 트랙(트랙 1)을 위해 제안된 음성 의미 구문 분석 시스템 ICASSP 신호의 일부인 음성 언어 이해 그랜드 챌린지 그랜드 챌린지 2023을 처리하고 있습니다. 우리는 엔드 투 엔드와 이 작업을 위한 파이프라인 시스템. 강력한 자동 음성 인식(ASR) Whisper와 같은 모델과 BART와 같은 사전 훈련된 언어 모델(LM)이 사용됩니다 성능 향상을 위한 SLU 프레임워크 내부. 또한 출력을 조사합니다 다양한 모델의 레벨 조합을 통해 80.8의 정확한 일치 정확도를 얻을 수 있습니다, 그 도전에서 1등을 한. 

 

 

Type-enhanced Ensemble Triple Representation via Triple-aware Attention for Cross-lingual Entity Alignment

 

Entity alignment(EA) is a crucial task for integrating cross-lingual and cross-domain knowledge graphs(KGs), which aims to discover entities referring to the same real-world object from different KGs. Most existing methods generate aligning entity representation by mining the relevance of triple elements via embedding-based methods, paying little attention to triple indivisibility and entity role diversity. In this paper, a novel framework named TTEA -- Type-enhanced Ensemble Triple Representation via Triple-aware Attention for Cross-lingual Entity Alignment is proposed to overcome the above issues considering ensemble triple specificity and entity role features. Specifically, the ensemble triple representation is derived by regarding relation as information carrier between semantic space and type space, and hence the noise influence during spatial transformation and information propagation can be smoothly controlled via specificity-aware triple attention. Moreover, our framework uses triple-ware entity enhancement to model the role diversity of triple elements. Extensive experiments on three real-world cross-lingual datasets demonstrate that our framework outperforms state-of-the-art methods.

 

엔티티 정렬(EA)은 언어 간 통합을 통합하기 위한 중요한 작업입니다 교차 도메인 지식 그래프(KG)는 참조하는 엔티티를 발견하는 것을 목표로 한다 서로 다른 KG의 동일한 실제 물체에. 대부분의 기존 방법 트리플의 관련성을 마이닝하여 정렬 엔티티 표현을 생성합니다 임베딩 기반 메소드를 통한 요소, 트리플에 거의 주의를 기울이지 않음 불가분성 및 개체 역할 다양성. 이 논문에서, 새로운 틀은 TTEA라는 이름의 -- 트리플 인식을 통한 유형 향상 앙상블 트리플 표현 위의 사항을 극복하기 위해 다국어 엔티티 정렬에 대한 주의가 제안됩니다 앙상블 트리플 특수성 및 엔티티 역할 특성을 고려한 문제. 구체적으로, 앙상블 트리플 표현은 다음과 같이 도출된다 의미 공간과 형식 공간 사이의 정보 전달자로서의 관계 따라서 공간 변환 및 정보 중 소음 영향 전파는 특이성 인식 삼중 주의를 통해 원활하게 제어될 수 있다. 또한, 우리의 프레임워크는 역할을 모델링하기 위해 트리플웨어 엔티티 향상을 사용한다 삼중 원소의 다양성. 세 가지 실제 세계에 대한 광범위한 실험 언어 간 데이터 세트는 우리의 프레임워크가 성능을 능가한다는 것을 보여준다 최첨단의 방법. 

 

 

The Benefits of Bad Advice: Autocontrastive Decoding across Model Layers

 

Applying language models to natural language processing tasks typically relies on the representations in the final model layer, as intermediate hidden layer representations are presumed to be less informative. In this work, we argue that due to the gradual improvement across model layers, additional information can be gleaned from the contrast between higher and lower layers during inference. Specifically, in choosing between the probable next token predictions of a generative model, the predictions of lower layers can be used to highlight which candidates are best avoided. We propose a novel approach that utilizes the contrast between layers to improve text generation outputs, and show that it mitigates degenerative behaviors of the model in open-ended generation, significantly improving the quality of generated texts. Furthermore, our results indicate that contrasting between model layers at inference time can yield substantial benefits to certain aspects of general language model capabilities, more effectively extracting knowledge during inference from a given set of model parameters.

 

일반적으로 자연어 처리 태스크에 언어 모델 적용 중간 숨김으로 최종 모델 레이어의 표현에 의존합니다 계층 표현은 덜 유익한 것으로 추정된다. 이 작품에서 우리는 모델 레이어 전체에 걸쳐 점진적인 개선으로 인해 추가적인 상위 계층과 하위 계층 간의 대조를 통해 정보를 수집할 수 있습니다 추론 중에. 특히, 가능한 다음 토큰 중에서 선택할 때 생성 모델의 예측, 하위 계층의 예측을 사용할 수 있습니다 어떤 후보를 피하는 것이 가장 좋은지 강조하기 위해. 우리는 새로운 접근법을 제안한다 레이어 간의 대비를 활용하여 텍스트 생성 출력을 개선합니다, 그리고 그것이 오픈 엔드에서 모델의 퇴행적 행동을 완화한다는 것을 보여준다 생성, 생성된 텍스트의 품질을 크게 향상시킵니다. 또한, 우리의 결과는 모델 레이어 간의 대조를 나타낸다 추론 시간은 일반의 특정 측면에 상당한 이익을 줄 수 있다 언어 모델 기능, 보다 효과적으로 지식 추출 주어진 모델 매개변수 집합에서 추론.