[2023-01-09] 오늘의 자연어처리

HIT-SCIR at MMNLU-22: Consistency Regularization for Multilingual Spoken Language Understanding

 

Multilingual spoken language understanding (SLU) consists of two sub-tasks, namely intent detection and slot filling. To improve the performance of these two sub-tasks, we propose to use consistency regularization based on a hybrid data augmentation strategy. The consistency regularization enforces the predicted distributions for an example and its semantically equivalent augmentation to be consistent. We conduct experiments on the MASSIVE dataset under both full-dataset and zero-shot settings. Experimental results demonstrate that our proposed method improves the performance on both intent detection and slot filling tasks. Our system\footnote{The code will be available at \url{this https URL}.} ranked 1st in the MMNLU-22 competition under the full-dataset setting.

 

다국어 음성 언어 이해(SLU)는 두 가지 하위 작업으로 구성된다, 즉, 의도 감지 및 슬롯 채우기입니다. 이들의 성능을 개선하기 위해 두 개의 하위 모델, 우리는 하이브리드를 기반으로 한 일관성 정규화를 사용할 것을 제안한다 데이터 확장 전략. 일관성 정규화는 다음을 수행합니다 예제에 대한 예측 분포 및 의미론적으로 동등한 분포 일관성을 유지하기 위해 보강합니다. 우리는 대규모 데이터 세트에 대한 실험을 수행한다 풀샷 및 제로샷 설정 모두에서 사용할 수 있습니다. 실험 결과 우리가 제안한 방법이 두 가지 의도 모두에서 성능을 향상시킨다는 것을 보여준다 검색 및 슬롯 채우기 작업을 수행합니다. 우리의 시스템\각주{암호는 다음과 같습니다 \url{이 https URL}에서 사용할 수 있습니다. 랭크 MMNLU-22 경기에서 풀 데이터 세트 설정으로 1위를 차지했습니다. 

 

 

Anaphora Resolution in Dialogue: System Description (CODI-CRAC 2022 Shared Task)

 

We describe three models submitted for the CODI-CRAC 2022 shared task. To perform identity anaphora resolution, we test several combinations of the incremental clustering approach based on the Workspace Coreference System (WCS) with other coreference models. The best result is achieved by adding the ''cluster merging'' version of the coref-hoi model, which brings up to 10.33% improvement 1 over vanilla WCS clustering. Discourse deixis resolution is implemented as multi-task learning: we combine the learning objective of corefhoi with anaphor type classification. We adapt the higher-order resolution model introduced in Joshi et al. (2019) for bridging resolution given gold mentions and anaphors.

 

우리는 CODI-CRAC 2022 공유 작업을 위해 제출된 세 가지 모델을 설명한다. 로. 신원 아나포라 해결을 수행하고, 우리는 몇 가지 조합의 테스트를 한다 워크스페이스 상호 참조 시스템(WCS)에 기반한 증분 클러스터링 접근 방식 다른 상호 참조 모델과 함께. 다음을 추가하여 최상의 결과를 얻을 수 있습니다 최대 10.33%를 가져오는 코어 f-hoi 모델의 ''클러스터 병합'' 버전 바닐라 WCS 클러스터링보다 향상된 1. 디스코텍의 해결책은 멀티태스킹 학습으로 구현: 우리는 학습 목표를 결합한다 아나포 유형 분류가 있는 코어포이. 우리는 고차 해상도를 조정한다 Gold가 주어진 브리지 해상도를 위해 Joshi et al. (2019)에 도입된 모델 언급과 격언. 

 

 

MedKLIP: Medical Knowledge Enhanced Language-Image Pre-Training

 

In this paper, we consider the problem of enhancing self-supervised visual-language pre-training (VLP) with medical-specific knowledge, by exploiting the paired image-text reports from the radiological daily practice. In particular, we make the following contributions: First, unlike existing works that directly process the raw reports, we adopt a novel report filter to extract the medical entities, avoiding unnecessary complexity from language grammar and enhancing the supervision signals; Second, we propose a novel entity embedding module by querying an external knowledge description base, to exploit the rich context of additional information that the medical domain affords, and implicitly build relationships between entities in the language embedding space; Third, we propose a novel Transformer-based fusion model for spatially aligning the entity description with visual signals at the image patch level only with self-supervised learning, thus enabling the ability for spatial grounding; Fourth, we conduct thorough experiments to validate the effectiveness of our proposed architecture, and benchmark on numerous public benchmarks e.g., ChestX-ray14, RSNA Pneumonia, SIIM-ACR Pneumothorax, COVIDx CXR-2, COVID Rural, and EdemaSeverity. In both zero-shot and fine-tuning settings, our model has demonstrated strong performance compared with the former methods on disease classification and grounding.

 

본 논문에서는 자체 감독을 강화하는 문제를 고려한다 의료 관련 지식을 갖춘 시각 언어 사전 훈련(VLP) 방사선 일별 실습에서 쌍으로 구성된 이미지 텍스트 보고서를 활용합니다. 특히, 우리는 다음과 같은 기여를 합니다: 첫째, 기존과 달리 원시 보고서를 직접 처리하는 작업, 우리는 새로운 보고서 필터를 채택한다 언어에서 불필요한 복잡성을 피하여 의료 실체를 추출한다 문법과 감독 신호의 강화; 둘째, 우리는 소설을 제안한다 외부 지식 설명 기반을 쿼리하여 엔티티 임베딩 모듈 의학 영역의 부가 정보의 풍부한 맥락을 이용하다 언어로 실체 간의 관계를 암묵적으로 구축한다 내장 공간; 셋째, 우리는 다음을 위한 새로운 트랜스포머 기반 융합 모델을 제안한다 이미지의 시각적 신호에 도면요소 설명을 공간적으로 정렬 패치 레벨은 자기 지도 학습만으로 가능하며, 따라서 다음과 같은 능력을 가능하게 한다 공간 접지; 넷째, 우리는 검증을 위한 철저한 실험을 수행한다 우리가 제안한 아키텍처의 효과와 수많은 대중에 대한 벤치마크 벤치마크(예: 흉부 X-ray 14, RSNA 폐렴, SIIM-ACR 폐렴, COVIDx) CXR-2, COVID Rural, Edema Severity. 제로샷 및 미세 조정 모두에서 설정, 우리 모델은 강력한 성능을 입증했다 질병 분류 및 근거에 대한 이전 방법.