[2023-02-10] 오늘의 자연어처리

Diagnosing and Rectifying Vision Models using Language

 

Recent multi-modal contrastive learning models have demonstrated the ability to learn an embedding space suitable for building strong vision classifiers, by leveraging the rich information in large-scale image-caption datasets. Our work highlights a distinct advantage of this multi-modal embedding space: the ability to diagnose vision classifiers through natural language. The traditional process of diagnosing model behaviors in deployment settings involves labor-intensive data acquisition and annotation. Our proposed method can discover high-error data slices, identify influential attributes and further rectify undesirable model behaviors, without requiring any visual data. Through a combination of theoretical explanation and empirical verification, we present conditions under which classifiers trained on embeddings from one modality can be equivalently applied to embeddings from another modality. On a range of image datasets with known error slices, we demonstrate that our method can effectively identify the error slices and influential attributes, and can further use language to rectify failure modes of the classifier.

 

최근의 다중 모드 대조 학습 모델은 그 능력을 입증했다 강력한 비전 분류기를 구축하는 데 적합한 임베딩 공간을 배우기 위해 대규모 이미지 변환 데이터 세트의 풍부한 정보를 활용한다. 우리의 일 이 다중 노드 임베딩 공간의 뚜렷한 이점을 강조합니다 자연어를 통해 시각 분류기를 진단하는 능력. 그 배포 설정에서 모델 동작을 진단하는 기존 프로세스 노동 집약적인 데이터 수집 및 주석이 포함됩니다. 우리가 제안한 방법 오류가 높은 데이터 조각을 검색하고 영향력 있는 속성을 식별하며 시각적 데이터를 요구하지 않고 바람직하지 않은 모델 동작을 추가로 수정합니다. 이론적 설명과 경험적 검증의 결합을 통해 우리는 하나의 임베딩에 대해 훈련된 분류기의 조건을 제시한다 모달리티는 다른 모달리티의 임베딩에 동등하게 적용될 수 있다. 에서 알려진 오류 조각이 있는 이미지 데이터 세트 범위, 우리는 우리의 방법을 보여준다 오류 슬라이스 및 영향력 있는 속성을 효과적으로 식별할 수 있으며 추가로 언어를 사용하여 분류기의 고장 모드를 수정합니다. 

 

 

Leveraging Summary Guidance on Medical Report Summarization

 

This study presents three deidentified large medical text datasets, named DISCHARGE, ECHO and RADIOLOGY, which contain 50K, 16K and 378K pairs of report and summary that are derived from MIMIC-III, respectively. We implement convincing baselines of automated abstractive summarization on the proposed datasets with pre-trained encoder-decoder language models, including BERT2BERT, T5-large and BART. Further, based on the BART model, we leverage the sampled summaries from the train set as prior knowledge guidance, for encoding additional contextual representations of the guidance with the encoder and enhancing the decoding representations in the decoder. The experimental results confirm the improvement of ROUGE scores and BERTScore made by the proposed method, outperforming the larger model T5-large.

 

이 연구는 다음과 같은 세 개의 식별된 대규모 의료 텍스트 데이터 세트를 제시한다 50K, 16K 및 378K 쌍의 보고서를 포함하는 방전, 에코 및 방사선학 그리고 각각 MIMIC-III에서 파생된 요약. 우리는 구현한다 제안된 내용에 대한 자동화된 추상적 요약의 설득력 있는 기준선 BERT2BERT를 포함한 사전 훈련된 인코더-디코더 언어 모델이 있는 데이터 세트, T5-large와 BART. 또한 BART 모델을 기반으로 샘플링된 데이터를 활용합니다 부호화를 위한 사전 지식 지침으로 설정된 열차의 요약 인코더를 사용한 지침의 추가 상황별 표현 및 디코더에서 디코딩 표현을 향상시킵니다. 실험 결과는 제안된 ROUGE 점수와 BERTS 점수의 개선을 확인합니다 더 큰 모델인 T5-large를 능가하는 방법. 

 

 

COMBO: A Complete Benchmark for Open KG Canonicalization

 

Open knowledge graph (KG) consists of (subject, relation, object) triples extracted from millions of raw text. The subject and object noun phrases and the relation in open KG have severe redundancy and ambiguity and need to be canonicalized. Existing datasets for open KG canonicalization only provide gold entity-level canonicalization for noun phrases. In this paper, we present COMBO, a Complete Benchmark for Open KG canonicalization. Compared with existing datasets, we additionally provide gold canonicalization for relation phrases, gold ontology-level canonicalization for noun phrases, as well as source sentences from which triples are extracted. We also propose metrics for evaluating each type of canonicalization. On the COMBO dataset, we empirically compare previously proposed canonicalization methods as well as a few simple baseline methods based on pretrained language models. We find that properly encoding the phrases in a triple using pretrained language models results in better relation canonicalization and ontology-level canonicalization of the noun phrase. We release our dataset, baselines, and evaluation scripts at this https URL.

 

열린 지식 그래프(KG)는 (주어, 관계, 목적어) 세 가지로 구성됩니다 수백만 개의 원시 텍스트에서 추출했습니다. 주어와 목적어 명사구와 개방형 KG의 관계는 심각한 중복성과 모호성을 가지고 있으며 다음과 같은 것이 필요하다 규범화된. 개방형 KG 표준화를 위한 기존 데이터 세트는 골드만 제공한다 명사구에 대한 엔티티 수준 표준화. 이 논문에서 우리는 발표한다 Open KG 표준화를 위한 완전한 벤치마크인 COMBO. 에 대한 기존 데이터 세트, 우리는 관계에 대한 골드 표준화를 추가로 제공한다 구문, 명사 구문에 대한 골드 온톨로지 수준의 표준화 및 트리플을 추출하는 소스 문장. 우리는 또한 다음에 대한 측정 기준을 제안한다 표준화의 각 유형을 평가합니다. COMBO 데이터 세트에서 우리는 경험적으로 이전에 제안된 표준화 방법과 몇 가지 간단한 방법을 비교합니다 사전 훈련된 언어 모델에 기초한 기준 방법. 우리는 그것을 적절히 찾는다 사전 훈련된 언어 모델을 사용하여 3중으로 구문을 인코딩하는 것은 다음과 같다 더 나은 관계 표준화 및 온톨로지 수준의 표준화 명사구. 다음 사이트에서 데이터셋, 기준선 및 평가 스크립트를 릴리스합니다 이 https URL.