[2023-05-29] 오늘의 자연어처리

Give Me More Details: Improving Fact-Checking with Latent Retrieval

 

Evidence plays a crucial role in automated fact-checking. When verifying real-world claims, existing fact-checking systems either assume the evidence sentences are given or use the search snippets returned by the search engine. Such methods ignore the challenges of collecting evidence and may not provide sufficient information to verify real-world claims. Aiming at building a better fact-checking system, we propose to incorporate full text from source documents as evidence and introduce two enriched datasets. The first one is a multilingual dataset, while the second one is monolingual (English). We further develop a latent variable model to jointly extract evidence sentences from documents and perform claim verification. Experiments indicate that including source documents can provide sufficient contextual clues even when gold evidence sentences are not annotated. The proposed system is able to achieve significant improvements upon best-reported models under different settings.

 

증거는 자동화된 사실 확인에서 중요한 역할을 한다. 확인할 때 실제 주장, 기존 사실 확인 시스템은 증거를 가정한다 문장이 제공되거나 검색 엔진에서 반환된 검색 스니펫을 사용합니다. 이러한 방법은 증거 수집의 어려움을 무시하고 제공하지 않을 수 있다 실제 주장을 확인할 수 있는 충분한 정보. 더 나은 건물을 짓는 것을 목표로 한다 사실 확인 시스템, 우리는 소스 문서의 전체 텍스트를 통합할 것을 제안한다 증거로 두 개의 풍부한 데이터 세트를 소개합니다. 첫 번째는 다국어 데이터 세트, 두 번째 데이터 세트는 단일 언어(영어)이다. 우리는 더 나아간다 증거 문장을 공동으로 추출하기 위한 잠재 변수 모델을 개발하다 문서화하고 클레임 확인을 수행합니다. 실험에 따르면 다음을 포함한다 출처 문서는 금일 경우에도 충분한 맥락적 단서를 제공할 수 있다 증거 문장에는 주석이 달리지 않습니다. 제안된 시스템은 달성할 수 있다 다양한 설정에서 최적의 모델에 대한 상당한 개선. 

 

 

Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis

 

Multimodal relation extraction (MRE) is the task of identifying the semantic relationships between two entities based on the context of the sentence image pair. Existing retrieval-augmented approaches mainly focused on modeling the retrieved textual knowledge, but this may not be able to accurately identify complex relations. To improve the prediction, this research proposes to retrieve textual and visual evidence based on the object, sentence, and whole image. We further develop a novel approach to synthesize the object-level, image-level, and sentence-level information for better reasoning between the same and different modalities. Extensive experiments and analyses show that the proposed method is able to effectively select and compare evidence across modalities and significantly outperforms state-of-the-art models.

 

멀티모달 관계 추출(MRE)은 의미론을 식별하는 작업이다 문장 이미지의 맥락에 기초한 두 실체 사이의 관계 쌍. 기존의 검색 강화 접근 방식은 주로 모델링에 중점을 두었다 텍스트 지식을 검색했지만, 이것은 정확하게 식별할 수 없을지도 모른다 복잡한 관계. 예측을 개선하기 위해, 이 연구는 다음과 같이 제안한다 목적어, 문장 및 전체에 근거하여 텍스트 및 시각적 증거를 검색하다 이미지. 우리는 객체 레벨을 합성하는 새로운 접근법을 추가로 개발한다, 이미지 수준, 그리고 문장 수준의 정보를 통해 더 나은 추론을 할 수 있다 동일한 양식과 다른 양식. 광범위한 실험과 분석은 다음을 보여준다 제안된 방법은 효과적으로 증거를 선택하고 비교할 수 있다 양식과 성능이 최첨단 모델을 크게 능가합니다. 

 

 

Revisiting Non-Autoregressive Translation at Scale

 

In real-world systems, scaling has been critical for improving the translation quality in autoregressive translation (AT), which however has not been well studied for non-autoregressive translation (NAT). In this work, we bridge the gap by systematically studying the impact of scaling on NAT behaviors. Extensive experiments on six WMT benchmarks over two advanced NAT models show that scaling can alleviate the commonly-cited weaknesses of NAT models, resulting in better translation performance. To reduce the side-effect of scaling on decoding speed, we empirically investigate the impact of NAT encoder and decoder on the translation performance. Experimental results on the large-scale WMT20 En-De show that the asymmetric architecture (e.g. bigger encoder and smaller decoder) can achieve comparable performance with the scaling model, while maintaining the superiority of decoding speed with standard NAT models. To this end, we establish a new benchmark by validating scaled NAT models on the scaled dataset, which can be regarded as a strong baseline for future works. We release code, models and system outputs at this https URL.

 

실제 시스템에서 확장은 가상화 환경을 개선하는 데 매우 중요했습니다 자기 회귀 번역(AT)에서의 번역 품질, 그러나 그렇지 않다 비자동 회귀 변환(NAT)에 대해 잘 연구되었다. 이 작품에서 우리는 확장이 NAT에 미치는 영향을 체계적으로 연구하여 격차 해소 행동. 2개의 고급 NAT을 통해 6개의 WMT 벤치마크에 대한 광범위한 실험 모델은 확장이 NAT의 일반적인 약점을 완화할 수 있음을 보여줍니다 더 나은 번역 성능을 제공하는 모델입니다. 부작용을 줄이기 위해 디코딩 속도에 대한 확장의 경우 NAT의 영향을 경험적으로 조사합니다 번역 성능에 대한 인코더 및 디코더. 에 대한 실험 결과 대규모 WMT20 En-De는 비대칭 아키텍처(예: 더 큰 것)를 보여줍니다 인코더 및 더 작은 디코더)로 유사한 성능을 달성할 수 있습니다 스케일링 모델을 사용하여 디코딩 속도의 우수성을 유지합니다 표준 NAT 모델. 이를 위해, 우리는 검증을 통해 새로운 벤치마크를 확립한다 확장된 데이터셋을 기반으로 확장된 NAT 모델은 강력한 솔루션이라고 할 수 있습니다 향후 작업을 위한 기준선. 코드, 모델 및 시스템 출력은 다음에서 공개합니다 이 https URL.