[2023-04-11] 오늘의 자연어처리

From Retrieval to Generation: Efficient and Effective Entity Set Expansion

 

Entity Set Expansion (ESE) is a critical task aiming to expand entities of the target semantic class described by a small seed entity set. Most existing ESE methods are retrieval-based frameworks that need to extract the contextual features of entities and calculate the similarity between seed entities and candidate entities. To achieve the two purposes, they should iteratively traverse the corpus and the entity vocabulary provided in the datasets, resulting in poor efficiency and scalability. The experimental results indicate that the time consumed by the retrieval-based ESE methods increases linearly with entity vocabulary and corpus size. In this paper, we firstly propose a generative ESE framework, Generative Entity Set Expansion (GenExpan), which utilizes a generative pre-trained language model to accomplish ESE task. Specifically, a prefix tree is employed to guarantee the validity of entity generation, and automatically generated class names are adopted to guide the model to generate target entities. Moreover, we propose Knowledge Calibration and Generative Ranking to further bridge the gap between generic knowledge of the language model and the goal of ESE task. Experiments on publicly available datasets show that GenExpan is efficient and effective. For efficiency, expansion time consumed by GenExpan is independent of entity vocabulary and corpus size, and GenExpan achieves an average 600% speedup compared to strong baselines. For expansion performance, our framework outperforms previous state-of-the-art ESE methods.

 

엔티티 세트 확장(ESE)은 다음의 엔티티를 확장하는 것을 목표로 하는 중요한 작업입니다 작은 시드 엔티티 집합에 의해 설명되는 대상 의미 클래스입니다. 가장 현존하는 EESE 방법은 문맥을 추출해야 하는 검색 기반 프레임워크이다 엔티티의 특징 및 시드 엔티티 간의 유사성 계산 후보 실체. 두 가지 목적을 달성하려면 반복적으로 수행해야 합니다 데이터 세트에 제공된 말뭉치와 개체 어휘를 횡단한다, 결과적으로 효율성과 확장성이 저하됩니다. 실험 결과는 다음과 같다 검색 기반 ESE 방법에 의해 소비되는 시간이 선형적으로 증가하는지 여부 개체 어휘와 말뭉치 크기로. 이 논문에서, 우리는 먼저 다음을 제안한다 생성 EESE 프레임워크, 생성 엔터티 세트 확장(GenExpan), 즉 생성적인 사전 훈련된 언어 모델을 활용하여 ESE 작업을 수행한다. 구체적으로, 접두사 트리는 엔티티의 유효성을 보장하기 위해 사용된다 생성, 그리고 자동으로 생성된 클래스 이름이 사용됩니다 대상 도면요소를 생성하는 모델입니다. 또한, 우리는 지식 교정을 제안한다 그리고 일반적인 지식 사이의 격차를 더욱 좁힐 수 있는 생성 순위 언어 모델과 ESE 과제의 목표. 공개적으로 이용 가능한 실험 데이터 세트는 GenExpan이 효율적이고 효과적이라는 것을 보여준다. 효율성을 위해, GenExpan에 의해 소비되는 확장 시간은 엔티티 어휘와 독립적이다 코퍼스 크기, 그리고 GenExpan은 강한 것에 비해 평균 600% 속도 향상을 달성한다 기준선. 확장 성능 측면에서 NAT 프레임워크는 이전보다 우수합니다 최첨단 ESE 방식. 

 

 

Evaluating the Logical Reasoning Ability of ChatGPT and GPT-4

 

Harnessing logical reasoning ability is a comprehensive natural language understanding endeavor. With the release of Generative Pretrained Transformer 4 (GPT-4), highlighted as "advanced" at reasoning tasks, we are eager to learn the GPT-4 performance on various logical reasoning tasks. This report analyses multiple logical reasoning datasets, with popular benchmarks like LogiQA and ReClor, and newly-released datasets like AR-LSAT. We test the multi-choice reading comprehension and natural language inference tasks with benchmarks requiring logical reasoning. We further construct a logical reasoning out-of-distribution dataset to investigate the robustness of ChatGPT and GPT-4. We also make a performance comparison between ChatGPT and GPT-4. Experiment results show that ChatGPT performs significantly better than the RoBERTa fine-tuning method on most logical reasoning benchmarks. GPT-4 shows even higher performance on our manual tests. Among benchmarks, ChatGPT and GPT-4 do relatively well on well-known datasets like LogiQA and ReClor. However, the performance drops significantly when handling newly released and out-of-distribution datasets. Logical reasoning remains challenging for ChatGPT and GPT-4, especially on out-of-distribution and natural language inference datasets.

 

논리적 추론 능력을 활용하는 것은 포괄적인 자연어이다 이해심 있는 노력. Generative Pretrained Transformer 4의 출시와 함께 (GPT-4), 추론 작업에서 "고급"으로 강조되어, 우리는 배우고 싶다 다양한 논리적 추론 작업에 대한 GPT-4 성능. 이 보고서는 분석한다 LogiQA와 같은 널리 사용되는 벤치마크를 사용하는 여러 논리적 추론 데이터 세트 ReClor, 그리고 AR-LSAT와 같은 새로 출시된 데이터 세트. 우리는 다중 선택을 테스트한다 벤치마크를 사용한 읽기 이해 및 자연어 추론 과제 논리적인 추론이 필요합니다. 우리는 논리적 추론을 추가로 구성한다 ChatGPT 및 GPT-4의 견고성을 조사하기 위한 분포 외 데이터 세트. 우리는 또한 ChatGPT와 GPT-4 사이에 성능 비교를 한다. 실험 결과는 ChatGPT가 RoBERTa보다 훨씬 더 나은 성능을 보인다는 것을 보여준다 대부분의 논리적 추론 벤치마크에서 미세 조정 방법. GPT-4는 짝수를 보여준다 수동 테스트에서 더 높은 성능을 발휘합니다. 벤치마크 중에서 ChatGPT와 GPT-4는 LogiQA 및 ReClor와 같은 잘 알려진 데이터 세트에서 비교적 잘 작동합니다. 하지만, 그 새로 출시된 제품을 취급할 때 성능이 크게 떨어집니다 배포되지 않은 데이터 세트. 논리적 추론은 ChatGPT에게 여전히 어려운 과제이다 및 GPT-4, 특히 분포 외 및 자연어 추론에 대한 데이터 세트. 

 

 

On the Importance of Contrastive Loss in Multimodal Learning

 

Recently, contrastive learning approaches (e.g., CLIP (Radford et al., 2021)) have received huge success in multimodal learning, where the model tries to minimize the distance between the representations of different views (e.g., image and its caption) of the same data point while keeping the representations of different data points away from each other. However, from a theoretical perspective, it is unclear how contrastive learning can learn the representations from different views efficiently, especially when the data is not isotropic. In this work, we analyze the training dynamics of a simple multimodal contrastive learning model and show that contrastive pairs are important for the model to efficiently balance the learned representations. In particular, we show that the positive pairs will drive the model to align the representations at the cost of increasing the condition number, while the negative pairs will reduce the condition number, keeping the learned representations balanced.

 

최근 대조적 학습 접근법(예: CLIP(Radford et al., 2021) 모델이 시도하는 멀티모달 학습에서 큰 성공을 거두었다 서로 다른 관점의 표현 사이의 거리를 최소화한다(예: 동일한 데이터 포인트의 이미지 및 해당 캡션)를 표시합니다 서로 다른 데이터 포인트를 사용할 수 있습니다. 하지만, 이론적으로 보면 관점, 얼마나 대조적인 학습이 배울 수 있는지는 불분명하다 서로 다른 관점에서 효율적으로 표현하는 것, 특히 데이터가 다음일 때 등방성이 아닌. 이 작업에서, 우리는 간단한 훈련 역학을 분석한다 멀티모달 대조 학습 모델과 대조 쌍은 모델이 학습된 표현의 균형을 효율적으로 맞추기 위해 중요하다. 인 특히, 우리는 양의 쌍이 모델을 정렬하도록 유도한다는 것을 보여준다 조건 번호를 증가시키는 비용으로 표현하는 반면 음의 쌍은 조건 수를 줄여 학습을 유지합니다 균형 잡힌 표현.