[2023-08-11] 오늘의 자연어처리

Building Interpretable and Reliable Open Information Retriever for New Domains Overnight

 

Information retrieval (IR) or knowledge retrieval, is a critical component for many down-stream tasks such as open-domain question answering (QA). It is also very challenging, as it requires succinctness, completeness, and correctness. In recent works, dense retrieval models have achieved state-of-the-art (SOTA) performance on in-domain IR and QA benchmarks by representing queries and knowledge passages with dense vectors and learning the lexical and semantic similarity. However, using single dense vectors and end-to-end supervision are not always optimal because queries may require attention to multiple aspects and event implicit knowledge. In this work, we propose an information retrieval pipeline that uses entity/event linking model and query decomposition model to focus more accurately on different information units of the query. We show that, while being more interpretable and reliable, our proposed pipeline significantly improves passage coverages and denotation accuracies across five IR and QA benchmarks. It will be the go-to system to use for applications that need to perform IR on a new domain without much dedicated effort, because of its superior interpretability and cross-domain performance.

 

정보 검색(IR) 또는 지식 검색은 중요한 구성 요소이다 개방형 도메인 질문 응답(QA)과 같은 많은 다운스트림 작업에 사용할 수 있습니다. 그렇다. 또한 매우 도전적인데, 그것은 간결함, 완전함, 그리고 정확성. 최근 연구에서, 밀도 높은 검색 모델이 달성했다 도메인 내 IR 및 QA 벤치마크에 대한 최첨단(SOTA) 성능 질의와 지식 통로를 조밀한 벡터로 표현하고 학습한다 어휘와 의미론적 유사성. 그러나 단일 밀도 벡터를 사용하여 쿼리가 필요할 수 있기 때문에 엔드 투 엔드 감독이 항상 최적인 것은 아닙니다 다양한 측면과 이벤트 암묵적 지식에 대한 주의. 이 작품에서 우리는 엔티티/이벤트 연결 모델을 사용하는 정보 검색 파이프라인을 제안한다 다양한 정보에 보다 정확하게 초점을 맞추기 위한 쿼리 분해 모델 쿼리 단위입니다. 우리는 좀 더 해석 가능하고 신뢰할 수 있지만, 우리가 제안한 파이프라인은 통행 범위와 표시를 크게 개선한다 5개의 IR 및 QA 벤치마크에 걸친 정확도. 그것은 사용할 수 있는 시스템이 될 것이다 별도의 전용 없이 새로운 도메인에서 IR을 수행해야 하는 애플리케이션에 적합합니다 해석 가능성과 교차 도메인 성능이 우수하기 때문에 노력해야 합니다. 

 

 

Emotion-Conditioned Text Generation through Automatic Prompt Optimization

 

Conditional natural language generation methods often require either expensive fine-tuning or training a large language model from scratch. Both are unlikely to lead to good results without a substantial amount of data and computational resources. Prompt learning without changing the parameters of a large language model presents a promising alternative. It is a cost-effective approach, while still achieving competitive results. While this procedure is now established for zero- and few-shot text classification and structured prediction, it has received limited attention in conditional text generation. We present the first automatic prompt optimization approach for emotion-conditioned text generation with instruction-fine-tuned models. Our method uses an iterative optimization procedure that changes the prompt by adding, removing, or replacing tokens. As objective function, we only require a text classifier that measures the realization of the conditional variable in the generated text. We evaluate the method on emotion-conditioned text generation with a focus on event reports and compare it to manually designed prompts that also act as the seed for the optimization procedure. The optimized prompts achieve 0.75 macro-average F1 to fulfill the emotion condition in contrast to manually designed seed prompts with only 0.22 macro-average F1.

 

조건부 자연어 생성 방법은 종종 다음 중 하나를 요구한다 값비싼 세부 조정 또는 큰 언어 모델을 처음부터 훈련합니다. 둘 다 상당한 양의 데이터 없이는 좋은 결과로 이어질 것 같지 않다 계산 자원. a의 매개 변수를 변경하지 않고 신속한 학습 큰 언어 모델은 유망한 대안을 제시한다. 그것은 비용 효율적이다 경쟁력 있는 결과를 얻으면서 접근할 수 있습니다. 이 절차는 이제 제로 및 퓨샷 텍스트 분류 및 구조화를 위해 설정되었습니다 예측 결과, 조건부 텍스트 생성에 제한적인 관심을 받았습니다. 우리는 최초의 자동 프롬프트 최적화 접근법을 제시한다 지시-미세-정밀-정밀 모델을 사용한 감정 조건 텍스트 생성. 우리들의 방법은 프롬프트를 변경하는 반복 최적화 절차를 사용합니다 토큰 추가, 제거 또는 교체. 목적 함수로서, 우리는 오직 a만 필요하다 조건 변수의 실현을 측정하는 텍스트 분류기 생성된 텍스트. 우리는 감정 조건 텍스트에 대한 방법을 평가한다 이벤트 보고서에 초점을 맞춘 생성 및 수동 설계와 비교 최적화 절차의 시드 역할도 하는 프롬프트입니다. 최적화된 감정 조건을 충족하기 위해 0.75 매크로 평균 F1을 달성하도록 프롬프트 표시 0.22 매크로 평균 F1만 사용하여 수동으로 설계된 시드 프롬프트와 대조됩니다. 

 

 

Sci-CoT: Leveraging Large Language Models for Enhanced Knowledge Distillation in Small Models for Scientific QA

 

Large Language Models (LLMs) have shown outstanding performance across wide range of downstream tasks. This competency is attributed to their substantial parameter size and pre-training on extensive corpus. Moreover, LLMs have exhibited enhanced reasoning capabilities in tackling complex reasoning tasks, owing to the utilization of a method named ``Chain-of-Thought (CoT) prompting''. This method is designed to generate intermediate reasoning steps that guide the inference of the final answer. However, it is essential to highlight that these advanced reasoning abilities appear to emerge in models with a minimum of 10 billion parameters, thereby limiting its efficacy in situations where computational resources are constrained. In this paper, we investigate the possibility of transferring the reasoning capabilities of LLMs to smaller models via knowledge distillation. Specifically, we propose Sci-CoT, a two-stage framework that separates the processes of generating rationales and inferring answers. This method enables a more efficient use of rationales during the answer inference stage, leading to improved performance on scientific question-answering tasks. Utilizing Sci-CoT, our 80-million parameter model is able to exceed the performance of BLOOM-176B in the ARC-Easy dataset under the few shot setting.

 

LLM(Large Language Model)은 광범위한 영역에서 뛰어난 성능을 보여주었습니다 다운스트림 작업 범위입니다. 이 역량은 그들의 상당한 능력에 기인한다 매개 변수 크기 및 광범위한 말뭉치에 대한 사전 교육. 게다가, LLM들은 복잡한 추론 작업을 처리하는 데 향상된 추론 능력을 보여주었다, '생각의 사슬(CoT)'이라는 방법을 사용하기 때문에 프롬프트 ''. 이 방법은 중간 추론 단계를 생성하도록 설계되었습니다 그것은 최종 답의 추론을 유도한다. 하지만, 하는 것은 필수적이다 이러한 고급 추론 능력이 모델에서 나타나는 것처럼 보인다는 것을 강조한다 최소 100억 개의 매개 변수를 사용하여 효과를 제한합니다 계산 자원이 제한되는 상황. 이 논문에서 우리는 LLM의 추론 능력을 이전할 가능성을 조사한다 지식 증류를 통해 더 작은 모델로 이동합니다. 구체적으로, 우리는 Sci-CoT를 제안합니다, 합리성을 생성하는 과정을 분리하는 2단계 프레임워크와 답을 유추하다. 이 방법은 합리성의 보다 효율적인 사용을 가능하게 한다 답변 추론 단계에서 성능 향상으로 이어짐 과학적 문제 해결 과제. Sci-CoT를 활용하여 우리의 8천만 달러를 파라미터 모델은 ARC-Easy에서 BLOM-176B의 성능을 능가할 수 있다 몇 번의 샷 설정 아래의 데이터 세트.