[2023-07-08] 오늘의 자연어처리

VisKoP: Visual Knowledge oriented Programming for Interactive Knowledge Base Question Answering

 

We present Visual Knowledge oriented Programming platform (VisKoP), a knowledge base question answering (KBQA) system that integrates human into the loop to edit and debug the knowledge base (KB) queries. VisKoP not only provides a neural program induction module, which converts natural language questions into knowledge oriented program language (KoPL), but also maps KoPL programs into graphical elements. KoPL programs can be edited with simple graphical operators, such as dragging to add knowledge operators and slot filling to designate operator arguments. Moreover, VisKoP provides auto-completion for its knowledge base schema and users can easily debug the KoPL program by checking its intermediate results. To facilitate the practical KBQA on a million-entity-level KB, we design a highly efficient KoPL execution engine for the back-end. Experiment results show that VisKoP is highly efficient and user interaction can fix a large portion of wrong KoPL programs to acquire the correct answer. The VisKoP online demo this https URL (Stable release of this paper) and this https URL (Beta release with new features), highly efficient KoPL engine this https URL, and screencast video this https URL are now publicly available.

 

우리는 시각적 지식 지향 프로그래밍 플랫폼(VisKoP)을 제시한다 인간을 통합하는 지식 기반 질문 답변(KBQA) 시스템 기술 자료(KB) 쿼리를 편집하고 디버그합니다. VisKoP뿐만 아니라 자연어를 변환하는 신경 프로그램 유도 모듈을 제공합니다 지식 지향 프로그램 언어(KoPL)에 대한 질문이지만 KoPL도 매핑합니다 프로그램을 그래픽 요소로 변환합니다. 간단한 방법으로 KoPL 프로그램을 편집할 수 있습니다 지식 연산자 및 슬롯 추가를 위한 드래그와 같은 그래픽 연산자 연산자 인수를 지정하는 채우기입니다. 또한 VisKoP는 기술 자료 스키마를 위한 자동 추출 및 사용자는 쉽게 디버그할 수 있습니다 중간 결과를 확인하여 KoPL 프로그램을 수행합니다. 실습을 용이하게 하기 위해 백만 개의 엔티티 수준 KB에서 KBQA, 우리는 매우 효율적인 KoPL 실행을 설계한다 백엔드 엔진입니다. 실험 결과는 VisKoP가 매우 높다는 것을 보여준다 효율적이고 사용자 상호 작용은 잘못된 KoPL 프로그램의 많은 부분을 고칠 수 있다 정확한 답을 얻기 위해. VisKoP 온라인 데모 이 https URL(이 논문의 안정적인 릴리스) 및 이 https URL(새로운 기능이 있는 베타 릴리스), 매우 효율적인 KoPL 엔진 이 https URL 및 스크린캐스트 비디오 이 https URL은 이제 공개적으로 사용할 수 있습니다. 

 

 

Lost in the Middle: How Language Models Use Long Contexts

 

While recent language models have the ability to take long contexts as input, relatively little is known about how well the language models use longer context. We analyze language model performance on two tasks that require identifying relevant information within their input contexts: multi-document question answering and key-value retrieval. We find that performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts. Furthermore, performance substantially decreases as the input context grows longer, even for explicitly long-context models. Our analysis provides a better understanding of how language models use their input context and provides new evaluation protocols for future long-context models.

 

최근의 언어 모델은 긴 문맥을 입력으로 받아들일 수 있는 능력을 가지고 있지만, 언어 모델이 얼마나 오래 사용하는지에 대해서는 상대적으로 거의 알려져 있지 않다 맥락. 우리는 언어 모델 성능을 필요로 하는 두 가지 작업에 대해 분석한다 입력 컨텍스트 내에서 관련 정보 식별: 멀티벤더 질문 답변 및 키 값 검색이 가능하게 합니다. 우리는 종종 성능이 입력의 시작 또는 끝에 관련 정보가 발생할 때 가장 높음 컨텍스트, 모델이 관련성에 액세스해야 하는 경우 크게 저하됩니다 긴 문맥의 중간에 있는 정보. 뿐만 아니라 성능도 입력 컨텍스트가 길어질수록 상당히 감소합니다. 명시적으로라도 오래된 모형. 우리의 분석은 어떻게 해야 하는지에 대한 더 나은 이해를 제공한다 언어 모델은 입력 컨텍스트를 사용하고 새로운 평가 프로토콜을 제공합니다 미래의 장기 모델을 위해. 

 

 

Lost in the Middle: How Language Models Use Long Contexts

 

While recent language models have the ability to take long contexts as input, relatively little is known about how well the language models use longer context. We analyze language model performance on two tasks that require identifying relevant information within their input contexts: multi-document question answering and key-value retrieval. We find that performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts. Furthermore, performance substantially decreases as the input context grows longer, even for explicitly long-context models. Our analysis provides a better understanding of how language models use their input context and provides new evaluation protocols for future long-context models.

 

최근의 언어 모델은 긴 문맥을 입력으로 받아들일 수 있는 능력을 가지고 있지만, 언어 모델이 얼마나 오래 사용하는지에 대해서는 상대적으로 거의 알려져 있지 않다 맥락. 우리는 언어 모델 성능을 필요로 하는 두 가지 작업에 대해 분석한다 입력 컨텍스트 내에서 관련 정보 식별: 멀티벤더 질문 답변 및 키 값 검색이 가능하게 합니다. 우리는 종종 성능이 입력의 시작 또는 끝에 관련 정보가 발생할 때 가장 높음 컨텍스트, 모델이 관련성에 액세스해야 하는 경우 크게 저하됩니다 긴 문맥의 중간에 있는 정보. 뿐만 아니라 성능도 입력 컨텍스트가 길어질수록 상당히 감소합니다. 명시적으로라도 오래된 모형. 우리의 분석은 어떻게 해야 하는지에 대한 더 나은 이해를 제공한다 언어 모델은 입력 컨텍스트를 사용하고 새로운 평가 프로토콜을 제공합니다 미래의 장기 모델을 위해.