[2023-02-26] 오늘의 자연어처리

Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs

 

Multi-document grounded dialogue systems (DGDS) belong to a class of conversational agents that answer users' requests by finding supporting knowledge from a collection of documents. Most previous studies aim to improve the knowledge retrieval model or propose more effective ways to incorporate external knowledge into a parametric generation model. These methods, however, focus on retrieving knowledge from mono-granularity language units (e.g. passages, sentences, or spans in documents), which is not enough to effectively and efficiently capture precise knowledge in long documents. This paper proposes Re3G, which aims to optimize both coarse-grained knowledge retrieval and fine-grained knowledge extraction in a unified framework. Specifically, the former efficiently finds relevant passages in a retrieval-and-reranking process, whereas the latter effectively extracts finer-grain spans within those passages to incorporate into a parametric answer generation model (BART, T5). Experiments on DialDoc Shared Task demonstrate the effectiveness of our method.

 

다중 문서 기반 대화 시스템(DGDS)은 다음과 같은 부류에 속한다 지원을 찾아 사용자의 요청에 응답하는 대화형 에이전트 문서 모음에서 얻은 지식. 대부분의 이전 연구는 개선을 목표로 한다 지식 검색 모델 또는 통합을 위한 더 효과적인 방법을 제안합니다 외부 지식을 파라메트릭 생성 모델로 변환합니다. 그러나 이러한 방법들은, 단일 언어 단위(예: 단일 언어 단위)에서 지식을 검색하는 데 초점을 맞춘다. 문서의 구절, 문장 또는 스팬)은 효과적으로 충분하지 않다 긴 문서에서 정확한 지식을 효율적으로 캡처할 수 있습니다. 본지 거친 세분화된 지식 검색을 최적화하는 것을 목표로 하는 Re3G를 제안한다 통합 프레임워크에서 세밀한 지식 추출을 수행합니다. 구체적으로 전자는 검색 및 재순위에서 관련 구절을 효율적으로 찾는다 프로세스, 반면 후자는 그 안에서 더 미세한 범위를 효과적으로 추출한다 파라메트릭 응답 생성 모델(BART, T5)에 통합하기 위한 절. DialDoc 공유 작업에 대한 실험은 우리 방법의 효과를 보여준다. 

 

 

Prosodic segmentation for parsing spoken dialogue

 

Parsing spoken dialogue poses unique difficulties, including disfluencies and unmarked boundaries between sentence-like units. Previous work has shown that prosody can help with parsing disfluent speech (Tran et al. 2018), but has assumed that the input to the parser is already segmented into sentence-like units (SUs), which isn't true in existing speech applications. We investigate how prosody affects a parser that receives an entire dialogue turn as input (a turn-based model), instead of gold standard pre-segmented SUs (an SU-based model). In experiments on the English Switchboard corpus, we find that when using transcripts alone, the turn-based model has trouble segmenting SUs, leading to worse parse performance than the SU-based model. However, prosody can effectively replace gold standard SU boundaries: with prosody, the turn-based model performs as well as the SU-based model (90.79 vs. 90.65 F1 score, respectively), despite performing two tasks (SU segmentation and parsing) rather than one (parsing alone). Analysis shows that pitch and intensity features are the most important for this corpus, since they allow the model to correctly distinguish an SU boundary from a speech disfluency -- a distinction that the model otherwise struggles to make.

 

구어 대화를 구문 분석하는 것은 불연속성과 같은 고유한 어려움을 제기한다 문장과 같은 단위 사이의 표시되지 않은 경계. 이전 연구에서 다음과 같이 보여준다 운율은 분산 스피치 구문 분석에 도움이 될 수 있지만(Tran 등 2018) 파서에 대한 입력이 이미 문장과 같은 형태로 분할되었다고 가정한다 유닛(SU), 기존 음성 애플리케이션에서는 그렇지 않습니다. 우리는 조사한다 프로소디가 전체 대화 턴을 입력으로 받는 파서에 미치는 영향(a) 턴 기반 모델), 골드 표준 사전 세그먼트 SU(SU 기반) 대신 모델). 영어 교환 말뭉치에 대한 실험에서, 우리는 다음과 같은 것을 발견한다 성적서만 사용하면 턴제 모델은 SU를 세분화하는 데 어려움을 겪습니다, SU 기반 모델보다 구문 분석 성능이 저하됩니다. 하지만, 운율은 골드 표준 SU 경계를 효과적으로 대체할 수 있다: 운율로 턴 기반 모델은 SU 기반 모델과 마찬가지로 우수한 성능을 발휘합니다(90.79 대 90.65 F1) 두 가지 작업(SU 세분화 및 하나가 아니라 구문 분석). 분석 결과 피치와 강도 특징은 이 말뭉치에 가장 중요하다, 왜냐하면 그것들은 그것들을 허용하기 때문이다 SU 경계와 음성 장애를 정확하게 구별하는 모델 - a 모델이 그렇지 않으면 만들기 힘든 구별. 

 

 

Coarse-to-Fine Knowledge Selection for Document Grounded Dialogs

 

Multi-document grounded dialogue systems (DGDS) belong to a class of conversational agents that answer users' requests by finding supporting knowledge from a collection of documents. Most previous studies aim to improve the knowledge retrieval model or propose more effective ways to incorporate external knowledge into a parametric generation model. These methods, however, focus on retrieving knowledge from mono-granularity language units (e.g. passages, sentences, or spans in documents), which is not enough to effectively and efficiently capture precise knowledge in long documents. This paper proposes Re3G, which aims to optimize both coarse-grained knowledge retrieval and fine-grained knowledge extraction in a unified framework. Specifically, the former efficiently finds relevant passages in a retrieval-and-reranking process, whereas the latter effectively extracts finer-grain spans within those passages to incorporate into a parametric answer generation model (BART, T5). Experiments on DialDoc Shared Task demonstrate the effectiveness of our method.

 

다중 문서 기반 대화 시스템(DGDS)은 다음과 같은 부류에 속한다 지원을 찾아 사용자의 요청에 응답하는 대화형 에이전트 문서 모음에서 얻은 지식. 대부분의 이전 연구는 개선을 목표로 한다 지식 검색 모델 또는 통합을 위한 더 효과적인 방법을 제안합니다 외부 지식을 파라메트릭 생성 모델로 변환합니다. 그러나 이러한 방법들은, 단일 언어 단위(예: 단일 언어 단위)에서 지식을 검색하는 데 초점을 맞춘다. 문서의 구절, 문장 또는 스팬)은 효과적으로 충분하지 않다 긴 문서에서 정확한 지식을 효율적으로 캡처할 수 있습니다. 본지 거친 세분화된 지식 검색을 최적화하는 것을 목표로 하는 Re3G를 제안한다 통합 프레임워크에서 세밀한 지식 추출을 수행합니다. 구체적으로 전자는 검색 및 재순위에서 관련 구절을 효율적으로 찾는다 프로세스, 반면 후자는 그 안에서 더 미세한 범위를 효과적으로 추출한다 파라메트릭 응답 생성 모델(BART, T5)에 통합하기 위한 절. DialDoc 공유 작업에 대한 실험은 우리 방법의 효과를 보여준다.