[2023-07-15] 오늘의 자연어처리

Parmesan: mathematical concept extraction for education

 

Mathematics is a highly specialized domain with its own unique set of challenges that has seen limited study in natural language processing. However, mathematics is used in a wide variety of fields and multidisciplinary research in many different domains often relies on an understanding of mathematical concepts. To aid researchers coming from other fields, we develop a prototype system for searching for and defining mathematical concepts in context, focusing on the field of category theory. This system, Parmesan, depends on natural language processing components including concept extraction, relation extraction, definition extraction, and entity linking. In developing this system, we show that existing techniques cannot be applied directly to the category theory domain, and suggest hybrid techniques that do perform well, though we expect the system to evolve over time. We also provide two cleaned mathematical corpora that power the prototype system, which are based on journal articles and wiki pages, respectively. The corpora have been annotated with dependency trees, lemmas, and part-of-speech tags.

 

수학은 그들만의 독특한 집합을 가진 매우 전문화된 영역이다 자연어 처리에 대한 연구가 제한적이었던 과제들. 하지만, 수학은 다양한 분야와 다분야의 연구에 사용된다 많은 다른 영역에서 종종 수학에 대한 이해에 의존한다 개념들. 다른 분야에서 온 연구자들을 돕기 위해, 우리는 프로토타입을 개발한다 맥락에서 수학적 개념을 검색하고 정의하기 위한 시스템, 범주 이론 분야에 집중합니다. 이 시스템, 파르메산은 다음에 의존한다 개념 추출, 관계를 포함한 자연어 처리 구성 요소 추출, 정의 추출 및 엔티티 연결. 이를 개발함에 있어 시스템, 우리는 기존 기술이 직접 적용될 수 없다는 것을 보여준다 범주 이론 영역, 그리고 잘 수행되는 하이브리드 기술을 제안합니다, 우리는 시스템이 시간이 지남에 따라 진화할 것으로 예상하지만. 저희는 또한 청소된 두 개를 제공합니다 프로토타입 시스템에 동력을 공급하는 수학적 말뭉치 각각 저널 기사와 위키 페이지. 말뭉치에 주석을 달았다 종속성 트리, 나그네쥐 및 부분 태그가 있습니다. 

 

 

Exploring the Integration of Large Language Models into Automatic Speech Recognition Systems: An Empirical Study

 

This paper explores the integration of Large Language Models (LLMs) into Automatic Speech Recognition (ASR) systems to improve transcription accuracy. The increasing sophistication of LLMs, with their in-context learning capabilities and instruction-following behavior, has drawn significant attention in the field of Natural Language Processing (NLP). Our primary focus is to investigate the potential of using an LLM's in-context learning capabilities to enhance the performance of ASR systems, which currently face challenges such as ambient noise, speaker accents, and complex linguistic contexts. We designed a study using the Aishell-1 and LibriSpeech datasets, with ChatGPT and GPT-4 serving as benchmarks for LLM capabilities. Unfortunately, our initial experiments did not yield promising results, indicating the complexity of leveraging LLM's in-context learning for ASR applications. Despite further exploration with varied settings and models, the corrected sentences from the LLMs frequently resulted in higher Word Error Rates (WER), demonstrating the limitations of LLMs in speech applications. This paper provides a detailed overview of these experiments, their results, and implications, establishing that using LLMs' in-context learning capabilities to correct potential errors in speech recognition transcriptions is still a challenging task at the current stage.

 

이 논문은 LLM(Large Language Model)의 통합을 탐구한다 자동 음성 인식(ASR) 시스템을 사용하여 전사 정확도를 향상시킵니다. 상황별 학습을 통한 LLM의 고도화 기능 및 명령 실행 동작이 상당한 수준으로 향상되었습니다 자연어 처리(NLP) 분야에 대한 관심. 우리의 주요 초점 LLM의 컨텍스트 내 학습을 사용할 가능성을 조사하는 것이다 현재 직면하고 있는 ASR 시스템의 성능을 향상시키는 기능 주변 소음, 화자 억양, 복잡한 언어와 같은 문제들 문맥. 우리는 Aishell-1 및 LibriSpeech 데이터 세트를 사용하여 연구를 설계했다, ChatGPT 및 GPT-4가 LLM 기능의 벤치마크 역할을 합니다. 불행하게도, 우리의 초기 실험은 유망한 결과를 낳지 못했다, ASR을 위한 LLM의 컨텍스트 내 학습 활용의 복잡성 표시 적용들. 다양한 설정과 모델을 가진 추가적인 탐구에도 불구하고 LLM에서 수정된 문장은 종종 더 높은 Word Error를 초래했다 속도(WER), 음성 애플리케이션에서 LLM의 한계를 보여준다. 이것. 논문은 이러한 실험, 그들의 결과, 그리고 시사점, LLM의 컨텍스트 내 학습 기능을 사용하는 것을 확립한다 음성 인식 전사에서 잠재적인 오류를 수정하는 것은 여전히 그렇다 현재 단계에서 도전적인 과제. 

 

 

Agreement Tracking for Multi-Issue Negotiation Dialogues

 

Automated negotiation support systems aim to help human negotiators reach more favorable outcomes in multi-issue negotiations (e.g., an employer and a candidate negotiating over issues such as salary, hours, and promotions before a job offer). To be successful, these systems must accurately track agreements reached by participants in real-time. Existing approaches either focus on task-oriented dialogues or produce unstructured outputs, rendering them unsuitable for this objective. Our work introduces the novel task of agreement tracking for two-party multi-issue negotiations, which requires continuous monitoring of agreements within a structured state space. To address the scarcity of annotated corpora with realistic multi-issue negotiation dialogues, we use GPT-3 to build GPT-Negochat, a synthesized dataset that we make publicly available. We present a strong initial baseline for our task by transfer-learning a T5 model trained on the MultiWOZ 2.4 corpus. Pre-training T5-small and T5-base on MultiWOZ 2.4's DST task enhances results by 21% and 9% respectively over training solely on GPT-Negochat. We validate our method's sample-efficiency via smaller training subset experiments. By releasing GPT-Negochat and our baseline models, we aim to encourage further research in multi-issue negotiation dialogue agreement tracking.

 

자동화된 협상 지원 시스템은 인간 협상가가 도달할 수 있도록 돕는 것을 목표로 한다 다중 이슈 협상에서 더 유리한 결과(예: 고용주 및 a 급여, 시간, 승진 등의 문제를 놓고 협상하는 후보자 채용 제의). 성공하기 위해서는 이러한 시스템이 계약을 정확하게 추적해야 합니다 실시간으로 참가자들이 도달했습니다. 기존 접근 방식은 다음에 중점을 둡니다 작업 지향적인 대화 또는 비정형 출력을 생성하여 렌더링합니다 이 목적에 적합하지 않다. 우리의 작업은 합의라는 새로운 과제를 소개한다 지속적으로 필요한 2자 다중 문제 협상을 위한 추적 구조화된 상태 공간 내의 합의에 대한 모니터링. 주소를 지정하려면 현실적인 다중 이슈 협상 대화를 가진 주석이 달린 말뭉치의 희소성, 우리는 GPT-3을 사용하여 공개적으로 만드는 합성 데이터 세트인 GPT-Negochat을 구축한다 이용할 수 있는. 우리는 우리의 작업에 대한 강력한 초기 기준선을 다음과 같이 제시한다 MultiWOZ 2.4 말뭉치로 훈련된 T5 모델을 전송 학습한다. 사전 교육 MultiWOZ 2.4의 DST 작업을 기반으로 하는 T5-small 및 T5-base는 결과를 21% 및 9% 향상시킵니다 각각 GPT-Negochat에 대한 훈련보다. 우리는 우리의 방법을 검증한다 소규모 훈련 하위 집합 실험을 통한 샘플 효율성. 해제함으로써 GPT-Negochat 및 우리의 기준 모델에서 우리는 추가 연구를 장려하는 것을 목표로 한다 다중 쟁점 협상 대화 합의 추적.