[2023-01-06] 오늘의 자연어처리

PIE-QG: Paraphrased Information Extraction for Unsupervised Question Generation from Small Corpora

 

Supervised Question Answering systems (QA systems) rely on domain-specific human-labeled data for training. Unsupervised QA systems generate their own question-answer training pairs, typically using secondary knowledge sources to achieve this outcome. Our approach (called PIE-QG) uses Open Information Extraction (OpenIE) to generate synthetic training questions from paraphrased passages and uses the question-answer pairs as training data for a language model for a state-of-the-art QA system based on BERT. Triples in the form of are extracted from each passage, and questions are formed with subjects (or objects) and predicates while objects (or subjects) are considered as answers. Experimenting on five extractive QA datasets demonstrates that our technique achieves on-par performance with existing state-of-the-art QA systems with the benefit of being trained on an order of magnitude fewer documents and without any recourse to external reference data sources.

 

감독 질문 답변 시스템(QA 시스템)은 도메인별로 의존합니다 훈련을 위한 인간 라벨 데이터. 감독되지 않은 QA 시스템이 자체적으로 생성됨 질의응답 훈련 쌍, 일반적으로 2차 지식 소스를 사용하여 이 결과를 달성하다. 우리의 접근 방식(PIE-QG라고 함)은 개방형 정보를 사용합니다 추출(OpenIE)을 통해 구문 분석 교육 질문을 생성합니다 지문과 질의응답 쌍을 언어에 대한 교육 데이터로 사용합니다 BERT 기반의 최첨단 QA 시스템을 위한 모델. 다음과 같은 형태의 세 가지 각 지문에서 <주어, 서술어, 목적어>를 추출하고, 질문은 대상(또는 대상)과 서술어로 형성되는 동안 대상(또는 대상) 답으로 간주됩니다. 추출 QA 데이터 세트 5개에 대한 실험 우리의 기술이 기존 기술과 동등한 성능을 달성한다는 것을 보여준다 최신 QA 시스템은 다음과 같은 주문에 대해 교육을 받을 수 있습니다 문서의 크기를 줄이고 외부 참조 데이터에 의존하지 않음 원천. 

 

 

An ensemble-based framework for mispronunciation detection of Arabic phonemes

 

Determination of mispronunciations and ensuring feedback to users are maintained by computer-assisted language learning (CALL) systems. In this work, we introduce an ensemble model that defines the mispronunciation of Arabic phonemes and assists learning of Arabic, effectively. To the best of our knowledge, this is the very first attempt to determine the mispronunciations of Arabic phonemes employing ensemble learning techniques and conventional machine learning models, comprehensively. In order to observe the effect of feature extraction techniques, mel-frequency cepstrum coefficients (MFCC), and Mel spectrogram are blended with each learning algorithm. To show the success of proposed model, 29 letters in the Arabic phonemes, 8 of which are hafiz, are voiced by a total of 11 different person. The amount of data set has been enhanced employing the methods of adding noise, time shifting, time stretching, pitch shifting. Extensive experiment results demonstrate that the utilization of voting classifier as an ensemble algorithm with Mel spectrogram feature extraction technique exhibits remarkable classification result with 95.9% of accuracy.

 

오발음의 결정 및 사용자에게 피드백을 보장하는 것은 다음과 같다 컴퓨터 보조 언어 학습(CALL) 시스템에 의해 유지된다. 이 작품에서, 우리는 아랍어의 오발음을 정의하는 앙상블 모델을 소개한다 효과적으로 아랍어 학습을 돕는 음소와 도움. 우리의 최선을 위하여 지식, 이것은 잘못된 발음을 결정하기 위한 첫 번째 시도이다 앙상블 학습 기법과 기존 기계를 이용한 아랍어 음소 포괄적으로 모델을 학습합니다. 형상의 효과를 관찰하기 위해 추출 기법, Mel-Frequency cepstrum 계수(MFCC) 및 Mel 스펙트로그램은 각 학습 알고리즘과 혼합된다. 의 성공을 보여주기 위해 제안된 모델, 아랍어 음소에 있는 29개의 글자들, 그 중 8개는 하피즈이다 총 11명의 다른 사람이 목소리를 냈다. 데이터 세트의 양은 다음과 같습니다 소음, 시간 이동, 시간 연장을 추가하는 방법을 사용하여 개선되었습니다, 피치 시프트. 광범위한 실험 결과는 활용도가 멜 스펙트로그램 기능을 사용한 앙상블 알고리즘으로서의 투표 분류기 추출 기술은 95.9%의 놀라운 분류 결과를 보여준다 정확성. 

 

 

Large Language Models as Corporate Lobbyists

 

We demonstrate a proof-of-concept of a large language model conducting corporate lobbying related activities. An autoregressive large language model (OpenAI's text-davinci-003) determines if proposed U.S. Congressional bills are relevant to specific public companies and provides explanations and confidence levels. For the bills the model deems as relevant, the model drafts a letter to the sponsor of the bill in an attempt to persuade the congressperson to make changes to the proposed legislation. We use hundreds of ground-truth labels of the relevance of a bill to a company to benchmark the performance of the model, which outperforms the baseline of predicting the most common outcome of irrelevance. We also benchmark the performance of the previous OpenAI GPT-3 model (text-davinci-002), which was state-of-the-art on many language tasks until text-davinci-003 was released on November 28, 2022. The performance of text-davinci-002 is worse than simply always predicting that a bill is irrelevant to a company. These results suggest that, as large language models continue to exhibit improved core natural language understanding capabilities, performance on corporate lobbying related tasks will continue to improve. We then discuss why this could be problematic for societal-AI alignment.

 

우리는 수행하는 대규모 언어 모델의 개념 증명을 시연한다 기업 로비 관련 활동. 자동 회귀 대언어 모델 (OpenAI의 text-davinci-003)는 제안된 미국 의회 법안이 다음과 같은지 여부를 결정합니다 특정 공기업과 관련이 있으며 설명과 신뢰를 제공한다 수준. 모델이 관련 있다고 간주하는 청구서에 대해, 모델은 편지 초안을 작성한다 국회의원을 설득하기 위한 시도로 그 법안의 후원자 발의된 법률의 개정. 우리는 수백 개의 지상 진실 라벨을 사용한다 모델의 성능을 벤치마킹하기 위한 회사에 대한 법안의 관련성, 그것은 가장 일반적인 결과를 예측하는 기준선을 능가한다 관계없는. 또한 이전 Open의 성능을 벤치마킹합니다AI GPT-3 많은 언어 작업에서 최첨단 모델(text-davinci-002) 2022년 11월 28일 text-davinci-003이 출시되기 전까지. 의 성능 text-davinci-002는 단순히 청구서를 항상 예측하는 것보다 더 나쁘다 회사와 무관한. 이 결과는 큰 언어 모델로서 다음을 시사한다 지속적으로 향상된 핵심 자연어 이해 능력을 보여준다, 기업 로비 관련 업무의 성과는 계속해서 개선될 것이다. 우리가 그런 다음 이것이 사회-AI 정렬에 문제가 될 수 있는 이유를 논의한다.