[2022-11-21] 오늘의 자연어처리

Probing for Incremental Parse States in Autoregressive Language Models

 

Next-word predictions from autoregressive neural language models show remarkable sensitivity to syntax. This work evaluates the extent to which this behavior arises as a result of a learned ability to maintain implicit representations of incremental syntactic structures. We extend work in syntactic probing to the incremental setting and present several probes for extracting incomplete syntactic structure (operationalized through parse states from a stack-based parser) from autoregressive language models. We find that our probes can be used to predict model preferences on ambiguous sentence prefixes and causally intervene on model representations and steer model behavior. This suggests implicit incremental syntactic inferences underlie next-word predictions in autoregressive neural language models.

 

자기 회귀 신경 언어 모델의 다음 단어 예측은 다음을 보여준다. 구문에 대한 현저한 민감성 이 작업은 이것의 정도를 평가한다. 행동은 암묵적인 것을 유지하는 학습된 능력의 결과로 발생한다. 증분 구문 구조의 표현. 우리는 일을 연장한다. 증분 설정에 대한 구문 탐색 및 몇 가지 프로브 제시 불완전한 구문 구조 추출(파싱 상태를 통해 작동됨) 스택 기반 파서)에서 자동 회귀 언어 모델에서. 는 것을 알 수 있다. 우리의 프로브는 모호한 문장에 대한 모델 선호도를 예측하는 데 사용될 수 있다. 접두사 및 모델 표현 및 조향 모델에 인과적으로 개입 행동. 이것은 암묵적인 증분 구문 추론을 암시한다. 자기 회귀 신경 언어 모델의 다음 단어 예측. 

 

 

Stutter-TTS: Controlled Synthesis and Improved Recognition of Stuttered Speech

 

Stuttering is a speech disorder where the natural flow of speech is interrupted by blocks, repetitions or prolongations of syllables, words and phrases. The majority of existing automatic speech recognition (ASR) interfaces perform poorly on utterances with stutter, mainly due to lack of matched training data. Synthesis of speech with stutter thus presents an opportunity to improve ASR for this type of speech. We describe Stutter-TTS, an end-to-end neural text-to-speech model capable of synthesizing diverse types of stuttering utterances. We develop a simple, yet effective prosody-control strategy whereby additional tokens are introduced into source text during training to represent specific stuttering characteristics. By choosing the position of the stutter tokens, Stutter-TTS allows word-level control of where stuttering occurs in the synthesized utterance. We are able to synthesize stutter events with high accuracy (F1-scores between 0.63 and 0.84, depending on stutter type). By fine-tuning an ASR model on synthetic stuttered speech we are able to reduce word error by 5.7% relative on stuttered utterances, with only minor (<0.2% relative) degradation for fluent utterances.

 

말더듬이란 말의 자연스러운 흐름이 블록, 반복 또는 음절의 연장에 의해 중단된다. 구. 대부분의 기존 자동 음성 인식(ASR) 인터페이스 주로 일치하지 않는 것 때문에 말더듬이가 있는 말을 잘 하지 못한다. 훈련 데이터 따라서 말더듬이와 말더듬이의 합성은 다음과 같은 기회를 제공한다. 이런 유형의 연설에 대한 ASR을 향상시킨다. 우리는 종단 간 스터터-TTS를 설명한다. 다양한 유형의 말더듬을 합성할 수 있는 신경 텍스트-투-스캐너 모델 언사 우리는 간단하지만 효과적인 운율 제어 전략을 개발한다. 추가 토큰은 교육 중에 소스 텍스트에 도입되어 표현됩니다. 특정한 말더듬이 특성. 말더듬이의 위치를 선택함으로써 토큰, Stutter-TTS는 단어 수준에서 Stutter가 발생하는 위치를 제어할 수 있게 합니다. 합성된 말 우리는 높은 수준으로 말더듬 이벤트를 합성할 수 있다. 정확도(F1-스터 유형에 따라 0.63 ~ 0.84 사이의 점수). 타고 우리가 줄일 수 있는 합성 더듬이 음성에 대한 ASR 모델을 미세 조정한다. 말더듬은 발화에 대해 상대적으로 5.7%의 단어 오류가 발생했으며, 경미한(<0.2%) 정도만 발생했다. 상대적) 유창한 발언에 대한 저하. 

 

 

Analyse der Entwicklungstreiber militärischer Schwarmdrohnen durch Natural Language Processing

 

Military drones are taking an increasingly prominent role in armed conflict, and the use of multiple drones in a swarm can be useful. Who the drivers of the research are and what sub-domains exist is analyzed and visually presented in this research using NLP techniques based on 946 studies. Most research is conducted in the Western world, led by the United States, the United Kingdom, and Germany. Through Tf-idf scoring, it is shown that countries have significant differences in the subdomains studied. Overall, 2019 and 2020 saw the most works published, with significant interest in military swarm drones as early as 2008. This study provides a first glimpse into research in this area and prompts further investigation.

 

군사용 드론이 무력 충돌에서 점점 더 중요한 역할을 하고 있다. 그리고 무리에서 여러 대의 드론을 사용하는 것은 유용할 수 있다. 누가 운전자인가? 연구는 다음과 같이 분석되고 시각적으로 제시된다. 이 연구는 946개의 연구를 기반으로 NLP 기술을 사용한다. 대부분의 연구는 미국, 영국이 이끄는 서구 세계에서 행해졌다. 그리고 독일. Tf-idf 채점을 통해 국가가 연구된 하위 영역의 중요한 차이. 전체적으로 2019년과 2020년 톱 군벌 드론에 상당한 관심을 가지고 출판된 가장 많은 작품들은 다음과 같다. 빠르면 2008년에 이 연구는 이 분야의 연구를 처음으로 엿볼 수 있는 기회를 제공한다. 추가 조사를 요청합니다.