[2022-08-27] 오늘의 자연어처리

Universality and diversity in word patterns

 

Words are fundamental linguistic units that connect thoughts and things through meaning. However, words do not appear independently in a text sequence. The existence of syntactic rules induce correlations among neighboring words. Further, words are not evenly distributed but approximately follow a power law since terms with a pure semantic content appear much less often than terms that specify grammar relations. Using an ordinal pattern approach, we present an analysis of lexical statistical connections for eleven major languages. We find that the diverse manners that languages utilize to express word relations give rise to unique pattern distributions. Remarkably, we find that these relations can be modeled with a Markov model of order 2 and that this result is universally valid for all the studied languages. Furthermore, fluctuations of the pattern distributions can allow us to determine the historical period when the text was written and its author. Taken together, these results emphasize the relevance of time series analysis and information-theoretic methods for the understanding of statistical correlations in natural languages.

 

단어는 생각과 사물을 연결하는 기본적인 언어 단위이다. 의미에 의해 그러나 텍스트 시퀀스에서 단어는 독립적으로 나타나지 않습니다. 통사 규칙의 존재는 인접한 단어들 사이의 상관관계를 유도한다. 게다가, 단어들은 균등하게 분포되어 있지 않지만 대략 멱함수 법칙을 따른다. 순수한 의미론적 내용을 가진 용어가 다음 용어보다 훨씬 덜 자주 나타나기 때문이다. 문법 관계를 명시하다 순서 패턴 접근법을 사용하여, 우리는 다음을 제시한다. 11개 주요 언어에 대한 어휘 통계 연결 분석 우리는 찾는다 언어들이 단어 관계를 표현하기 위해 사용하는 다양한 매너들이 주는 것 독특한 패턴 분포로 상승하다 놀랍게도, 우리는 이 관계들이 차수 2의 마르코프 모형으로 모델링될 수 있고 이 결과는 다음과 같다. 모든 연구된 언어에 대해 보편적으로 유효합니다. 게다가, 변동은 패턴 분포는 우리가 역사적 시기를 결정할 수 있게 해준다. 본문은 작성되었고 그 저자는 작성되었다. 종합해 보면, 이 결과들은 시계열 분석 및 정보 이론적 방법의 관련성 자연어에서의 통계적 상관관계 이해 

 

 

Cross-Modality Gated Attention Fusion for Multimodal Sentiment Analysis

 

Multimodal sentiment analysis is an important research task to predict the sentiment score based on the different modality data from a specific opinion video. Many previous pieces of research have proved the significance of utilizing the shared and unique information across different modalities. However, the high-order combined signals from multimodal data would also help extract satisfied representations. In this paper, we propose CMGA, a Cross-Modality Gated Attention fusion model for MSA that tends to make adequate interaction across different modality pairs. CMGA also adds a forget gate to filter the noisy and redundant signals introduced in the interaction procedure. We experiment on two benchmark datasets in MSA, MOSI, and MOSEI, illustrating the performance of CMGA over several baseline models. We also conduct the ablation study to demonstrate the function of different components inside CMGA.

 

멀티모달 감정 분석은 다음을 예측하는 중요한 연구 과제이다. 특정 의견과 다른 양식 데이터를 기반으로 한 감정 점수 비디오. 많은 이전의 연구들은 그 중요성을 증명했다. 서로 다른 양식에서 공유되고 고유한 정보를 활용합니다. 그러나 멀티모달 데이터의 고차 결합 신호도 도움이 될 것이다. 만족스러운 표현을 추출하다 본 논문에서는 CMGA를 제안한다. 적절한 경향이 있는 MSA를 위한 교차 모달리티 게이트 어텐션 융합 모델 서로 다른 촬영장비 쌍 간의 상호 작용. CMGA는 또한 망각 게이트를 에 추가합니다. 상호 작용 절차에 도입된 잡음 및 중복 신호를 필터링합니다. 우리는 MSA, MOSI 및 MOSEI의 두 가지 벤치마크 데이터 세트에 대해 실험합니다. 여러 기준 모델에 대한 CMGA의 성능. 우리는 또한 수행한다. CMGA 내부의 다양한 구성 요소의 기능을 입증하기 위한 절제 연구. 

 

 

A logical theory for strong and weak ontic necessities in branching time

 

Ontic necessities are those modalities universally quantifying over domains of ontic possibilities, whose ``existence'' is independent of our knowledge. An ontic necessity, called the weak ontic necessity, causes interesting questions. An example for it is ``I should be dead by now''. A feature of this necessity is whether it holds at a state has nothing to do with whether its prejacent holds at the state. Is there a weak epistemic necessity expressed by ``should''? Is there a strong ontic necessity expressed by ``must''? How do we make sense of the strong and weak ontic necessities formally? In this paper, we do the following work. Firstly, we recognize strong/weak ontic/epistemic necessities and give our general ideas about them. Secondly, we present a complete logical theory for the strong and weak ontic necessities in branching time. This theory is based on the following approach. The weak ontic necessity quantifies over a domain of expected timelines, determined by the agent's system of ontic rules. The strong ontic necessity quantifies over a domain of accepted timelines, determined by undefeatable ontic rules.

 

온틱 필수품은 도메인을 통해 보편적으로 정량화하는 양식이다. 우리의 지식과는 무관한 존재인 ''의식'''의 가능성. 안 약한 온틱 필연성이라 불리는 온틱 필연성은 흥미로운 질문을 유발한다. 그 예로 ''지금쯤 나는 죽었어야 했다''가 있다. 이 필요성의 특징. 그것이 상태를 유지하는지 여부는 그것의 전치 여부와 무관하다. 국가를 유지하다. 다음과 같이 표현되는 약한 인식론적 필요성이 있는가? ''해야 한다''? "필수"로 표현되는 강한 원론적 필요성이 있는가? 어떻게 할까요? 형식적으로 강하고 약한 온틱 필수품을 이해합니까? 이 논문에서, 우리는 다음 작업을 수행합니다. 첫째, 강한/약한 온대성/전염성을 인지합니다. 필수품들 그리고 그것들에 대한 우리의 일반적인 생각들. 둘째로, 우리는 다음을 제시한다. 분기의 강약요소에 대한 완전한 논리이론. 시간. 이 이론은 다음과 같은 접근법에 기초한다. 약한 본질적 필요성. 에이전트에 의해 결정되는 예상 타임라인 도메인에 걸쳐 정량화 상투적인 규칙 체계 강한 본질적 필요성은 의 영역에 걸쳐 수량화된다. 이길 수 없는 주제 규칙에 의해 결정되는 승인된 타임라인