[2023-04-16] 오늘의 자연어처리

Sign Language Translation from Instructional Videos

 

The advances in automatic sign language translation (SLT) to spoken languages have been mostly benchmarked with datasets of limited size and restricted domains. Our work advances the state of the art by providing the first baseline results on How2Sign, a large and broad dataset. We train a Transformer over I3D video features, using the reduced BLEU as a reference metric for validation, instead of the widely used BLEU score. We report a result of 8.03 on the BLEU score, and publish the first open-source implementation of its kind to promote further advances.

 

음성 언어로의 자동 수화 번역(SLT)의 발전 제한된 크기와 제한된 데이터셋으로 대부분 벤치마크되었습니다 도메인. 우리의 작업은 첫 번째 기준을 제공함으로써 최첨단 기술을 발전시킨다 결과는 크고 광범위한 데이터 세트인 How2Sign에 대한 것이다. 감소된 BLEU를 사용하여 I3D 비디오 기능을 통한 Transformer를 교육합니다 널리 사용되는 BLEU 점수 대신 유효성 검사를 위한 참조 메트릭. 우리가 BLEU 점수에 대한 8.03의 결과를 보고하고, 첫 번째 오픈 소스를 발행한다 진일보한 발전을 촉진하기 위한 그러한 종류의 실행. 

 

 

Using large language models for (de-)formalization and natural argumentation exercises for beginner's students

 

We describe two systems that use text-davinci-003, a large language model, for the automatized correction of (i) exercises in translating back and forth between natural language and the languages of propositional logic and first-order predicate logic and (ii) exercises in writing simple arguments in natural language in non-mathematical scenarios.

 

우리는 큰 언어 모델인 텍스트-다빈치-003을 사용하는 두 가지 시스템을 설명한다, 앞뒤로 번역하는 연습의 자동화된 교정을 위하여 자연어와 명제 논리의 언어들 사이에 그리고 1차 서술 논리와 (ii) 간단한 주장을 쓰는 연습 비통계적 시나리오에서의 자연어. 

 

 

Towards hypergraph cognitive networks as feature-rich models of knowledge

 

Semantic networks provide a useful tool to understand how related concepts are retrieved from memory. However, most current network approaches use pairwise links to represent memory recall patterns. Pairwise connections neglect higher-order associations, i.e. relationships between more than two concepts at a time. These higher-order interactions might covariate with (and thus contain information about) how similar concepts are along psycholinguistic dimensions like arousal, valence, familiarity, gender and others. We overcome these limits by introducing feature-rich cognitive hypergraphs as quantitative models of human memory where: (i) concepts recalled together can all engage in hyperlinks involving also more than two concepts at once (cognitive hypergraph aspect), and (ii) each concept is endowed with a vector of psycholinguistic features (feature-rich aspect). We build hypergraphs from word association data and use evaluation methods from machine learning features to predict concept concreteness. Since concepts with similar concreteness tend to cluster together in human memory, we expect to be able to leverage this structure. Using word association data from the Small World of Words dataset, we compared a pairwise network and a hypergraph with N=3586 concepts/nodes. Interpretable artificial intelligence models trained on (1) psycholinguistic features only, (2) pairwise-based feature aggregations, and on (3) hypergraph-based aggregations show significant differences between pairwise and hypergraph links. Specifically, our results show that higher-order and feature-rich hypergraph models contain richer information than pairwise networks leading to improved prediction of word concreteness. The relation with previous studies about conceptual clustering and compartmentalisation in associative knowledge and human memory are discussed.

 

시맨틱 네트워크는 어떻게 관련된 개념을 이해하는 데 유용한 도구를 제공한다 메모리에서 검색됩니다. 그러나 대부분의 현재 네트워크 접근 방식은 메모리 호출 패턴을 나타내는 쌍으로 연결됩니다. 쌍방향 연결 고차 연상, 즉 둘 이상의 관계를 무시하다 한 번에 개념을 입력합니다. 이러한 고차 교호작용은 다음과 같이 공변할 수 있다 따라서) 유사한 개념이 심리언어학적으로 어떻게 존재하는지에 대한 정보를 포함한다 각성, 원자가, 친근감, 성별 및 기타와 같은 차원. 우리는 극복한다 기능이 풍부한 인지 하이퍼그래프를 양적으로 도입함으로써 이러한 한계 인간 기억의 모델은 다음과 같다: (i) 함께 회상된 개념들은 모두 관여할 수 있다 동시에 두 개 이상의 개념을 포함하는 하이퍼링크(하이퍼그래프 포함) 측면), 그리고 (ii) 각 개념에는 심리언어학의 벡터가 부여된다 특징(특징이 풍부한 측면). 우리는 단어 연관 데이터로부터 하이퍼그래프를 만든다 그리고 개념을 예측하기 위해 기계 학습 기능의 평가 방법을 사용한다 구체성. 유사한 구체성을 가진 개념들이 함께 군집화되는 경향이 있기 때문이다 인간의 기억 속에서, 우리는 이 구조를 활용할 수 있을 것으로 기대한다. 단어 사용하기 작은 단어의 세계 데이터 세트의 연관 데이터, 우리는 쌍으로 비교했다 네트워크 및 N=3586 개념/데이터 세트가 포함된 하이퍼그래프입니다. 해석가능한 인공 (1) 심리언어학적 특징에 대해 훈련된 지능 모델, (2) 쌍별 기능 집계 및 (3) 하이퍼그래프 기반 집계 쌍별 링크와 하이퍼그래프 링크 간에 상당한 차이가 있습니다. 특히, 우리의 결과는 고차적이고 기능이 풍부한 하이퍼그래프를 보여준다 모델은 쌍으로 구성된 네트워크보다 풍부한 정보를 포함하여 개선됩니다 단어의 정확성 예측. 에 대한 이전 연구와의 관계 개념적 클러스터링 및 연관 지식의 구획화 인간의 기억이 논의된다.