[2023-02-27] 오늘의 자연어처리

What makes a language easy to deep-learn?

 

Neural networks drive the success of natural language processing. A fundamental property of natural languages is their compositional structure, allowing us to describe new meanings systematically. However, neural networks notoriously struggle with systematic generalization and do not necessarily benefit from a compositional structure in emergent communication simulations. Here, we test how neural networks compare to humans in learning and generalizing a new language. We do this by closely replicating an artificial language learning study (conducted originally with human participants) and evaluating the memorization and generalization capabilities of deep neural networks with respect to the degree of structure in the input language. Our results show striking similarities between humans and deep neural networks: More structured linguistic input leads to more systematic generalization and better convergence between humans and neural network agents and between different neural agents. We then replicate this structure bias found in humans and our recurrent neural networks with a Transformer-based large language model (GPT-3), showing a similar benefit for structured linguistic input regarding generalization systematicity and memorization errors. These findings show that the underlying structure of languages is crucial for systematic generalization. Due to the correlation between community size and linguistic structure in natural languages, our findings underscore the challenge of automated processing of low-resource languages. Nevertheless, the similarity between humans and machines opens new avenues for language evolution research.

 

신경망은 자연어 처리의 성공을 주도한다. a 자연어의 기본적인 속성은 구성 구조이다, 새로운 의미를 체계적으로 설명할 수 있게 해줍니다. 그러나 신경망은 체계적인 일반화에 어려움을 겪는 것으로 악명이 높으며 반드시 그렇지는 않다 긴급 통신 시뮬레이션의 구성 구조로부터 이익을 얻는다. 여기서, 우리는 학습에서 신경망이 인간과 어떻게 비교되는지 테스트한다 새로운 언어의 일반화. 우리는 인공적인 것을 가까이서 복제함으로써 이것을 한다 언어 학습 연구(원래는 인간 참가자와 공유) 및 심층 신경의 암기 및 일반화 능력 평가 입력 언어의 구조 정도와 관련된 네트워크. 우리들의 결과는 인간과 심층 신경망 사이의 현저한 유사성을 보여준다: 더 체계적인 언어 입력은 더 체계적인 일반화로 이어진다 인간과 신경망 에이전트, 그리고 사이의 더 나은 융합 다른 신경 작용제들. 그런 다음 우리는 인간에게서 발견되는 이 구조 편향을 복제한다 그리고 트랜스포머 기반의 대형 언어 모델을 사용한 우리의 반복 신경망 (GPT-3), 다음과 같은 구조화된 언어 입력에 대해 유사한 이점을 보여준다 일반화 체계성과 암기 오류. 이 연구 결과는 다음을 보여준다 언어의 기본 구조는 체계적인 일반화에 중요하다. 공동체의 크기와 언어 구조 사이의 상관관계 때문에 자연어, 우리의 발견은 자동화의 도전을 강조한다 리소스가 낮은 언어의 처리. 그럼에도 불구하고, 사이의 유사성은 인간과 기계는 언어 진화 연구를 위한 새로운 길을 열어준다. 

 

 

HL Dataset: Grounding High-Level Linguistic Concepts in Vision

 

Current captioning datasets, focus on object-centric captions, describing the visible objects in the image, often ending up stating the obvious (for humans), e.g. "people eating food in a park". Although these datasets are useful to evaluate the ability of Vision & Language models to recognize the visual content, they lack in expressing trivial abstract concepts, e.g. "people having a picnic". Such concepts are licensed by human's personal experience and contribute to forming common sense assumptions. We present the High-Level Dataset; a dataset extending 14997 images of the COCO dataset with 134973 human-annotated (high-level) abstract captions collected along three axes: scenes, actions and rationales. We describe and release such dataset and we show how it can be used to assess models' multimodal grounding of abstract concepts and enrich models' visio-lingusitic representations. Moreover, we describe potential tasks enabled by this dataset involving high- and low-level concepts interactions.

 

현재 캡션 데이터 세트, 객체 중심 캡션에 초점, 설명 이미지에서 눈에 보이는 물체, 종종 (인간에게) 명백한 것을 진술하게 된다, 예: "공원에서 음식을 먹는 사람들". 이러한 데이터 세트는 다음과 같은 경우에도 유용합니다 시각을 인식하는 비전 및 언어 모델의 능력을 평가한다 내용, 그들은 사소한 추상적 개념을 표현하는 데 부족하다. 예를 들어 "사람들은 다음을 가지고 있습니다 소풍." 그러한 개념들은 인간의 개인적인 경험과 상식적인 가정을 형성하는 데 기여하다. 우리는 높은 수준을 제시한다 데이터 세트: 134973을 사용하여 COCO 데이터 세트의 14997 이미지를 확장하는 데이터 세트 세 개의 축을 따라 수집된 인간 수준(고급) 추상 캡션: 장면, 행동, 이성. 우리는 그러한 데이터 세트를 설명하고 공개하고 우리는 모델의 추상적인 다중 모드 기초를 평가하는 데 어떻게 사용할 수 있는지 보여줍니다 개념 및 모델의 비전 언어 표현을 풍부하게 한다. 게다가 우리는 높은 수준과 낮은 수준을 포함하는 이 데이터 세트에 의해 가능한 잠재적인 작업을 설명합니다 개념 상호 작용. 

 

 

Natural Language Processing in the Legal Domain

 

In this paper, we summarize the current state of the field of NLP & Law with a specific focus on recent technical and substantive developments. To support our analysis, we construct and analyze a nearly complete corpus of more than six hundred NLP & Law related papers published over the past decade. Our analysis highlights several major trends. Namely, we document an increasing number of papers written, tasks undertaken, and languages covered over the course of the past decade. We observe an increase in the sophistication of the methods which researchers deployed in this applied context. Slowly but surely, Legal NLP is beginning to match not only the methodological sophistication of general NLP but also the professional standards of data availability and code reproducibility observed within the broader scientific community. We believe all of these trends bode well for the future of the field, but many questions in both the academic and commercial sphere still remain open.

 

본 논문에서, 우리는 NLP & Law 분야의 현재 상태를 다음과 같이 요약한다 최근의 기술적이고 실질적인 발전에 대한 구체적인 초점. 지원하기 위해 우리의 분석, 우리는 거의 완전한 말뭉치를 구성하고 분석한다 지난 10년 동안 출판된 600개의 NLP & Law 관련 논문. 우리들의 분석은 몇 가지 주요 추세를 강조합니다. 즉, 우리는 증가를 문서화한다 작성된 논문의 수, 수행된 작업 및 언어 지난 10년의 경과. 우리는 의 정교함이 증가하는 것을 관찰한다 연구자들이 이 적용된 맥락에서 배치한 방법. 느리지만 확실하게, 법적 NLP는 방법론적 정교함뿐만 아니라 일반적인 NLP뿐만 아니라 데이터 가용성 및 코드에 대한 전문적인 표준도 제공합니다 광범위한 과학계에서 관찰된 재현성. 우리는 믿는다 이 모든 트렌드는 그 분야의 미래에 좋은 징조이지만, 많은 질문들이 있다 학계와 상업계 모두에서 여전히 열려 있다.