[2022-12-23] 오늘의 자연어처리

Training language models for deeper understanding improves brain alignment

 

Building systems that achieve a deeper understanding of language is one of the central goals of natural language processing (NLP). Towards this goal, recent works have begun to train language models on narrative datasets which require extracting the most critical information by integrating across long contexts. However, it is still an open question whether these models are learning a deeper understanding of the text, or if the models are simply learning a heuristic to complete the task. This work investigates this further by turning to the one language processing system that truly understands complex language: the human brain. We show that training language models for deeper narrative understanding results in richer representations that have improved alignment to human brain activity. We further find that the improvements in brain alignment are larger for character names than for other discourse features, which indicates that these models are learning important narrative elements. Taken together, these results suggest that this type of training can indeed lead to deeper language understanding. These findings have consequences both for cognitive neuroscience by revealing some of the significant factors behind brain-NLP alignment, and for NLP by highlighting that understanding of long-range context can be improved beyond language modeling.

 

언어에 대한 더 깊은 이해를 달성하는 시스템을 구축하는 것은 다음 중 하나이다. 자연어 처리(NLP)의 핵심 목표 이 목표를 향해, 최근 연구들은 서술적 데이터 세트에서 언어 모델을 훈련하기 시작했다. 장기간에 걸쳐 통합함으로써 가장 중요한 정보를 추출해야 한다. 문맥 그러나 이러한 모델이 다음과 같은지 여부는 여전히 미결 문제입니다. 텍스트에 대한 더 깊은 이해를 배우거나 모델이 단순히 작업을 완료하기 위한 휴리스틱 학습. 이 작업은 이것을 더 자세히 조사합니다. 복잡성을 진정으로 이해하는 단일 언어 처리 시스템으로 눈을 돌림으로써. 언어: 인간의 뇌. 우리는 훈련 언어 모델이 더 심층적이라는 것을 보여준다. 서술적 이해는 향상된 더 풍부한 표현을 낳는다. 인간의 뇌 활동에 대한 정렬 우리는 또한 다음과 같은 개선점을 발견했다. 뇌 정렬은 다른 담화보다 캐릭터 이름에 더 크다. 이 모델들이 중요한 이야기를 배우고 있다는 것을 나타내는 특징들 요소들. 이 결과들을 종합하면, 이러한 유형의 훈련은 다음과 같다. 정말로 더 깊은 언어 이해로 이어진다. 이 발견들은 결과를 가져온다. 중요한 요소들 중 몇 가지를 밝혀냄으로써 인지 신경 과학을 위해 둘 다. 뇌-NLP 정렬 뒤, 그리고 NLP에 대한 이해를 강조함으로써. 장거리 컨텍스트는 언어 모델링 이상으로 개선될 수 있다. 

 

 

Can NLI Provide Proper Indirect Supervision for Low-resource Biomedical Relation Extraction?

 

Two key obstacles in biomedical relation extraction (RE) are the scarcity of annotations and the prevalence of instances without explicitly pre-defined labels due to low annotation coverage. Existing approaches, which treat biomedical RE as a multi-class classification task, often result in poor generalization in low-resource settings and do not have the ability to make selective prediction on unknown cases but give a guess from seen relations, hindering the applicability of those approaches. We present NBR, which converts biomedical RE as natural language inference formulation through indirect supervision. By converting relations to natural language hypotheses, NBR is capable of exploiting semantic cues to alleviate annotation scarcity. By incorporating a ranking-based loss that implicitly calibrates abstinent instances, NBR learns a clearer decision boundary and is instructed to abstain on uncertain instances. Extensive experiments on three widely-used biomedical RE benchmarks, namely ChemProt, DDI and GAD, verify the effectiveness of NBR in both full-set and low-resource regimes. Our analysis demonstrates that indirect supervision benefits biomedical RE even when a domain gap exists, and combining NLI knowledge with biomedical knowledge leads to the best performance gains.

 

생물의학적 관계 추출(RE)에서 두 가지 주요 장애물은 부족하다는 것이다. 주석 및 명시적으로 사전 정의되지 않은 인스턴스의 보급률 주석 적용 범위가 낮기 때문에 레이블. 기존 접근 방식, 처리 다중 클래스 분류 작업으로서의 생물의학 RE는 종종 열악한 결과를 초래한다. 리소스가 부족한 설정에서 일반화를 수행할 수 없습니다. 알려지지 않은 사례에 대한 선택적 예측이지만 보이는 관계로부터 추측을 제공한다. 그러한 접근법의 적용 가능성을 방해한다. 우리는 변환하는 NBR을 제시한다. 간접을 통한 자연어 추론 공식으로서의 생물의학 RE 감독. 관계를 자연어 가설로 변환함으로써, NBR은 주석 부족을 완화하기 위해 의미론적 단서를 이용할 수 있다. 타고 기권을 암시적으로 보정하는 순위 기반 손실 통합 사례에서, NBR은 더 명확한 결정 경계를 학습하고 기권하도록 지시받는다. 불확실한 경우에는 널리 사용되는 세 가지 바이오메디컬에 대한 광범위한 실험 RE 벤치마크, 즉 ChemProt, DDI 및 GAD는 NBR의 효과를 검증한다. 풀 세트 및 저자원 체제 모두. 우리의 분석은 그것을 간접적으로 보여준다. 도메인 격차가 존재하는 경우에도 감독은 바이오메디컬 RE에 이익을 줍니다. 그리고 결합. 생물 의학 지식을 갖춘 NLI 지식은 최상의 성능 향상으로 이어진다. 

 

 

Resolving Indirect Referring Expressions for Entity Selection

 

Recent advances in language modeling have enabled new conversational systems. In particular, it is often desirable for people to make choices among specified options when using such systems. We address the problem of reference resolution, when people use natural expressions to choose between real world entities. For example, given the choice `Should we make a Simnel cake or a Pandan cake?' a natural response from a non-expert may be indirect: `let's make the green one'. Reference resolution has been little studied with natural expressions, thus robustly understanding such language has large potential for improving naturalness in dialog, recommendation, and search systems. We create AltEntities (Alternative Entities), a new public dataset of entity pairs and utterances, and develop models for the disambiguation problem. Consisting of 42K indirect referring expressions across three domains, it enables for the first time the study of how large language models can be adapted to this task. We find they achieve 82%-87% accuracy in realistic settings, which while reasonable also invites further advances.

 

언어 모델링의 최근 발전은 새로운 대화 시스템을 가능하게 했다. 특히, 사람들이 특정된 것들 중에서 선택하는 것이 종종 바람직하다. 이러한 시스템을 사용할 때의 옵션. 우리는 참조의 문제를 다룬다. 사람들이 현실 세계 사이에서 선택하기 위해 자연스러운 표현을 사용할 때, 해상도. 실체. 예를 들어, '심넬 케이크를 만들까?'라는 선택이 주어지면 판단 케이크?' 비전문가의 자연스러운 반응은 간접적일 수 있다: '만들자. 녹색의 것 기준 분해능은 자연적으로 거의 연구되지 않았다. 표현들, 그러므로 그러한 언어를 강하게 이해하는 것은 큰 잠재력을 가지고 있다. 대화, 추천 및 검색 시스템에서 자연스러움을 개선합니다. 우리는 창조한다. AltEntities(Alternative Entities), 엔티티 쌍의 새로운 공개 데이터 세트 및 발언, 그리고 명확화 문제에 대한 모델을 개발한다. 로 구성됨 3개의 도메인에 걸친 42K 간접 참조 표현, 그것은 다음을 가능하게 한다. 처음으로 큰 언어 모델이 이 작업에 어떻게 적용될 수 있는지에 대한 연구. 우리는 그들이 현실적인 설정에서 82%-87%의 정확도를 달성한다는 것을 발견했다. 합리적인 것은 또한 더 많은 발전을 불러 일으킨다.