[2023-01-16] 오늘의 자연어처리

tieval: An Evaluation Framework for Temporal Information Extraction Systems

 

Temporal information extraction (TIE) has attracted a great deal of interest over the last two decades, leading to the development of a significant number of datasets. Despite its benefits, having access to a large volume of corpora makes it difficult when it comes to benchmark TIE systems. On the one hand, different datasets have different annotation schemes, thus hindering the comparison between competitors across different corpora. On the other hand, the fact that each corpus is commonly disseminated in a different format requires a considerable engineering effort for a researcher/practitioner to develop parsers for all of them. This constraint forces researchers to select a limited amount of datasets to evaluate their systems which consequently limits the comparability of the systems. Yet another obstacle that hinders the comparability of the TIE systems is the evaluation metric employed. While most research works adopt traditional metrics such as precision, recall, and $F_1$, a few others prefer temporal awareness -- a metric tailored to be more comprehensive on the evaluation of temporal systems. Although the reason for the absence of temporal awareness in the evaluation of most systems is not clear, one of the factors that certainly weights this decision is the necessity to implement the temporal closure algorithm in order to compute temporal awareness, which is not straightforward to implement neither is currently easily available. All in all, these problems have limited the fair comparison between approaches and consequently, the development of temporal extraction systems. To mitigate these problems, we have developed tieval, a Python library that provides a concise interface for importing different corpora and facilitates system evaluation. In this paper, we present the first public release of tieval and highlight its most relevant features.

 

시간 정보 추출(TIE)은 많은 관심을 끌었다 지난 20년 동안, 상당한 수의 개발로 이어졌다 데이터 세트의 수. 이점에도 불구하고, 많은 양의 말뭉치에 액세스할 수 있습니다 벤치마크 TIE 시스템과 관련하여 어려움을 겪고 있습니다. 한편으로는, 서로 다른 데이터 세트는 서로 다른 주석 체계를 가지고 있기 때문에, 그것은 방해가 된다 서로 다른 말뭉치에 걸친 경쟁자 간의 비교. 반면에 각 말뭉치가 일반적으로 다른 형식으로 배포된다는 사실은 다음을 요구한다 연구자/실무자가 개발하기 위한 상당한 엔지니어링 노력 그들 모두를 위한 파서. 이 제약 조건은 연구자들이 제한된 것을 선택하도록 강제한다 결과적으로 제한되는 시스템을 평가할 데이터셋의 양 시스템의 비교 가능성. 하지만 또 다른 장애물이 방해가 된다 TIE 시스템의 비교 가능성은 사용된 평가 지표이다. 대부분은 연구 작업은 정밀도, 리콜 및 $F_1$와 같은 전통적인 메트릭을 채택한다, 몇몇 다른 사람들은 시간적 인식을 선호한다 -- 더 많이 맞춤화된 측정 기준 시간 시스템 평가에 대한 포괄적인. 비록 이유는 있지만 대부분의 시스템 평가에서 시간적 인식의 부재는 그렇지 않다 분명히, 이 결정에 무게를 두는 요소 중 하나는 필요성이다 시간을 계산하기 위해 시간 폐쇄 알고리즘을 구현하다 인식, 구현이 간단하지도 않고 현재도 그렇지도 않다 쉽게 구할 수 있는. 대체로, 이러한 문제들은 공정한 비교를 제한했다 접근법과 결과적으로, 시간적 추출의 개발 사이 시스템들. 이러한 문제를 완화하기 위해 Python 라이브러리인 tieval을 개발했습니다 다른 말뭉치를 가져오기 위한 간결한 인터페이스를 제공합니다 시스템 평가를 용이하게 합니다. 이 논문에서, 우리는 첫 번째 대중을 제시한다 타이벌을 해제하고 가장 관련성이 높은 기능을 강조합니다. 

 

 

Language Cognition and Language Computation -- Human and Machine Language Understanding

 

Language understanding is a key scientific issue in the fields of cognitive and computer science. However, the two disciplines differ substantially in the specific research questions. Cognitive science focuses on analyzing the specific mechanism of the brain and investigating the brain's response to language; few studies have examined the brain's language system as a whole. By contrast, computer scientists focus on the efficiency of practical applications when choosing research questions but may ignore the most essential laws of language. Given these differences, can a combination of the disciplines offer new insights for building intelligent language models and studying language cognitive mechanisms? In the following text, we first review the research questions, history, and methods of language understanding in cognitive and computer science, focusing on the current progress and challenges. We then compare and contrast the research of language understanding in cognitive and computer sciences. Finally, we review existing work that combines insights from language cognition and language computation and offer prospects for future development trends.

 

언어 이해는 인지 분야에서 핵심적인 과학적 문제이다 그리고 컴퓨터 과학. 그러나 두 분야는 크게 다르다 구체적인 연구 질문들. 인지 과학은 분석에 초점을 맞춘다 뇌의 특정 메커니즘과 뇌의 반응을 조사하는 것 언어; 뇌의 언어 체계를 전체적으로 조사한 연구는 거의 없다. 타고 대조적으로, 컴퓨터 과학자들은 실용적인 응용의 효율성에 초점을 맞춘다 연구 질문을 선택할 때 그러나 가장 본질적인 법칙을 무시할 수 있다 언어. 이러한 차이를 고려할 때, 다양한 분야의 조합이 제공할 수 있습니까 지능형 언어 모델을 구축하고 언어를 연구하기 위한 새로운 통찰력 인지 메커니즘? 다음 텍스트에서, 우리는 먼저 연구를 검토한다 질문, 역사, 그리고 인지적 그리고 언어 이해의 방법들 현재의 진보와 도전에 초점을 맞춘 컴퓨터 과학. 그럼 우리 인지적 그리고 언어 이해의 연구를 비교하고 대조한다 컴퓨터 공학. 마지막으로, 우리는 다음과 같은 통찰력을 결합한 기존 작업을 검토한다 언어 인지와 언어 계산 그리고 미래에 대한 전망을 제공한다 개발 동향. 

 

 

Multilingual Entity and Relation Extraction from Unified to Language-specific Training

 

Entity and relation extraction is a key task in information extraction, where the output can be used for downstream NLP tasks. Existing approaches for entity and relation extraction tasks mainly focus on the English corpora and ignore other languages. Thus, it is critical to improving performance in a multilingual setting. Meanwhile, multilingual training is usually used to boost cross-lingual performance by transferring knowledge from languages (e.g., high-resource) to other (e.g., low-resource) languages. However, language interference usually exists in multilingual tasks as the model parameters are shared among all languages. In this paper, we propose a two-stage multilingual training method and a joint model called Multilingual Entity and Relation Extraction framework (mERE) to mitigate language interference across languages. Specifically, we randomly concatenate sentences in different languages to train a Language-universal Aggregator (LA), which narrows the distance of embedding representations by obtaining the unified language representation. Then, we separate parameters to mitigate interference via tuning a Language-specific Switcher (LS), which includes several independent sub-modules to refine the language-specific feature representation. After that, to enhance the relational triple extraction, the sentence representations concatenated with the relation feature are used to recognize the entities. Extensive experimental results show that our method outperforms both the monolingual and multilingual baseline methods. Besides, we also perform detailed analysis to show that mERE is lightweight but effective on relational triple extraction and mERE{} is easy to transfer to other backbone models of multi-field tasks, which further demonstrates the effectiveness of our method.

 

엔티티 및 관계 추출은 다음과 같은 정보 추출의 핵심 과제는 다음과 같습니다 출력은 다운스트림 NLP 작업에 사용할 수 있습니다. 엔티티에 대한 기존 접근 방식 그리고 관계 추출 작업은 주로 영어 코퍼스에 초점을 맞추고 무시한다 타국어. 따라서 성능을 개선하는 데 중요합니다 다국어 환경. 한편, 다국어 교육은 일반적으로 강화하기 위해 사용된다 언어로부터 지식을 이전함으로써 언어 간 성과(예: 다른 언어(예: 저자원)로 이동합니다. 하지만 언어는 모델 매개변수가 그렇듯이, 일반적으로 다국어 작업에 간섭이 존재한다 모든 언어가 공유하는. 본 논문에서는 2단계 다국어를 제안한다 교육 방법 및 다국어 엔터티 및 관계라는 공동 모델 언어 간의 언어 간섭을 완화하기 위한 추출 프레임워크(mERE). 특히, 우리는 훈련하기 위해 다른 언어로 된 문장을 무작위로 연결한다 임베딩 거리를 좁히는 LA(Language-Universal Aggregator) 통일된 언어 표현을 얻음으로써 표현. 그러면 저희가 언어별 조정을 통해 간섭을 완화하기 위한 별도의 매개 변수 전환기(LS)는 여러 개의 독립적인 하위 모듈을 포함하여 언어별 특징 표현. 그 후에, 관계를 강화하기 위해 삼중 추출, 관계와 연관된 문장 표현 피쳐는 도면요소를 인식하는 데 사용됩니다. 광범위한 실험 결과는 다음을 보여준다 우리의 방법이 단일 언어 및 다국어 기준선을 모두 능가한다는 것 방법들. 게다가, 우리는 또한 mERE가 가볍지만 관계적인 삼중 추출에 효과적이며 mERE{}는 하기 쉽다 다중 필드 작업의 다른 백본 모델로 이전합니다 는 우리 방법의 효과를 보여줍니다.