[2023-06-21] 오늘의 자연어처리

Using Natural Language Processing and Networks to Automate Structured Literature Reviews: An Application to Farmers Climate Change Adaptation

 

The fast-growing number of research articles makes it problematic for scholars to keep track of the new findings related to their areas of expertise. Furthermore, linking knowledge across disciplines in rapidly developing fields becomes challenging for complex topics like climate change that demand interdisciplinary solutions. At the same time, the rise of Black Box types of text summarization makes it difficult to understand how text relationships are built, let alone relate to existing theories conceptualizing cause-effect relationships and permitting hypothesizing. This work aims to sensibly use Natural Language Processing by extracting variables relations and synthesizing their findings using networks while relating to key concepts dominant in relevant disciplines. As an example, we apply our methodology to the analysis of farmers' adaptation to climate change. For this, we perform a Natural Language Processing analysis of publications returned by Scopus in August 2022. Results show that the use of Natural Language Processing together with networks in a descriptive manner offers a fast and interpretable way to synthesize literature review findings as long as researchers back up results with theory.

 

빠르게 증가하는 연구 기사의 수는 그것을 문제 삼는다 그들의 전문 분야와 관련된 새로운 발견을 추적하기 위한 학자들. 또한, 빠르게 발전하는 분야의 여러 분야에 걸쳐 지식을 연결합니다 기후 변화와 같은 복잡한 주제를 요구하는 것이 어려워진다 학제간의 해결책. 동시에 블랙박스 유형의 증가 텍스트 요약은 텍스트 관계를 이해하는 것을 어렵게 만든다 인과 관계를 개념화하는 기존 이론과 관련된 것은 말할 것도 없고 구축되었다 관계 및 가설을 허용합니다. 이 작품은 현명하게 사용하는 것을 목표로 한다 변수 관계 추출 및 합성을 통한 자연어 처리 네트워크를 사용하는 동시에 지배적인 주요 개념과 관련된 그들의 발견 관련 학과. 예를 들어, 우리는 분석에 우리의 방법론을 적용한다 기후 변화에 대한 농부들의 적응. 이를 위해 Natural을 수행합니다 Scopus가 2022년 8월에 반환한 출판물의 언어 처리 분석. 결과는 네트워크와 함께 자연어 처리의 사용을 보여준다 기술적인 방식으로 빠르고 해석 가능한 합성 방법을 제공한다 연구자들이 이론으로 결과를 뒷받침하는 한 문헌은 결과를 검토한다. 

 

 

Politeness Stereotypes and Attack Vectors: Gender Stereotypes in Japanese and Korean Language Models

 

In efforts to keep up with the rapid progress and use of large language models, gender bias research is becoming more prevalent in NLP. Non-English bias research, however, is still in its infancy with most work focusing on English. In our work, we study how grammatical gender bias relating to politeness levels manifests in Japanese and Korean language models. Linguistic studies in these languages have identified a connection between gender bias and politeness levels, however it is not yet known if language models reproduce these biases. We analyze relative prediction probabilities of the male and female grammatical genders using templates and find that informal polite speech is most indicative of the female grammatical gender, while rude and formal speech is most indicative of the male grammatical gender. Further, we find politeness levels to be an attack vector for allocational gender bias in cyberbullying detection models. Cyberbullies can evade detection through simple techniques abusing politeness levels. We introduce an attack dataset to (i) identify representational gender bias across politeness levels, (ii) demonstrate how gender biases can be abused to bypass cyberbullying detection models and (iii) show that allocational biases can be mitigated via training on our proposed dataset. Through our findings we highlight the importance of bias research moving beyond its current English-centrism.

 

빠른 발전과 큰 언어의 사용을 따라가기 위한 노력으로 모델, 젠더 편향 연구는 NLP에서 더욱 보편화되고 있다. 영어 이외의 언어 그러나 편견 연구는 여전히 초기 단계에 있으며 대부분의 연구는 초점을 맞추고 있다 영어. 우리의 연구에서, 우리는 어떻게 문법적인 성 편견과 관련이 있는지 연구한다 예의 수준은 일본어와 한국어 모델에서 나타난다. 언어학 이 언어들의 연구들은 성 편견과 예의 수준, 그러나 언어 모델이 재현되는지는 아직 알려지지 않았다 이런 편견들. 우리는 남성의 상대적인 예측 확률을 분석하고 템플릿을 사용하는 여성 문법적 젠더들 그리고 비공식적인 공손한 말을 찾는다 무례하고 형식적인 반면에 여성 문법적인 성별을 가장 잘 나타낸다 언어는 남성의 문법적 성별을 가장 잘 나타낸다. 더 나아가서, 우리는 발견한다 예의 수준은 할당된 성 편견에 대한 공격 벡터가 될 것이다 사이버 괴롭힘 탐지 모델. 사이버 폭력은 단순함을 통해 탐지를 피할 수 있다 공손함 수준을 악용하는 기술. 우리는 (i)에 공격 데이터 세트를 도입한다 예의 수준에 걸쳐 대표적인 성 편견을 식별한다, (ii) 성 편견이 사이버 괴롭힘 탐지를 우회하기 위해 어떻게 남용될 수 있는지 보여준다 모델 및 (iii) 할당 편향이 교육을 통해 완화될 수 있음을 보여준다 제안된 데이터 세트. 연구 결과를 통해 우리는 편견의 중요성을 강조한다 현재의 영국 중심주의를 벗어난 연구. 

 

 

Pushing the Limits of ChatGPT on NLP Tasks

 

Despite the success of ChatGPT, its performances on most NLP tasks are still well below the supervised baselines. In this work, we looked into the causes, and discovered that its subpar performance was caused by the following factors: (1) token limit in the prompt does not allow for the full utilization of the supervised datasets; (2) mismatch between the generation nature of ChatGPT and NLP tasks; (3) intrinsic pitfalls of LLMs models, e.g., hallucination, overly focus on certain keywords, etc. In this work, we propose a collection of general modules to address these issues, in an attempt to push the limits of ChatGPT on NLP tasks. Our proposed modules include (1) a one-input-multiple-prompts strategy that employs multiple prompts for one input to accommodate more demonstrations; (2) using fine-tuned models for better demonstration retrieval; (3) transforming tasks to formats that are more tailored to the generation nature; (4) employing reasoning strategies that are tailored to addressing the task-specific complexity; (5) the self-verification strategy to address the hallucination issue of LLMs; (6) the paraphrase strategy to improve the robustness of model predictions. We conduct experiments on 21 datasets of 10 representative NLP tasks, including question answering, commonsense reasoning, natural language inference, sentiment analysis, named entity recognition, entity-relation extraction, event extraction, dependency parsing, semantic role labeling, and part-of-speech tagging. Using the proposed assemble of techniques, we are able to significantly boost the performance of ChatGPT on the selected NLP tasks, achieving performances comparable to or better than supervised baselines, or even existing SOTA performances.

 

ChatGPT의 성공에도 불구하고 대부분의 NLP 작업에 대한 성능은 여전히 우수합니다 감독된 기준선보다 훨씬 아래에 있습니다. 이 작업에서, 우리는 원인을 조사했습니다, 그리고 그 수준 이하의 성능은 다음과 같은 요인에 의해 발생한다는 것을 발견했다: (1) 프롬프트의 토큰 제한은 의 완전한 사용을 허용하지 않습니다 감독된 데이터 세트, (2) ChatGPT의 생성 특성과 NLP 작업; (3) 환각, 과도한 환각 등 LLM 모델의 본질적인 함정 특정 키워드 등에 초점을 맞추다. 이 작업에서, 우리는 이것들을 다루기 위한 일반적인 모듈들의 모음을 제안한다 문제, NLP 작업에 대한 ChatGPT의 한계를 밀어붙이기 위한 시도. 우리가 제안한 모듈은 (1) 여러 개를 사용하는 단일 입력 다중 프로세서 전략을 포함한다 더 많은 데모를 수용하기 위해 하나의 입력을 요구하는 프롬프트; (2) 미세 조정 사용 더 나은 데모 검색을 위한 모델; (3) 작업을 형식으로 변환 (4) 추론을 사용하는 것은 세대 본성에 더 적합하다 업무별 복잡성을 해결하기 위해 맞춤화된 전략, (5) LLM의 환각 문제를 해결하기 위한 자체 검증 전략; (6) 모델 예측의 견고성을 향상시키기 위한 패러프레이즈 전략. 우리는 10개의 대표적인 NLP 작업의 21개 데이터 세트에 대해 실험을 수행한다, 질문 답변, 상식적 추론, 자연어를 포함한다 추론, 감정 분석, 명명된 도면요소 인식, 도면요소-해석 추출, 이벤트 추출, 종속성 구문 분석, 의미 역할 레이블링 및 부품 태그 지정. 제안된 기술 집합을 사용하여 우리는 선택된 NLP 작업에 대한 ChatGPT의 성능을 크게 향상시키기 위해, 감독 기준선과 비슷하거나 그 이상의 성과를 달성하는 것, 또는 심지어 기존 SOTA 공연도.