[2022-12-21] 오늘의 자연어처리

Resoling Open-textured Rules with Templated Interpretive Arguments

 

Open-textured terms in written rules are typically settled through interpretive argumentation. Ongoing work has attempted to catalogue the schemes used in such interpretive argumentation. But how can the use of these schemes affect the way in which people actually use and reason over the proper interpretations of open-textured terms? Using the interpretive argument-eliciting game Aporia as our framework, we carried out an empirical study to answer this question. Differing from previous work, we did not allow participants to argue for interpretations arbitrarily, but to only use arguments that fit with a given set of interpretive argument templates. Finally, we analyze the results captured by this new dataset, specifically focusing on practical implications for the development of interpretation-capable artificial reasoners.

 

문서화된 규칙에서 개방형 텍스처 용어는 일반적으로 다음을 통해 해결된다. 해석적인 의론 진행 중인 작업은 계획을 분류하려고 시도했다. 그런 해석적인 논쟁에서 사용된다. 하지만 어떻게 이런 계획을 사용할 수 있을까요? 사람들이 실제로 사용하는 방법과 적절한 것에 대한 추론에 영향을 주다. 오픈 텍스처 용어의 해석? 해석 사용 논쟁을 유발하는 게임 아포리아를 우리의 프레임워크로, 우리는 경험적인 것을 수행했다. 이 문제에 답하기 위해 공부하세요. 이전 작업과 달리, 우리는 허락하지 않았다. 참가자들은 자의적으로 해석을 주장하지만, 오직 사용하기 위해. 주어진 해석적 인수 템플릿 집합과 일치하는 인수입니다. 마지막으로, 우리는 이 새로운 데이터 세트에 의해 포착된 결과를 구체적으로 분석한다. 의 발전을 위한 실질적인 영향에 초점을 맞춘다. 해석이 가능한 인공 추론자들 

 

 

Human-in-the-loop Evaluation for Early Misinformation Detection: A Case Study of COVID-19 Treatments

 

We present a human-in-the-loop evaluation framework for fact-checking novel misinformation claims and identifying social media messages that violate relevant policies. Our approach extracts structured representations of check-worthy claims, which are aggregated and ranked for review. Stance classifiers are then used to identify tweets supporting novel misinformation claims, which are further reviewed to determine whether they violate relevant policies. To demonstrate the feasibility of our approach, we develop a baseline system based on modern NLP methods for human-in-the-loop fact-checking in the domain of COVID-19 treatments. Using our baseline system, we show that human fact-checkers can identify 124 tweets per hour that violate Twitter's policies on COVID-19 misinformation. We will make our code, data, and detailed annotation guidelines available to support the evaluation of human-in-the-loop systems that identify novel misinformation directly from raw user-generated content.

 

우리는 사실 확인 소설을 위한 휴먼 인 더 루프 평가 프레임워크를 제시한다. 잘못된 정보를 주장하고 위반하는 소셜 미디어 메시지를 식별합니다. 관련 정책 우리의 접근 방식은 다음과 같은 구조적 표현을 추출한다. 검토를 위해 집계되고 순위가 매겨지는 확인 가능한 청구. 스탠스 분류기는 새로운 잘못된 정보를 지지하는 트윗을 식별하는 데 사용된다. 관련 위반 여부를 결정하기 위해 추가로 검토되는 청구 정책들. 접근 방식의 실현 가능성을 입증하기 위해, 우리는 기준선을 개발한다. 현대 NLP 방법을 기반으로 한 시스템은 루프 내 인간 사실 확인을 위한 것이다. COVID-19 치료의 영역. 우리의 기준선 시스템을 사용하여, 우리는 인간이 팩트체커는 트위터의 정책을 위반하는 시간당 124개의 트윗을 식별할 수 있다. 코로나19 오보에 관한 것입니다. 우리는 우리의 코드, 데이터, 그리고 세부사항을 만들 것이다. 루프 내 인간 평가를 지원하기 위해 사용 가능한 주석 지침 원시 사용자가 생성한 새로운 잘못된 정보를 직접 식별하는 시스템 내용의 

 

 

Human-in-the-loop Evaluation for Early Misinformation Detection: A Case Study of COVID-19 Treatments

 

We present a human-in-the-loop evaluation framework for fact-checking novel misinformation claims and identifying social media messages that violate relevant policies. Our approach extracts structured representations of check-worthy claims, which are aggregated and ranked for review. Stance classifiers are then used to identify tweets supporting novel misinformation claims, which are further reviewed to determine whether they violate relevant policies. To demonstrate the feasibility of our approach, we develop a baseline system based on modern NLP methods for human-in-the-loop fact-checking in the domain of COVID-19 treatments. Using our baseline system, we show that human fact-checkers can identify 124 tweets per hour that violate Twitter's policies on COVID-19 misinformation. We will make our code, data, and detailed annotation guidelines available to support the evaluation of human-in-the-loop systems that identify novel misinformation directly from raw user-generated content.

 

우리는 사실 확인 소설을 위한 휴먼 인 더 루프 평가 프레임워크를 제시한다. 잘못된 정보를 주장하고 위반하는 소셜 미디어 메시지를 식별합니다. 관련 정책 우리의 접근 방식은 다음과 같은 구조적 표현을 추출한다. 검토를 위해 집계되고 순위가 매겨지는 확인 가능한 청구. 스탠스 분류기는 새로운 잘못된 정보를 지지하는 트윗을 식별하는 데 사용된다. 관련 위반 여부를 결정하기 위해 추가로 검토되는 청구 정책들. 접근 방식의 실현 가능성을 입증하기 위해, 우리는 기준선을 개발한다. 현대 NLP 방법을 기반으로 한 시스템은 루프 내 인간 사실 확인을 위한 것이다. COVID-19 치료의 영역. 우리의 기준선 시스템을 사용하여, 우리는 인간이 팩트체커는 트위터의 정책을 위반하는 시간당 124개의 트윗을 식별할 수 있다. 코로나19 오보에 관한 것입니다. 우리는 우리의 코드, 데이터, 그리고 세부사항을 만들 것이다. 루프 내 인간 평가를 지원하기 위해 사용 가능한 주석 지침 원시 사용자가 생성한 새로운 잘못된 정보를 직접 식별하는 시스템 내용의