[2022-10-01] 오늘의 자연어처리

Who is GPT-3? An Exploration of Personality, Values and Demographics

 

Language models such as GPT-3 have caused a furore in the research community. Some studies found that GPT-3 has some creative abilities and makes mistakes that are on par with human behaviour. This paper answers a related question: who is GPT-3? We administered two validated measurement tools to GPT-3 to assess its personality, the values it holds and its self-reported demographics. Our results show that GPT-3 scores similarly to human samples in terms of personality and - when provided with a model response memory - in terms of the values it holds. We provide the first evidence of psychological assessment of the GPT-3 model and thereby add to our understanding of the GPT-3 model. We close with suggestions for future research that moves social science closer to language models and vice versa.

 

GPT-3와 같은 언어 모델은 연구 커뮤니티에 분노를 일으켰다. 몇몇 연구는 GPT-3가 창조적인 능력을 가지고 있고 실수를 한다는 것을 발견했다. 인간의 행동과 동등합니다. 이 논문은 다음과 같은 관련 질문에 답한다. GPT-3는 누구인가? 우리는 GPT-3에 두 개의 검증된 측정 도구를 투여했다. 그것의 성격, 그것이 가지고 있는 가치, 그리고 그것의 자체적인 인구통계를 평가한다. 우리의 결과는 GPT-3가 인간 샘플과 유사한 점수를 받는다는 것을 보여준다. 성격 및 - 모델 응답 메모리가 제공되는 경우 - 의 관점에서 가치관이 있어요. 우리는 심리적인 평가에 대한 첫 번째 증거를 제공한다. GPT-3 모델을 통해 GPT-3 모델에 대한 이해를 높일 수 있습니다. 우리가 사회 과학을 더 가까이 이동시키는 미래 연구에 대한 제안으로 마무리한다. 언어 모델 및 그 반대입니다. 

 

 

Generate-and-Retrieve: use your predictions to improve retrieval for semantic parsing

 

A common recent approach to semantic parsing augments sequence-to-sequence models by retrieving and appending a set of training samples, called exemplars. The effectiveness of this recipe is limited by the ability to retrieve informative exemplars that help produce the correct parse, which is especially challenging in low-resource settings. Existing retrieval is commonly based on similarity of query and exemplar inputs. We propose GandR, a retrieval procedure that retrieves exemplars for which outputs are also similar. GandRfirst generates a preliminary prediction with input-based retrieval. Then, it retrieves exemplars with outputs similar to the preliminary prediction which are used to generate a final prediction. GandR sets the state of the art on multiple low-resource semantic parsing tasks.

 

의미론적 파싱에 대한 최근의 일반적인 접근 방식은 시퀀스 대 시퀀스를 증가시킨다. 예제라고 하는 일련의 훈련 샘플을 검색하고 추가함으로써 모델을 만듭니다. 이 레시피의 효과는 검색 능력에 의해 제한된다. 올바른 구문 분석을 생성하는 데 도움이 되는 유용한 예제, 특히 저자원 환경에서 어려운 작업입니다. 기존 검색은 일반적으로 다음을 기반으로 합니다. 쿼리 및 예제 입력의 유사성. 우리는 GandR, 검색어를 제안한다. 출력도 유사한 예제를 검색하는 절차입니다. GandRfirst는 입력 기반 검색으로 예비 예측을 생성한다. 그리고나서, 그것은 예비 예측과 유사한 출력을 가진 예제를 검색한다. 최종 예측을 생성하는 데 사용됩니다. GandR은 최첨단 기술을 설정한다. 여러 개의 저자원 시맨틱 구문 분석 작업. 

 

 

An Interdisciplinary Approach for the Automated Detection and Visualization of Media Bias in News Articles

 

Media coverage has a substantial effect on the public perception of events. Nevertheless, media outlets are often biased. One way to bias news articles is by altering the word choice. The automatic identification of bias by word choice is challenging, primarily due to the lack of gold-standard data sets and high context dependencies. In this research project, I aim to devise data sets and methods to identify media bias. To achieve this, I plan to research methods using natural language processing and deep learning while employing models and using analysis concepts from psychology and linguistics. The first results indicate the effectiveness of an interdisciplinary research approach. My vision is to devise a system that helps news readers become aware of media coverage differences caused by bias. So far, my best performing BERT-based model is pre-trained on a larger corpus consisting of distant labels, indicating that distant supervision has the potential to become a solution for the difficult task of bias detection.

 

언론 보도는 사건에 대한 대중의 인식에 상당한 영향을 미친다. 그럼에도 불구하고, 언론 매체는 종종 편파적이다. 뉴스 기사를 편향시키는 한 가지 방법은 단어 선택을 변경함으로써. 단어에 의한 편향의 자동 식별 주로 골드 표준 데이터 세트의 부족과 높은 컨텍스트 의존성 이 연구 프로젝트에서, 나는 데이터 세트를 고안하는 것을 목표로 한다. 그리고 미디어 편향을 식별하는 방법. 이를 위해, 나는 방법을 연구할 계획이다. 모델을 고용하는 동안 자연어 처리와 딥 러닝을 사용한다. 심리학 및 언어학의 분석 개념을 사용합니다. 첫 번째 결과 학제간 연구 접근법의 효과를 나타낸다. 나의 비전 뉴스 독자들이 언론 보도를 인식하도록 돕는 시스템을 고안하는 것이다. 편견에 의한 차이 지금까지 내가 가장 잘한 BERT 기반 모델은 원격 레이블로 구성된 더 큰 말뭉치에 대해 사전 훈련되어 있음을 나타낸다. 원격 감독은 어려운 사람들을 위한 해결책이 될 수 있는 잠재력을 가지고 있다. 편향 검출 작업.