[2023-02-20] 오늘의 자연어처리

Auditing large language models: a three-layered approach

 

The emergence of large language models (LLMs) represents a major advance in artificial intelligence (AI) research. However, the widespread use of LLMs is also coupled with significant ethical and social challenges. Previous research has pointed towards auditing as a promising governance mechanism to help ensure that AI systems are designed and deployed in ways that are ethical, legal, and technically robust. However, existing auditing procedures fail to address the governance challenges posed by LLMs, which are adaptable to a wide range of downstream tasks. To help bridge that gap, we offer three contributions in this article. First, we establish the need to develop new auditing procedures that capture the risks posed by LLMs by analysing the affordances and constraints of existing auditing procedures. Second, we outline a blueprint to audit LLMs in feasible and effective ways by drawing on best practices from IT governance and system engineering. Specifically, we propose a three-layered approach, whereby governance audits, model audits, and application audits complement and inform each other. Finally, we discuss the limitations not only of our three-layered approach but also of the prospect of auditing LLMs at all. Ultimately, this article seeks to expand the methodological toolkit available to technology providers and policymakers who wish to analyse and evaluate LLMs from technical, ethical, and legal perspectives.

 

대형 언어 모델(LLM)의 출현은 다음과 같은 주요 발전을 나타낸다 인공 지능 연구. 그러나 LLM의 광범위한 사용은 다음과 같다 또한 중요한 윤리적, 사회적 도전과 결합됩니다. 선행연구 감사를 확실하게 하는 데 도움이 되는 유망한 거버넌스 메커니즘으로 지목했다 인공지능 시스템이 윤리적이고 합법적인 방식으로 설계되고 배치된다는 것 기술적으로 견실한. 그러나 기존 감사 절차는 다양한 범위에 적응할 수 있는 LLM에 의해 제기되는 거버넌스 문제 다운스트림 작업. 이러한 격차를 해소하는 데 도움이 되도록, 우리는 다음과 같은 세 가지 기여를 제공합니다 기사. 첫째, 우리는 다음과 같은 새로운 감사 절차를 개발할 필요성을 확립한다 경제성 및 제약 조건을 분석하여 LLM에 의해 제기되는 위험을 파악한다 기존 감사 절차. 둘째, 우리는 LLM을 감사하기 위한 청사진을 개략적으로 설명한다 IT 거버넌스의 모범 사례를 활용함으로써 실현 가능하고 효과적인 방법 시스템 공학. 구체적으로, 우리는 다음과 같은 세 가지 계층의 접근법을 제안한다 거버넌스 감사, 모델 감사 및 애플리케이션 감사 보완 및 정보 제공 서로. 마지막으로, 우리는 우리의 3계층의 한계에 대해서만 논의하지 않는다 LLM을 감사할 가능성에 대한 접근 방식. 궁극적으로, 이것은 기사는 기술에 이용할 수 있는 방법론적 툴킷을 확장하고자 한다 LLM을 분석하고 평가하고자 하는 공급자 및 정책 입안자 기술적, 윤리적, 법적 관점. 

 

 

Meeting the Needs of Low-Resource Languages: The Value of Automatic Alignments via Pretrained Models

 

Large multilingual models have inspired a new class of word alignment methods, which work well for the model's pretraining languages. However, the languages most in need of automatic alignment are low-resource and, thus, not typically included in the pretraining data. In this work, we ask: How do modern aligners perform on unseen languages, and are they better than traditional methods? We contribute gold-standard alignments for Bribri--Spanish, Guarani--Spanish, Quechua--Spanish, and Shipibo-Konibo--Spanish. With these, we evaluate state-of-the-art aligners with and without model adaptation to the target language. Finally, we also evaluate the resulting alignments extrinsically through two downstream tasks: named entity recognition and part-of-speech tagging. We find that although transformer-based methods generally outperform traditional models, the two classes of approach remain competitive with each other.

 

대규모 다국어 모델은 새로운 종류의 단어 정렬에 영감을 주었습니다 모델의 사전 훈련 언어에 적합한 메소드. 하지만, 그 자동 정렬이 가장 필요한 언어는 자원이 적기 때문에 그렇지 않다 일반적으로 사전 훈련 데이터에 포함됩니다. 이 작업에서, 우리는 다음과 같이 묻습니다: 어떻게 현대적인가 얼라이너는 보이지 않는 언어에서 성능을 발휘하며, 전통적인 언어보다 더 나은가 방법은? 우리는 Bibri-Spanish를 위한 골드 스탠다드 제휴를 제공합니다, 과라니-스페인어, 케추아-스페인어, 시피보-코니보-스페인어. 이것들로 우리는 모델 적응 유무에 관계없이 최첨단 얼라이너를 평가한다 대상 언어. 마지막으로, 우리는 또한 결과적인 정렬을 평가한다 두 개의 다운스트림 작업을 통해 외부적으로: 명명된 엔티티 인식 및 부분 태그 지정. 우리는 변압기 기반 방법이 일반적으로 전통적인 모델을 능가하며, 두 가지 접근 방식이 남아있다 서로 경쟁하는. 

 

 

Document Flattening: Beyond Concatenating Context for Document-Level Neural Machine Translation

 

Existing work in document-level neural machine translation commonly concatenates several consecutive sentences as a pseudo-document, and then learns inter-sentential dependencies. This strategy limits the model's ability to leverage information from distant context. We overcome this limitation with a novel Document Flattening (DocFlat) technique that integrates Flat-Batch Attention (FBA) and Neural Context Gate (NCG) into Transformer model to utilize information beyond the pseudo-document boundaries. FBA allows the model to attend to all the positions in the batch and learns the relationships between positions explicitly and NCG identifies the useful information from the distant context. We conduct comprehensive experiments and analyses on three benchmark datasets for English-German translation, and validate the effectiveness of two variants of DocFlat. Empirical results show that our approach outperforms strong baselines with statistical significance on BLEU, COMET and accuracy on the contrastive test set. The analyses highlight that DocFlat is highly effective in capturing the long-range information.

 

일반적으로 문서 수준 신경 기계 번역의 기존 작업 여러 개의 연속된 문장을 유사한 문장으로 연결한 다음 는 문장 간 종속성을 학습합니다. 이 전략은 모델의 능력을 제한합니다 먼 곳에서 온 정보를 활용하는 것입니다. 우리는 이 한계를 극복한다 플랫 배치를 통합한 새로운 문서 플랫화 기법 트랜스포머 모델에 대한 주의(FBA) 및 신경 컨텍스트 게이트(NCG) 활용 사이비 종교의 경계를 벗어난 정보. FBA를 통해 모델은 다음을 수행할 수 있습니다 배치의 모든 위치에 주의를 기울이고 사이의 관계를 학습한다 위치를 명시적으로 지정하고 NCG는 먼 곳에서 유용한 정보를 식별합니다 맥락. 우리는 세 가지 벤치마크에 대한 포괄적인 실험과 분석을 수행한다 영어-독일어 번역을 위한 데이터 세트, 그리고 두 가지의 효과를 검증한다 DocFlat의 변형입니다. 경험적 결과는 우리의 접근 방식이 성능을 능가한다는 것을 보여준다 BLEU, COMET 및 정확도에 대한 통계적 중요성을 가진 강력한 기준선 대조 검사 세트. 분석 결과 DocFlat이 매우 높은 것으로 나타났습니다 장기적인 정보를 포착하는 데 효과적입니다.