[2023-08-03] 오늘의 자연어처리

Advancing Beyond Identification: Multi-bit Watermark for Language Models

 

This study aims to proactively tackle misuse of large language models beyond identification of machine-generated text. While existing methods focus on detection, some malicious misuses demand tracing the adversary user for counteracting them. To address this, we propose "Multi-bit Watermark through Color-listing" (COLOR), embedding traceable multi-bit information during language model generation. Leveraging the benefits of zero-bit watermarking (Kirchenbauer et al., 2023a), COLOR enables extraction without model access, on-the-fly embedding, and maintains text quality, while allowing zero-bit detection all at the same time. Preliminary experiments demonstrates successful embedding of 32-bit messages with 91.9% accuracy in moderate-length texts ($\sim$500 tokens). This work advances strategies to counter language model misuse effectively.

 

이 연구는 그 이상의 큰 언어 모델의 오용을 사전에 해결하는 것을 목표로 한다 기계로 생성된 텍스트의 식별. 기존의 방법들은 에 초점을 맞추고 있지만 탐지, 일부 악의적인 오용은 상대 사용자를 추적해야 한다 그들에게 대항하는 것. 이를 해결하기 위해 "멀티비트 워터마크 방법"을 제안합니다 색상 목록"(COLOR), 추적 가능한 멀티비트 정보 내장 언어 모델 생성. 제로 비트 워터마킹의 이점 활용 (Kirchenbauer et al., 2023a), COLOR는 모델 접근 없이 추출을 가능하게 한다, 텍스트 품질을 유지하는 동시에 제로 비트를 허용합니다 동시에 탐지할 수 있습니다. 예비 실험이 성공적임을 입증한다 중간 길이 텍스트에서 91.9%의 정확도로 32비트 메시지 포함 ($\sim$500 토큰). 이 작업은 대응 언어 모델에 대한 전략을 발전시킨다 효과적으로 오용하다. 

 

 

A Sentence is Worth a Thousand Pictures: Can Large Language Models Understand Human Language?

 

Artificial Intelligence applications show great potential for language-related tasks that rely on next-word prediction. The current generation of large language models have been linked to claims about human-like linguistic performance and their applications are hailed both as a key step towards Artificial General Intelligence and as major advance in understanding the cognitive, and even neural basis of human language. We analyze the contribution of large language models as theoretically informative representations of a target system vs. atheoretical powerful mechanistic tools, and we identify the key abilities that are still missing from the current state of development and exploitation of these models.

 

인공지능 애플리케이션은 다음과 같은 큰 잠재력을 보여준다 다음 단어 예측에 의존하는 언어 관련 작업. 해류 큰 언어 모델의 생성은 인간과 같은 것에 대한 주장과 연결되어 있다 언어적 성능과 그 응용은 둘 다 핵심 단계로 환영받는다 인공지능을 향해 그리고 이해에 있어서 주요한 진보로서 인간 언어의 인지적, 심지어 신경적 기초. 우리는 그것을 분석한다 이론적으로 유익한 대규모 언어 모델의 기여 목표 시스템 대 이론적으로 강력한 기계적 도구의 표현, 그리고 우리는 현재 상태에서 여전히 누락된 주요 능력을 확인한다 이러한 모델의 개발과 활용. 

 

 

Tool Documentation Enables Zero-Shot Tool-Usage with Large Language Models

 

Today, large language models (LLMs) are taught to use new tools by providing a few demonstrations of the tool's usage. Unfortunately, demonstrations are hard to acquire, and can result in undesirable biased usage if the wrong demonstration is chosen. Even in the rare scenario that demonstrations are readily available, there is no principled selection protocol to determine how many and which ones to provide. As tasks grow more complex, the selection search grows combinatorially and invariably becomes intractable. Our work provides an alternative to demonstrations: tool documentation. We advocate the use of tool documentation, descriptions for the individual tool usage, over demonstrations. We substantiate our claim through three main empirical findings on 6 tasks across both vision and language modalities. First, on existing benchmarks, zero-shot prompts with only tool documentation are sufficient for eliciting proper tool usage, achieving performance on par with few-shot prompts. Second, on a newly collected realistic tool-use dataset with hundreds of available tool APIs, we show that tool documentation is significantly more valuable than demonstrations, with zero-shot documentation significantly outperforming few-shot without documentation. Third, we highlight the benefits of tool documentations by tackling image generation and video tracking using just-released unseen state-of-the-art models as tools. Finally, we highlight the possibility of using tool documentation to automatically enable new applications: by using nothing more than the documentation of GroundingDino, Stable Diffusion, XMem, and SAM, LLMs can re-invent the functionalities of the just-released Grounded-SAM and Track Anything models.

 

오늘날, 큰 언어 모델(LLM)은 다음과 같은 것을 제공함으로써 새로운 도구를 사용하는 방법을 배운다 도구의 사용법에 대한 몇 가지 시연. 유감스럽게도, 시위는 획득하기 어렵고, 잘못된 경우 바람직하지 않은 편향된 사용을 초래할 수 있다 데모가 선택됩니다. 심지어 시위가 일어나는 드문 시나리오에서도 쉽게 이용할 수 있으며, 방법을 결정하는 원칙적인 선택 프로토콜은 없다 많은 것들과 어떤 것들을 제공할 것인가. 작업이 복잡해짐에 따라 선택 사항은 검색은 결합적으로 성장하며 항상 다루기 어려워집니다. 우리의 일 데모 대신 도구 설명서를 제공합니다. 우리는 다음을 지지한다 도구 설명서 사용, 개별 도구 사용에 대한 설명, 전체 데모. 우리는 세 가지 주요 경험적 결과를 통해 우리의 주장을 입증한다 비전과 언어 양식 모두에 걸쳐 6가지 작업을 수행합니다. 첫째, 기존에 벤치마크, 툴 설명서만 있는 제로샷 프롬프트로 충분합니다 적절한 툴 사용 유도, 몇 번의 시도와 동등한 성능 달성 프롬프트. 둘째, 새로 수집된 수백 개의 현실적인 도구 사용 데이터 세트에서 사용 가능한 툴 API의 경우 툴 설명서가 훨씬 더 많다는 것을 보여줍니다 제로샷 문서화를 통해 시연보다 가치가 있음 문서 없이도 몇 발의 샷을 능가했습니다. 셋째, 이점을 강조합니다 사용하여 이미지 생성 및 비디오 추적을 처리하여 도구 문서를 생성합니다 보이지 않는 최첨단 모델을 도구로 방금 공개했습니다. 마지막으로 강조합니다 도구 설명서를 사용하여 자동으로 새 것을 활성화할 수 있는 가능성 응용 프로그램: 접지 디노의 문서만 사용하면, 안정적인 확산, XMEM 및 SAM, LLM은 의 기능을 다시 발명할 수 있습니다 Grounded-SAM 및 Track Anything 모델이 방금 출시되었습니다.