[2022-10-22] 오늘의 자연어처리

Execution Time Program Verification With Tight Bounds

 

This paper presents a proof system for reasoning about execution time bounds for a core imperative programming language. Proof systems are defined for three different scenarios: approximations of the worst-case execution time, exact time reasoning, and less pessimistic execution time estimation using amortized analysis. We define a Hoare logic for the three cases and prove its soundness with respect to an annotated cost-aware operational semantics. Finally, we define a verification conditions (VC) generator that generates the goals needed to prove program correctness, cost, and termination. Those goals are then sent to the Easycrypt toolset for validation. The practicality of the proof system is demonstrated with an implementation in OCaml of the different modules needed to apply it to example programs. Our case studies are motivated by real-time and cryptographic software.

 

이 논문은 실행 시간 범위에 대한 추론을 위한 증명 시스템을 제시한다. 핵심 명령형 프로그래밍 언어를 위해. 증명 시스템은 세 가지에 대해 정의됩니다. 다양한 시나리오: 최악의 경우 실행 시간의 근사치, 정확한 시간 추론 및 상각된 실행 시간을 사용한 덜 비관적인 실행 시간 추정 분석. 우리는 세 사례에 대한 Hoare 논리를 정의하고 그것의 건전성을 증명한다. 주석이 달린 비용 인식 운영 의미론과 관련하여. 드디어 저희가. 필요한 목표를 생성하는 검증 조건(VC) 생성기 정의 프로그램의 정확성, 비용 및 종료를 증명합니다. 그런 다음 해당 목표가 전송됩니다. 확인을 위해 간편 암호화 도구 집합으로 이동합니다. 증명 시스템의 실용성 필요한 다양한 모듈의 OCaml 구현으로 입증됨 예제 프로그램에 적용하기 위해. 우리의 사례 연구는 실시간에 의해 동기 부여된다. 그리고 암호화 소프트웨어. 

 

 

Counterfactual Recipe Generation: Exploring Compositional Generalization in a Realistic Scenario

 

People can acquire knowledge in an unsupervised manner by reading, and compose the knowledge to make novel combinations. In this paper, we investigate whether pretrained language models can perform compositional generalization in a realistic setting: recipe generation. We design the counterfactual recipe generation task, which asks models to modify a base recipe according to the change of an ingredient. This task requires compositional generalization at two levels: the surface level of incorporating the new ingredient into the base recipe, and the deeper level of adjusting actions related to the changing ingredient. We collect a large-scale recipe dataset in Chinese for models to learn culinary knowledge, and a subset of action-level fine-grained annotations for evaluation. We finetune pretrained language models on the recipe corpus, and use unsupervised counterfactual generation methods to generate modified recipes. Results show that existing models have difficulties in modifying the ingredients while preserving the original text style, and often miss actions that need to be adjusted. Although pretrained language models can generate fluent recipe texts, they fail to truly learn and use the culinary knowledge in a compositional way. Code and data are available at this https URL.

 

사람들은 독서를 통해 감독되지 않은 방식으로 지식을 습득할 수 있다. 지식을 짜서 새로운 조합을 만들다 이 논문에서, 우리는 사전 훈련된 언어 모델이 구성 일반화를 수행할 수 있는지 여부 현실적인 환경: 레시피 생성. 우리는 반사실적인 레시피를 설계한다. 생성 작업, 모델에 따라 기본 레시피를 수정하도록 요청합니다. 성분의 변화 이 작업은 2에서 구성 일반화가 필요하다. 레벨: 베이스에 새로운 성분을 포함하는 표면 레벨 레시피 및 변경과 관련된 조정 작업의 더 깊은 수준 재료. 우리는 모델을 위해 중국어로 된 대규모 레시피 데이터 세트를 수집한다. 요리 지식과 행동 수준의 세밀한 주석의 하위 집합을 배운다. 평가를 위해 레시피 코퍼스에서 미리 훈련된 언어 모델을 미세 조정하고 그리고 수정 사항을 생성하기 위해 감독되지 않은 반사실적 생성 방법을 사용한다. 조리법 결과는 기존 모델이 수정에 어려움을 겪는다는 것을 보여준다. 원본 텍스트 스타일을 보존하는 동안 재료, 그리고 종종 동작을 놓친다. 그것은 조정되어야 한다. 사전 훈련된 언어 모델이 생성될 수 있지만 유창한 레시피 텍스트, 그들은 요리 지식을 진정으로 배우고 사용하는 데 실패한다. 작문법 코드 및 데이터는 다음 위치에서 사용할 수 있습니다. 이 https URL. 

 

 

Apple of Sodom: Hidden Backdoors in Superior Sentence Embeddings via Contrastive Learning

 

This paper finds that contrastive learning can produce superior sentence embeddings for pre-trained models but is also vulnerable to backdoor attacks. We present the first backdoor attack framework, BadCSE, for state-of-the-art sentence embeddings under supervised and unsupervised learning settings. The attack manipulates the construction of positive and negative pairs so that the backdoored samples have a similar embedding with the target sample (targeted attack) or the negative embedding of its clean version (non-targeted attack). By injecting the backdoor in sentence embeddings, BadCSE is resistant against downstream fine-tuning. We evaluate BadCSE on both STS tasks and other downstream tasks. The supervised non-targeted attack obtains a performance degradation of 194.86%, and the targeted attack maps the backdoored samples to the target embedding with a 97.70% success rate while maintaining the model utility.

 

이 논문은 대조적인 학습이 우월한 문장을 만들어 낼 수 있다는 것을 발견한다. 사전 훈련된 모델을 위한 임베딩이지만 백도어 공격에 취약하다. 우리는 최첨단 기술을 위한 최초의 백도어 공격 프레임워크인 Bad CSE를 제시한다. 지도 및 비지도 학습 환경에서 문장 임베딩. 그 공격은 양의 쌍과 음의 쌍들의 구성을 조작한다. 백도어 샘플은 대상 샘플과 유사한 임베딩이 있습니다(예: attack) 또는 clean version의 부정적인 임베딩(non-backing attack)입니다. 문장 임베딩에 백도어를 주입함으로써, BadCSE는 에 저항한다. 하류 미세 조정 우리는 STS 작업 및 기타 작업 모두에서 BadCSE를 평가한다. 다운스트림 작업 감독 대상 공격 대상이 아닌 공격이 성능을 획득합니다. 194.86%의 열화와 목표 공격은 백도어 샘플을 매핑한다. 모델을 유지하는 동안 97.70%의 성공률을 가진 목표 임베딩 효용.