[2023-09-28] 오늘의 자연어처리

Program Repair with Minimal Edits Using CodeT5

 

Abstract:Programmers often struggle to identify and fix bugs in their programs. In recent years, many language models (LMs) have been proposed to fix erroneous programs and support error recovery. However, the LMs tend to generate solutions that differ from the original input programs. This leads to potential comprehension difficulties for users. In this paper, we propose an approach to suggest a correct program with minimal repair edits using CodeT5. We fine-tune a pre-trained CodeT5 on code pairs of wrong and correct programs and evaluate its performance with several baseline models. The experimental results show that the fine-tuned CodeT5 achieves a pass@100 of 91.95% and an average edit distance of the most similar correct program of 6.84, which indicates that at least one correct program can be suggested by generating 100 candidate programs. We demonstrate the effectiveness of LMs in suggesting program repair with minimal edits for solving introductory programming problems.

 

초록:프로그래머들은 종종 자신들의 프로그램에서 버그를 찾아내고 고치기 위해 애를 쓴다. 최근에는 오류 프로그램을 수정하고 오류 복구를 지원하기 위해 많은 언어 모델(LM)이 제안되고 있다. 그러나, LM들은 원래의 입력 프로그램들과 다른 해결책들을 생성하는 경향이 있다. 이는 사용자의 잠재적인 이해 어려움으로 이어진다. 본 논문에서는 CodeT5를 이용하여 최소한의 복구 편집으로 올바른 프로그램을 제안하는 방법을 제안한다. 우리는 잘못된 프로그램과 올바른 프로그램의 코드 쌍에 대해 사전 교육된 CodeT5를 미세 조정하고 여러 기본 모델을 사용하여 성능을 평가한다. 실험 결과는 미세 조정된 CodeT5가 91.95%의 pass@100과 가장 유사한 정확한 프로그램의 평균 편집 거리 6.84를 달성함을 보여주는데, 이는 100개의 후보 프로그램을 생성함으로써 적어도 하나의 정확한 프로그램을 제안할 수 있음을 보여준다. 우리는 도입 프로그래밍 문제를 해결하기 위한 최소한의 편집으로 프로그램 복구를 제안하는 LM의 효과를 입증한다. 

 

 

Comparative Analysis of Artificial Intelligence for Indian Legal Question Answering (AILQA) Using Different Retrieval and QA Models

 

Abstract:Legal question-answering (QA) systems have the potential to revolutionize the way legal professionals interact with case law documents. This paper conducts a comparative analysis of existing artificial intelligence models for their utility in answering legal questions within the Indian legal system, specifically focusing on Indian Legal Question Answering (AILQA) and our study investigates the efficacy of different retrieval and QA algorithms currently available. Utilizing the OpenAI GPT model as a benchmark, along with query prompts, our investigation shows that existing AILQA systems can automatically interpret natural language queries from users and generate highly accurate responses. This research is particularly focused on applications within the Indian criminal justice domain, which has its own set of challenges due to its complexity and resource constraints. In order to rigorously assess the performance of these models, empirical evaluations are complemented by feedback from practicing legal professionals, thereby offering a multifaceted view on the capabilities and limitations of AI in the context of Indian legal question-answering.

 

초록:법률 질의응답(QA) 시스템은 법률 전문가들이 판례 문서와 상호작용하는 방식을 혁신할 가능성이 있다. 본 논문은 인도 법체계 내의 법적 질문에 대한 답변에 대한 유용성에 대해 기존 인공지능 모델의 비교 분석을 수행하며, 특히 인도 법적 질문 응답(AILQA)에 초점을 맞추고 현재 사용 가능한 다양한 검색 및 QA 알고리듬의 효과를 조사한다. 오픈을 활용하다쿼리 프롬프트와 함께 기존 AILQA 시스템이 사용자의 자연어 쿼리를 자동으로 해석하고 매우 정확한 응답을 생성할 수 있음을 벤치마크로서의 AI GPT 모델이 보여준다. 본 연구는 특히 복잡성과 자원의 제약으로 인해 고유한 난제를 안고 있는 인도 형사사법 영역 내의 응용에 초점을 맞추고 있다. 이러한 모델의 성과를 엄격하게 평가하기 위해 실무 전문가의 피드백을 통해 경험적 평가를 보완함으로써 인도 법률 질의응답의 맥락에서 AI의 능력과 한계에 대한 다각적인 시각을 제공한다. 

 

 

Boosting In-Context Learning with Factual Knowledge

 

Abstract:In-Context Learning (ICL) over Large language models (LLMs) aims at solving previously unseen tasks by conditioning on a few training examples, eliminating the need for parameter updates and achieving competitive performance. In this paper, we demonstrate that factual knowledge is imperative for the performance of ICL in three core facets, i.e., the inherent knowledge learned in LLMs, the factual knowledge derived from the selected in-context examples, and the knowledge biases in LLMs for output generation. To unleash the power of LLMs in few-shot learning scenarios, we introduce a novel Knowledgeable In-Context Tuning (KICT) framework to further improve the performance of ICL: 1) injecting factual knowledge to LLMs during continual self-supervised pre-training, 2) judiciously selecting the examples with high knowledge relevance, and 3) calibrating the prediction results based on prior knowledge. We evaluate the proposed approaches on auto-regressive LLMs (e.g., GPT-style models) over multiple text classification and question answering tasks. Experimental results demonstrate that KICT substantially outperforms strong baselines, and improves by more than 13% and 7% of accuracy on text classification and question answering tasks, respectively.

 

초록:대형 언어 모델을 통한 상황 내 학습(ICL)은 몇 가지 훈련 예제를 조건화하여 매개 변수 업데이트의 필요성을 없애고 경쟁력 있는 성능을 달성함으로써 이전에는 볼 수 없었던 작업을 해결하는 것을 목표로 한다. 본 논문에서, 우리는 세 가지 핵심 측면, 즉 LLM에서 학습된 고유 지식, 선택된 맥락 내 예제에서 도출된 사실 지식, 출력 생성을 위한 LLM에서 지식 편향의 사실 지식이 ICL의 성능에 필수적임을 입증한다. 퓨샷 학습 시나리오에서 LLM의 힘을 발휘하기 위해 ICL의 성능을 더욱 향상시키기 위해 새로운 KICT(Knowledgeable In-Context Tuning) 프레임워크를 도입한다. 1) 지속적인 자체 감독 사전 교육 중에 LLM에 사실적 지식을 주입하고 2) 지식 관련성이 높은 예제를 신중하게 선택한다, 3) 사전지식을 바탕으로 예측결과를 교정한다. 우리는 다중 텍스트 분류 및 질문 응답 작업에 대한 자동 회귀 LLM(예: GPT 스타일 모델)에 대해 제안된 접근 방식을 평가한다. 실험 결과는 KICT가 강력한 기준선을 크게 능가하고 텍스트 분류 작업과 질문 답변 작업에서 각각 13%와 7% 이상의 정확도를 향상시킨다는 것을 보여준다.