[2023-05-17] 오늘의 자연어처리

Recyclable Tuning for Continual Pre-training

 

Continual pre-training is the paradigm where pre-trained language models (PLMs) continually acquire fresh knowledge from growing data and gradually get upgraded. Before an upgraded PLM is released, we may have tuned the original PLM for various tasks and stored the adapted weights. However, when tuning the upgraded PLM, these outdated adapted weights will typically be ignored and discarded, causing a potential waste of resources. We bring this issue to the forefront and contend that proper algorithms for recycling outdated adapted weights should be developed. To this end, we formulate the task of recyclable tuning for continual pre-training. In pilot studies, we find that after continual pre-training, the upgraded PLM remains compatible with the outdated adapted weights to some extent. Motivated by this finding, we analyze the connection between continually pre-trained PLMs from two novel aspects, i.e., mode connectivity, and functional similarity. Based on the corresponding findings, we propose both an initialization-based method and a distillation-based method for our task. We demonstrate their feasibility in improving the convergence and performance for tuning the upgraded PLM. We also show that both methods can be combined to achieve better performance. The source codes are publicly available at this https URL.

 

지속적인 사전 훈련은 사전 훈련된 언어 모델이 있는 패러다임이다 (PLM)은 증가하는 데이터로부터 지속적으로 새로운 지식을 얻고 점진적으로 정보를 얻습니다 업그레이드된. 업그레이드된 PLM이 출시되기 전에 원본을 튜닝했을 수 있습니다 다양한 작업을 위한 PLM과 조정된 가중치를 저장했습니다. 그러나 튜닝할 때 업그레이드된 PLM, 이러한 구식 적응 가중치는 일반적으로 무시됩니다 폐기되어 잠재적인 자원 낭비를 초래합니다. 우리는 이 문제를 다음에 제기한다 시대에 뒤떨어진 재활용을 위한 적절한 알고리즘이 적용되었다고 주장한다 무게가 개발되어야 한다. 이를 위해, 우리는 재활용 가능한 작업을 공식화한다 지속적인 사전 교육을 위한 튜닝. 파일럿 연구에서, 우리는 다음과 같은 것을 발견한다 지속적인 사전 교육, 업그레이드된 PLM은 구식과 호환성을 유지합니다 어느 정도 조정된 무게. 이 발견에 자극을 받아, 우리는 분석한다 두 가지 새로운 측면, 즉, 지속적으로 사전 훈련된 PLM 간의 연결. 모드 연결 및 기능 유사성. 해당 항목을 기준으로 합니다 연구 결과, 우리는 초기화 기반 방법과 우리의 작업을 위한 증류 기반 방법. 우리는 그것들의 실현 가능성을 증명한다 업그레이드된 PLM 튜닝을 위한 수렴 및 성능 향상. 저희도 두 가지 방법을 모두 결합하여 더 나은 성능을 달성할 수 있음을 보여준다. 그 소스 코드는 다음에서 공개적으로 사용할 수 있다 이 https URL. 

 

 

Small Models are Valuable Plug-ins for Large Language Models

 

Large language models (LLMs) such as GPT-3 and GPT-4 are powerful but their weights are often publicly unavailable and their immense sizes make the models difficult to be tuned with common hardware. As a result, effectively tuning these models with large-scale supervised data can be challenging. As an alternative, In-Context Learning (ICL) can only use a small number of supervised examples due to context length limits. In this paper, we propose Super In-Context Learning (SuperICL) which allows black-box LLMs to work with locally fine-tuned smaller models, resulting in superior performance on supervised tasks. Our experiments demonstrate that SuperICL can improve performance beyond state-of-the-art fine-tuned models while addressing the instability problem of in-context learning. Furthermore, SuperICL can enhance the capabilities of smaller models, such as multilinguality and interpretability.

 

GPT-3 및 GPT-4와 같은 대형 언어 모델(LLM)은 강력하지만 가중치는 종종 공개적으로 사용할 수 없으며 그들의 거대한 크기가 모델을 만든다 일반 하드웨어와 조정하기가 어렵습니다. 결과적으로 효과적으로 튜닝 대규모 감독 데이터가 있는 이러한 모델은 어려울 수 있다. 아산 대안적으로, ICL(In-Context Learning)은 소수의 컨텍스트 길이 제한으로 인해 감독되는 예제. 이 논문에서, 우리는 제안한다 슈퍼 컨텍스트 학습(슈퍼)ICL): 블랙박스 LLM과 함께 작업할 수 있습니다 소규모 모델을 국소적으로 미세 조정하여 우수한 성능을 제공합니다 감독 업무. 우리의 실험은 슈퍼가ICL을 개선할 수 있습니다 최첨단 미세 조정 모델을 뛰어넘는 성능을 제공하는 동시에 교내 학습의 불안정성 문제. 게다가, 슈퍼ICL은 향상시킬 수 있다 다국어와 같은 소규모 모델의 기능 해석 가능성. 

 

 

AdamR at SemEval-2023 Task 10: Solving the Class Imbalance Problem in Sexism Detection with Ensemble Learning

 

The Explainable Detection of Online Sexism task presents the problem of explainable sexism detection through fine-grained categorisation of sexist cases with three subtasks. Our team experimented with different ways to combat class imbalance throughout the tasks using data augmentation and loss alteration techniques. We tackled the challenge by utilising ensembles of Transformer models trained on different datasets, which are tested to find the balance between performance and interpretability. This solution ranked us in the top 40\% of teams for each of the tracks.

 

온라인 성차별의 설명 가능한 탐지 과제는 다음의 문제를 제시한다 성차별주의자의 세분화된 분류를 통한 설명 가능한 성차별적 탐지 세 가지 하위 작업이 있는 경우. 우리 팀은 다양한 전투 방법을 실험했다 데이터 증가 및 손실을 사용하는 작업 전반에 걸친 클래스 불균형 개조 기술. 우리는 다음의 앙상블을 활용하여 과제를 해결했다 다양한 데이터 세트에서 훈련된 트랜스포머 모델은 다음을 찾기 위해 테스트됩니다 성능과 해석 가능성 사이의 균형. 이 솔루션은 우리를 다음과 같이 평가했습니다 각 트랙의 상위 40% 팀.