[2023-03-09] 오늘의 자연어처리

Exploiting Asymmetry for Synthetic Training Data Generation: SynthIE and the Case of Information Extraction

 

Large language models (LLMs) show great potential for synthetic data generation. This work shows that useful data can be synthetically generated even for tasks that cannot be solved directly by the LLM: we show that, for problems with structured outputs, it is possible to prompt an LLM to perform the task in the opposite direction, to generate plausible text for the target structure. Leveraging the asymmetry in task difficulty makes it possible to produce large-scale, high-quality data for complex tasks. We demonstrate the effectiveness of this approach on closed information extraction, where collecting ground-truth data is challenging, and no satisfactory dataset exists to date. We synthetically generate a dataset of 1.8M data points, demonstrate its superior quality compared to existing datasets in a human evaluation and use it to finetune small models (220M and 770M parameters). The models we introduce, SynthIE, outperform existing baselines of comparable size with a substantial gap of 57 and 79 absolute points in micro and macro F1, respectively. Code, data, and models are available at this https URL.

 

LLM(대규모 언어 모델)은 합성 데이터의 큰 잠재력을 보여준다 시대. 이 작업은 유용한 데이터가 합성적으로 생성될 수 있음을 보여준다 LLM이 직접 해결할 수 없는 작업의 경우에도: 우리는 다음과 같이 보여준다 구조화된 출력의 문제, LLM이 수행하도록 프롬프트를 표시할 수 있습니다 대상에 대한 그럴듯한 텍스트를 생성하기 위해 반대 방향의 태스크 구조. 과제 난이도의 비대칭성을 활용하면 다음을 가능하게 한다 복잡한 작업을 위한 대규모 고품질 데이터를 생성합니다. 우리는 그것을 증명한다 폐쇄된 정보 추출에 대한 이 접근법의 효과는 다음과 같다 지상 관측 데이터를 수집하는 것은 어렵고 만족스러운 데이터 세트가 존재하지 않는다 지금까지. 우리는 180만 개의 데이터 포인트 데이터 세트를 합성하여 생성하고, 시연한다 인간 평가에서 기존 데이터 세트와 비교하여 우수한 품질과 소형 모델(220M 및 770M 매개변수)을 미세 조정하는 데 사용합니다. 저희가 모델분들이 SynthIE를 소개합니다. A와 비슷한 크기의 기존 기준선을 능가합니다 마이크로 및 매크로 F1에서 57 및 79 절대점의 상당한 격차, 각각 다음과 같다. 코드, 데이터 및 모델은 다음에서 사용할 수 있습니다 이 https URL. 

 

 

ADELT: Transpilation Between Deep Learning Frameworks

 

We propose Adversarial DEep Learning Transpiler (ADELT) for source-to-source transpilation between deep learning frameworks. Unlike prior approaches, we decouple the transpilation of code skeletons and the mapping of API keywords (an API function name or a parameter name). ADELT transpile code skeletons using few-shot prompting on big language models. Based on contextual embeddings extracted by a BERT for code, we train aligned API embeddings in a domain-adversarial setup, upon which we generate a dictionary for keyword translation. The model is trained on our unlabeled DL corpus from web crawl data, without using any hand-crafted rules and parallel data. Our method outperforms state-of-the-art transpilers on multiple transpilation pairs including PyTorch-Keras and PyTorch-MXNet by 15.9pts and 12.0pts in exact match scores respectively.

 

소스 대 소스를 위한 적대적 딥 러닝 트랜스필러(ADELT)를 제안한다 딥 러닝 프레임워크 간의 확장. 이전의 접근 방식과 달리, 우리는 코드 스켈레톤의 확장과 API 키워드의 매핑을 분리한다 (API 함수 이름 또는 매개 변수 이름). ADELT 트랜스파일 코드 스켈레톤 큰 언어 모델에서 몇 번의 프롬프트를 사용합니다. 상황별 임베딩 기반 코드를 위해 BERT에 의해 추출, 우리는 정렬된 API 임베딩을 훈련한다 키워드 사전을 생성하는 도메인-수치 설정 번역. 이 모델은 웹 크롤에서 레이블이 지정되지 않은 DL 말뭉치에 대해 훈련된다 수동으로 만든 규칙 및 병렬 데이터를 사용하지 않고 데이터를 저장할 수 있습니다. 우리의 방법 여러 확장 쌍에서 최첨단 트랜스필러를 능가한다 정확한 일치로 PyTorch-Keras와 PyTorch-MXNet을 포함하여 15.9pt와 12.0pt 차이로 점수를 매기다. 

 

 

ChatGPT: Beginning of an End of Manual Annotation? Use Case of Automatic Genre Identification

 

ChatGPT has shown strong capabilities in natural language generation tasks, which naturally leads researchers to explore where its abilities end. In this paper, we examine whether ChatGPT can be used for zero-shot text classification, more specifically, automatic genre identification. We compare ChatGPT with a multilingual XLM-RoBERTa language model that was fine-tuned on datasets, manually annotated with genres. The models are compared on test sets in two languages: English and Slovenian. Results show that ChatGPT outperforms the fine-tuned model when applied to the dataset which was not seen before by either of the models. Even when applied on Slovenian language as an under-resourced language, ChatGPT's performance is no worse than when applied to English. However, if the model is fully prompted in Slovenian, the performance drops significantly, showing the current limitations of ChatGPT usage on smaller languages. The presented results lead us to questioning whether this is the beginning of an end of laborious manual annotation campaigns even for smaller languages, such as Slovenian.

 

ChatGPT는 자연어 생성 작업에서 강력한 능력을 보여주었다, 그것은 자연스럽게 연구자들로 하여금 그것의 능력이 어디서 끝나는지 탐구하도록 이끈다. 이 점에서. 종이, 우리는 제로샷 텍스트에 ChatGPT를 사용할 수 있는지 여부를 조사한다 분류, 보다 구체적으로, 자동 장르 식별. 우리는 비교한다 다국어 XLM-RoBERT를 사용하는 ChatGPT 언어 모델은 다음과 같습니다 장르로 수동으로 주석을 단 데이터 세트. 테스트 세트에서 모델을 비교합니다 2개 언어로 표시: 영어와 슬로베니아어. 결과는 ChatGPT가 더 뛰어나다는 것을 보여준다 이전에는 볼 수 없었던 데이터 세트에 적용될 때 미세 조정 모델 두 모델 중 하나입니다. 슬로베니아어에 적용해도 자원이 부족한 언어, ChatGPT의 성능은 적용되었을 때보다 나쁘지 않다 영어로. 그러나 모델이 슬로베니아어로 완전히 프롬프트되면 성능이 크게 저하되어 ChatGPT의 현재 한계를 보여줍니다 소규모 언어에서의 사용. 제시된 결과는 우리로 하여금 의문을 품게 한다 이것이 수고스러운 수동 주석의 종료의 시작인지 여부 슬로베니아어와 같은 더 작은 언어들에 대한 캠페인.