[2023-04-18] 오늘의 자연어처리

Research without Re-search: Maximal Update Parametrization Yields Accurate Loss Prediction across Scales

 

As language models scale up, it becomes increasingly expensive to verify research ideas because conclusions on small models do not trivially transfer to large ones. A possible solution is to establish a generic system that directly predicts some metrics for large models solely based on the results and hyperparameters from small models. Existing methods based on scaling laws require hyperparameter search on the largest models, which is impractical with limited resources. We address this issue by presenting our discoveries indicating that Maximal Update parametrization (muP) enables accurate fitting of scaling laws for hyperparameters close to common loss basins, without any search. Thus, different models can be directly compared on large scales with loss prediction even before the training starts. We propose a new paradigm as a first step towards reliable academic research for any model scale without heavy computation. Code will be publicly available shortly.

 

언어 모델이 확장됨에 따라 검증 비용이 점점 더 많이 듭니다 작은 모델에 대한 결론이 사소한 것으로 옮겨지지 않기 때문에 아이디어를 연구한다 큰 것들. 가능한 해결책은 다음과 같은 일반적인 시스템을 직접 구축하는 것이다 결과만을 기반으로 대형 모델에 대한 일부 메트릭을 예측합니다 소형 모델의 하이퍼 파라미터. 스케일링 법칙에 기반한 기존 방법 가장 큰 모델에 대해 하이퍼파라미터 검색이 필요하며, 이는 비실용적이다 한정된 자원. 우리는 우리의 발견을 제시함으로써 이 문제를 해결한다 최대 업데이트 매개 변수화(muP)를 통해 정확한 맞춤이 가능함을 나타냅니다 일반적인 손실 분지에 가까운 하이퍼 파라미터에 대한 스케일링 법칙 검색. 그러므로, 다른 모델들은 직접적으로 큰 규모로 비교될 수 있다 교육이 시작되기도 전에 손실 예측. 우리는 새로운 패러다임을 제안한다 무겁지 않은 모델 규모에 대한 신뢰할 수 있는 학술 연구를 향한 첫걸음 계산하다. 코드는 곧 공개될 것이다. 

 

 

Task-oriented Document-Grounded Dialog Systems by HLTPR@RWTH for DSTC9 and DSTC10

 

This paper summarizes our contributions to the document-grounded dialog tasks at the 9th and 10th Dialog System Technology Challenges (DSTC9 and DSTC10). In both iterations the task consists of three subtasks: first detect whether the current turn is knowledge seeking, second select a relevant knowledge document, and third generate a response grounded on the selected document. For DSTC9 we proposed different approaches to make the selection task more efficient. The best method, Hierarchical Selection, actually improves the results compared to the original baseline and gives a speedup of 24x. In the DSTC10 iteration of the task, the challenge was to adapt systems trained on written dialogs to perform well on noisy automatic speech recognition transcripts. Therefore, we proposed data augmentation techniques to increase the robustness of the models as well as methods to adapt the style of generated responses to fit well into the proceeding dialog. Additionally, we proposed a noisy channel model that allows for increasing the factuality of the generated responses. In addition to summarizing our previous contributions, in this work, we also report on a few small improvements and reconsider the automatic evaluation metrics for the generation task which have shown a low correlation to human judgments.

 

이 논문은 문서 기반 대화 상자 작업에 대한 우리의 기여를 요약한다 제9회 및 제10회 Dialog System Technology Challenge(DSTC9 및 DSTC10)에서 진행됩니다. 인 두 번의 반복 모두 작업이 세 가지 하위 작업으로 구성됩니다. 먼저 다음과 같은 작업을 수행하는지 여부를 탐지합니다 현재는 지식을 찾고, 두 번째로 관련 지식 문서를 선택합니다, 세 번째는 선택한 문서에 기반한 응답을 생성합니다. DSTC9의 경우 선택 작업을 보다 효율적으로 만들기 위해 다양한 접근 방식을 제안했습니다. 그 최상의 방법인 계층적 선택은 실제로 비교하여 결과를 향상시킵니다 원래 기준선과 24배의 속도 향상을 제공합니다. 의 DSTC10 반복에서 과제, 도전은 서면 대화에서 훈련된 시스템을 적응시키는 것이었다 잡음이 많은 자동 음성 인식 기록을 잘 수행합니다. 그러므로 우리는 모델의 견고성을 높이기 위해 제안된 데이터 확대 기술 생성된 응답의 스타일을 적합하게 조정하는 방법뿐만 아니라 진행 중인 대화. 추가로, 우리는 잡음이 많은 채널 모델을 제안했다 생성된 응답의 사실성을 높일 수 있습니다. 에 더하여 우리의 이전 기여를 요약하면, 이 작업에서, 우리는 또한 몇 가지에 대해 보고한다 약간의 개선 및 자동 평가 지표 재검토 인간의 판단과 낮은 상관관계를 보여준 생성 작업. 

 

 

HuaTuo: Tuning LLaMA Model with Chinese Medical Knowledge

 

Large Language Models (LLMs), such as the LLaMA model, have demonstrated their effectiveness in various general-domain natural language processing (NLP) tasks. Nevertheless, LLMs have not yet performed optimally in biomedical domain tasks due to the need for medical expertise in the responses. In response to this challenge, we propose HuaTuo, a LLaMA-based model that has been supervised-fine-tuned with generated QA (Question-Answer) instances. The experimental results demonstrate that HuaTuo generates responses that possess more reliable medical knowledge. Our proposed HuaTuo model is accessible at this https URL.

 

LLaMA 모델과 같은 대형 언어 모델(LLM)은 다음과 같이 입증되었다 다양한 일반 도메인 자연어 처리(NLP)에 대한 그들의 효과 그럼에도 불구하고, LLM은 아직 생물 의학 영역에서 최적으로 수행되지 않았다 대응에 대한 의학적 전문 지식의 필요성으로 인한 작업. 에 대응하여 이 도전, 우리는 LLAMA 기반 모델인 HuaTuo를 제안한다 생성된 QA(Question-Answer) 인스턴스를 사용하여 감독되고 미세 조정됩니다. 그 실험 결과는 HuaTuo가 보유한 반응을 생성한다는 것을 보여준다 보다 신뢰할 수 있는 의학 지식. 제안된 HuaTuo 모델은 다음 사이트에서 액세스할 수 있습니다 이 https URL.