[2023-12-12] 오늘의 자연어처리

Improving Neural Machine Translation by Multi-Knowledge Integration with Prompting

 

Abstract:Improving neural machine translation (NMT) systems with prompting has achieved significant progress in recent years. In this work, we focus on how to integrate multi-knowledge, multiple types of knowledge, into NMT models to enhance the performance with prompting. We propose a unified framework, which can integrate effectively multiple types of knowledge including sentences, terminologies/phrases and translation templates into NMT models. We utilize multiple types of knowledge as prefix-prompts of input for the encoder and decoder of NMT models to guide the translation process. The approach requires no changes to the model architecture and effectively adapts to domain-specific translation without retraining. The experiments on English-Chinese and English-German translation demonstrate that our approach significantly outperform strong baselines, achieving high translation quality and terminology match accuracy.

 

추상화:촉구를 통해 신경 기계 번역(NMT) 시스템을 개선하는 것은 최근 몇 년 동안 상당한 발전을 이루었다. 본 연구에서는 다중 지식, 다양한 유형의 지식을 NMT 모델에 통합하여 프롬프트와 함께 성능을 향상시키는 방법에 초점을 맞춘다. 문장, 용어/구문 및 번역 템플릿을 포함한 여러 유형의 지식을 NMT 모델에 효과적으로 통합할 수 있는 통합 프레임워크를 제안한다. NMT 모델의 인코더 및 디코더에 대한 입력의 접두사 프롬프트로 여러 유형의 지식을 활용하여 번역 프로세스를 안내한다. 이 접근법은 모델 아키텍처에 대한 변경을 필요로 하지 않으며 재교육 없이 도메인별 번역에 효과적으로 적응한다. 영어-중국어 및 영어-독일어 번역에 대한 실험은 우리의 접근 방식이 강력한 기준선을 크게 능가하여 높은 번역 품질과 용어 일치 정확도를 달성한다는 것을 보여준다. 

 

 

From Lengthy to Lucid: A Systematic Literature Review on NLP Techniques for Taming Long Sentences

 

Abstract:Long sentences have been a persistent issue in written communication for many years since they make it challenging for readers to grasp the main points or follow the initial intention of the writer. This survey, conducted using the PRISMA guidelines, systematically reviews two main strategies for addressing the issue of long sentences: a) sentence compression and b) sentence splitting. An increased trend of interest in this area has been observed since 2005, with significant growth after 2017. Current research is dominated by supervised approaches for both sentence compression and splitting. Yet, there is a considerable gap in weakly and self-supervised techniques, suggesting an opportunity for further research, especially in domains with limited data. In this survey, we categorize and group the most representative methods into a comprehensive taxonomy. We also conduct a comparative evaluation analysis of these methods on common sentence compression and splitting datasets. Finally, we discuss the challenges and limitations of current methods, providing valuable insights for future research directions. This survey is meant to serve as a comprehensive resource for addressing the complexities of long sentences. We aim to enable researchers to make further advancements in the field until long sentences are no longer a barrier to effective communication.

 

추상화:긴 문장은 독자가 요점을 파악하거나 글쓴이의 초기 의도를 따라가기 어렵기 때문에 오랜 세월 동안 문자 커뮤니케이션의 지속적인 이슈였다. PRISMA 가이드라인을 활용하여 진행된 본 설문조사는 a) 문장 압축과 b) 문장 분할이라는 장문의 문제를 해결하기 위한 두 가지 주요 전략을 체계적으로 검토한다. 2005년 이후 이 분야에 대한 관심이 증가하는 추세가 관찰되고 있으며, 2017년 이후 큰 폭의 성장세를 보이고 있다. 현재의 연구는 문장 압축과 분할 모두에 대한 지도적 접근이 주를 이루고 있다. 그러나 약하고 자기 감독적인 기법에는 상당한 격차가 있어 특히 데이터가 제한된 영역에서 추가 연구의 기회를 제시하고 있다. 본 조사에서는 가장 대표적인 방법들을 종합적인 분류 체계로 분류하고 분류한다. 또한 공통 문장 압축 및 분할 데이터 세트에 대해 이러한 방법에 대한 비교 평가 분석을 수행한다. 마지막으로, 우리는 현재 방법의 도전과 한계에 대해 논의하며, 향후 연구 방향에 대한 귀중한 통찰력을 제공한다. 이 설문조사는 장문의 복잡성을 해결하기 위한 종합적인 자료가 될 수 있을 것이다. 우리는 긴 문장이 더 이상 효과적인 의사소통의 장벽이 되지 않을 때까지 연구자들이 이 분야에서 더 많은 발전을 이룰 수 있도록 하는 것을 목표로 한다. 

 

 

Ophtha-LLaMA2: A Large Language Model for Ophthalmology

 

Abstract:In recent years, pre-trained large language models (LLMs) have achieved tremendous success in the field of Natural Language Processing (NLP). Prior studies have primarily focused on general and generic domains, with relatively less research on specialized LLMs in the medical field. The specialization and high accuracy requirements for diagnosis in the medical field, as well as the challenges in collecting large-scale data, have constrained the application and development of LLMs in medical scenarios. In the field of ophthalmology, clinical diagnosis mainly relies on doctors' interpretation of reports and making diagnostic decisions. In order to take advantage of LLMs to provide decision support for doctors, we collected three modalities of ophthalmic report data and fine-tuned the LLaMA2 model, successfully constructing an LLM termed the "Ophtha-LLaMA2" specifically tailored for ophthalmic disease diagnosis. Inference test results show that even with a smaller fine-tuning dataset, Ophtha-LLaMA2 performs significantly better in ophthalmic diagnosis compared to other LLMs. It demonstrates that the Ophtha-LLaMA2 exhibits satisfying accuracy and efficiency in ophthalmic disease diagnosis, making it a valuable tool for ophthalmologists to provide improved diagnostic support for patients. This research provides a useful reference for the application of LLMs in the field of ophthalmology, while showcasing the immense potential and prospects in this domain.

 

추상화:최근 몇 년 동안, 사전 훈련된 대형 언어 모델(LLM)은 자연어 처리(NLP) 분야에서 엄청난 성공을 거두었다. 선행 연구들은 주로 일반적인 영역과 일반적인 영역에 초점을 맞추었으며, 의료 분야의 전문 LLM에 대한 연구는 상대적으로 적었다. 의료 분야에서 진단을 위한 전문화 및 높은 정확도 요구와 대규모 데이터 수집의 어려움으로 인해 의료 시나리오에서 LLM의 적용 및 개발이 제한되었다. 안과 영역에서 임상 진단은 주로 의사의 보고서 해석과 진단적 결정에 의존한다. 의사에 대한 결정 지원을 제공하기 위해 LLM을 활용하기 위해 안과 보고서 데이터의 세 가지 양식을 수집하고 LLaMA2 모델을 미세 조정하여 안과 질환 진단에 특별히 맞춘 "Ophtha-LLaMA2"라는 LLM을 성공적으로 구축했다. 추론 테스트 결과, Ophtha-LLaMA2는 작은 미세 조정 데이터 세트를 사용하더라도 다른 LLM에 비해 안과 진단에서 상당히 우수한 성능을 보인다. 이는 Ophtha-LLaMA2가 안과 질환 진단에서 만족할 만한 정확도와 효율성을 나타냄을 보여준다, 안과 의사들이 환자들을 위한 개선된 진단 지원을 제공하는 귀중한 도구가 됩니다. 이 연구는 안과학 분야에서 LLM의 적용에 유용한 참고 자료를 제공하는 동시에 이 분야의 엄청난 잠재력과 전망을 보여준다.