[2023-11-24] 오늘의 자연어처리

Machine Translation to Control Formality Features in the Target Language

 

Abstract:Formality plays a significant role in language communication, especially in low-resource languages such as Hindi, Japanese and Korean. These languages utilise formal and informal expressions to convey messages based on social contexts and relationships. When a language translation technique is used to translate from a source language that does not pertain the formality (e.g. English) to a target language that does, there is a missing information on formality that could be a challenge in producing an accurate outcome. This research explores how this issue should be resolved when machine learning methods are used to translate from English to languages with formality, using Hindi as the example data. This was done by training a bilingual model in a formality-controlled setting and comparing its performance with a pre-trained multilingual model in a similar setting. Since there are not a lot of training data with ground truth, automated annotation techniques were employed to increase the data size. The primary modeling approach involved leveraging transformer models, which have demonstrated effectiveness in various natural language processing tasks. We evaluate the official formality accuracy(ACC) by comparing the predicted masked tokens with the ground truth. This metric provides a quantitative measure of how well the translations align with the desired outputs. Our study showcases a versatile translation strategy that considers the nuances of formality in the target language, catering to diverse language communication needs and scenarios.

 

추상화:격식은 특히 힌디어, 일본어, 한국어와 같은 저자원 언어에서 언어 의사소통에 중요한 역할을 한다. 이러한 언어들은 사회적 맥락과 관계를 기반으로 메시지를 전달하기 위해 공식적이고 비공식적인 표현을 사용한다. 언어 번역 기법을 사용하여 격식(예: 영어)과 관련이 없는 소스 언어에서 격식(format)과 관련이 없는 목표 언어로 번역하는 경우, 격식에 대한 정보가 누락되어 정확한 결과를 도출하는 데 어려움이 있을 수 있다. 본 연구는 힌디어를 예로 들어 기계학습 방법을 사용하여 영어에서 정형화된 언어로 번역할 때 이 문제를 어떻게 해결해야 하는지를 탐구한다. 이는 형식이 통제된 환경에서 이중언어 모델을 훈련시키고, 유사한 환경에서 미리 훈련된 다중언어 모델과 그 성능을 비교함으로써 수행되었다. 데이터의 크기를 증가시키기 위해 자동화된 주석 기법을 사용하였으며, 이는 훈련 데이터가 실제와 일치하는 데이터가 많지 않기 때문이다. 주요 모델링 방법은 트랜스포머 모델을 활용하는 것으로 다양한 자연어 처리 작업에서 효과를 입증했다. 우리는 예측된 마스킹 토큰을 지상 진리와 비교함으로써 공식적인 형식적 정확도(ACC)를 평가한다. 이 메트릭은 번역이 원하는 출력과 얼마나 잘 일치하는지에 대한 정량적 측정을 제공합니다. 우리의 연구는 다양한 언어 의사소통 요구와 시나리오에 맞춰 대상 언어의 형식적 뉘앙스를 고려하는 다재다능한 번역 전략을 보여준다. 

 

 

Generation of Explanations for Logic Reasoning

 

Abstract:This thesis delves into a fortiori arguments in deductive reasoning, underscoring their relevance in various domains such as law, philosophy, and artificial intelligence. The research is centred on employing GPT-3.5-turbo to automate the analysis of these arguments, with a focus on understanding intricate reasoning processes, generating clear and coherent explanations, and creating novel arguments. The methodology encompasses a series of tasks including detailed reasoning, interpretation, and the augmentation of a fortiori arguments. It involves meticulously identifying these arguments in diverse contexts, differentiating comparative elements, and categorizing them based on their logical structure. Extensive experiments reveals the challenges encountered by GPT-3.5-turbo in accurately detecting and classifying a fortiori arguments. Nevertheless, the model demonstrates a performance that rivals specialized models, particularly in extracting key components and interpreting underlying properties. The integration of external information into the model's processing significantly elevates the quality of the generated explanations. Additionally, the model exhibits a noteworthy capability in augmenting arguments, thus contributing to the enrichment of the data set. Despite facing certain limitations, this thesis makes significant contributions to the fields of artificial intelligence and logical reasoning. It introduces novel methodologies, establishes a rigorous evaluation framework, and provides deep insights that set the stage for future advancements in automated logical reasoning. The findings and methodologies presented herein not only underscore the potential of AI in complex reasoning tasks but also highlight areas for future research and development.

 

추상화:이 논문은 연역적 추론에서 포토리 논증을 탐구하며, 법, 철학, 인공 지능 등 다양한 영역에서의 관련성을 강조한다. 이 연구는 GPT-3.5-터보를 사용하여 이러한 논증의 분석을 자동화하는 데 초점을 맞추고 있으며, 복잡한 추론 과정을 이해하고, 명확하고 일관된 설명을 제공하며, 새로운 논증을 개발하는 데 초점을 맞추고 있다. 방법론은 상세한 추론, 해석 및 포토리 논증의 증강을 포함하는 일련의 작업을 포괄한다. 이러한 주장을 다양한 맥락에서 세밀하게 규명하고, 비교요소를 구분하며, 논리구조에 따라 유형화하는 과정을 포함한다. 광범위한 실험은 포토리 인수를 정확하게 감지하고 분류하는 데 있어 GPT-3.5-터보가 직면한 어려움을 보여준다. 그럼에도 불구하고 이 모델은 특히 주요 구성 요소를 추출하고 기본 속성을 해석하는 데 있어 전문 모델에 필적하는 성능을 보여준다. 외부 정보를 모델의 처리에 통합하면 생성된 설명의 품질이 크게 향상된다. 또한 모델은 논증을 강화하는 데 있어 주목할 만한 능력을 보여 데이터 세트의 풍부화에 기여한다. 이 논문은 일정한 한계에 직면했음에도 불구하고 인공 지능과 논리적 추론 분야에서 상당한 기여를 하고 있다. 새로운 방법론을 도입하고, 엄격한 평가 프레임워크를 수립하며, 자동화된 논리적 추론의 미래 발전을 위한 발판을 마련하는 깊은 통찰력을 제공한다. 여기에 제시된 결과와 방법론은 복잡한 추론 작업에서 AI의 잠재력을 강조할 뿐만 아니라 향후 연구 및 개발 분야를 강조한다. 

 

 

Generation of Explanations for Logic Reasoning

 

Abstract:This thesis delves into a fortiori arguments in deductive reasoning, underscoring their relevance in various domains such as law, philosophy, and artificial intelligence. The research is centred on employing GPT-3.5-turbo to automate the analysis of these arguments, with a focus on understanding intricate reasoning processes, generating clear and coherent explanations, and creating novel arguments. The methodology encompasses a series of tasks including detailed reasoning, interpretation, and the augmentation of a fortiori arguments. It involves meticulously identifying these arguments in diverse contexts, differentiating comparative elements, and categorizing them based on their logical structure. Extensive experiments reveals the challenges encountered by GPT-3.5-turbo in accurately detecting and classifying a fortiori arguments. Nevertheless, the model demonstrates a performance that rivals specialized models, particularly in extracting key components and interpreting underlying properties. The integration of external information into the model's processing significantly elevates the quality of the generated explanations. Additionally, the model exhibits a noteworthy capability in augmenting arguments, thus contributing to the enrichment of the data set. Despite facing certain limitations, this thesis makes significant contributions to the fields of artificial intelligence and logical reasoning. It introduces novel methodologies, establishes a rigorous evaluation framework, and provides deep insights that set the stage for future advancements in automated logical reasoning. The findings and methodologies presented herein not only underscore the potential of AI in complex reasoning tasks but also highlight areas for future research and development.

 

추상화:이 논문은 연역적 추론에서 포토리 논증을 탐구하며, 법, 철학, 인공 지능 등 다양한 영역에서의 관련성을 강조한다. 이 연구는 GPT-3.5-터보를 사용하여 이러한 논증의 분석을 자동화하는 데 초점을 맞추고 있으며, 복잡한 추론 과정을 이해하고, 명확하고 일관된 설명을 제공하며, 새로운 논증을 개발하는 데 초점을 맞추고 있다. 방법론은 상세한 추론, 해석 및 포토리 논증의 증강을 포함하는 일련의 작업을 포괄한다. 이러한 주장을 다양한 맥락에서 세밀하게 규명하고, 비교요소를 구분하며, 논리구조에 따라 유형화하는 과정을 포함한다. 광범위한 실험은 포토리 인수를 정확하게 감지하고 분류하는 데 있어 GPT-3.5-터보가 직면한 어려움을 보여준다. 그럼에도 불구하고 이 모델은 특히 주요 구성 요소를 추출하고 기본 속성을 해석하는 데 있어 전문 모델에 필적하는 성능을 보여준다. 외부 정보를 모델의 처리에 통합하면 생성된 설명의 품질이 크게 향상된다. 또한 모델은 논증을 강화하는 데 있어 주목할 만한 능력을 보여 데이터 세트의 풍부화에 기여한다. 이 논문은 일정한 한계에 직면했음에도 불구하고 인공 지능과 논리적 추론 분야에서 상당한 기여를 하고 있다. 새로운 방법론을 도입하고, 엄격한 평가 프레임워크를 수립하며, 자동화된 논리적 추론의 미래 발전을 위한 발판을 마련하는 깊은 통찰력을 제공한다. 여기에 제시된 결과와 방법론은 복잡한 추론 작업에서 AI의 잠재력을 강조할 뿐만 아니라 향후 연구 및 개발 분야를 강조한다.