[2023-07-07] 오늘의 자연어처리

Fraunhofer SIT at CheckThat! 2023: Tackling Classification Uncertainty Using Model Souping on the Example of Check-Worthiness Classification

 

This paper describes the second-placed approach developed by the Fraunhofer SIT team in the CLEF-2023 CheckThat! lab Task 1B for English. Given a text snippet from a political debate, the aim of this task is to determine whether it should be assessed for check-worthiness. Detecting check-worthy statements aims to facilitate manual fact-checking efforts by prioritizing the claims that fact-checkers should consider first. It can also be considered as primary step of a fact-checking system. Our best-performing method took advantage of an ensemble classification scheme centered on Model Souping. When applied to the English data set, our submitted model achieved an overall F1 score of 0.878 and was ranked as the second-best model in the competition.

 

이 논문은 프라운호퍼가 개발한 2차 접근법을 설명한다 영어를 위한 CLEF-2023 Check That! lab Task 1B의 SIT 팀. 텍스트 지정 정치적 토론에서 나온 토막글, 이 작업의 목적은 여부를 결정하는 것이다 그것은 점검 가치에 대해 평가되어야 한다. 검사 가능한 문 검색 중 다음과 같은 주장에 우선순위를 두어 수동 사실 확인 노력을 용이하게 하는 것을 목표로 한다 사실 확인자들은 먼저 고려해야 한다. 주요 단계로 간주할 수도 있습니다 사실 확인 시스템의. 최고의 성능을 발휘하는 방법은 다음과 같은 이점을 활용했습니다 모델 스푸핑을 중심으로 한 앙상블 분류 체계. 에 적용할 경우 영어 데이터 세트, 우리가 제출한 모델은 0.878의 전체 F1 점수를 달성했다 그는 이 대회에서 두 번째로 우수한 모델로 선정되었다. 

 

 

LOAF-M2L: Joint Learning of Wording and Formatting for Singable Melody-to-Lyric Generation

 

Despite previous efforts in melody-to-lyric generation research, there is still a significant compatibility gap between generated lyrics and melodies, negatively impacting the singability of the outputs. This paper bridges the singability gap with a novel approach to generating singable lyrics by jointly Learning wOrding And Formatting during Melody-to-Lyric training (LOAF-M2L). After general-domain pretraining, our proposed model acquires length awareness first from a large text-only lyric corpus. Then, we introduce a new objective informed by musicological research on the relationship between melody and lyrics during melody-to-lyric training, which enables the model to learn the fine-grained format requirements of the melody. Our model achieves 3.75% and 21.44% absolute accuracy gains in the outputs' number-of-line and syllable-per-line requirements compared to naive fine-tuning, without sacrificing text fluency. Furthermore, our model demonstrates a 63.92% and 74.18% relative improvement of music-lyric compatibility and overall quality in the subjective evaluation, compared to the state-of-the-art melody-to-lyric generation model, highlighting the significance of formatting learning.

 

멜로디 대 가사 세대 연구에서 이전의 노력에도 불구하고, 다음과 같은 것들이 있다 여전히 생성된 가사와 멜로디 사이의 상당한 호환성 차이, 출력의 단일성에 부정적인 영향을 미칩니다. 이 논문은 다리를 놓는다 공동으로 노래 가능한 가사를 생성하는 새로운 접근 방식과의 노래 가능성 격차 멜로디 대 가사 훈련(LOAF-M2L) 중에 단어 및 서식 학습. 일반 도메인 사전 훈련 후, 제안된 모델은 길이 인식을 획득한다 첫 번째는 큰 텍스트 전용 가사 말뭉치입니다. 그런 다음, 우리는 새로운 목표를 소개한다 멜로디와 멜로디 사이의 관계에 대한 음악학적 연구에 의해 정보를 얻었다 모델이 학습할 수 있는 멜로디 대 멜로디 훈련 중 가사 멜로디의 세밀한 형식 요구 사항. 우리 모델은 3.75%를 달성하고 출력 라인 수에서 21.44%의 절대 정확도 향상 및 단순한 미세 조정과 비교한 줄당 음절 요구 사항, 사용 안 함 텍스트의 유창성을 희생합니다. 게다가, 우리의 모델은 63.92%를 보여준다 음악과 음악의 호환성과 전반적인 품질이 74.18% 상대적으로 향상되었습니다 최첨단 멜로디 대 음악에 비교한 주관적인 평가 학습 포맷의 중요성을 강조하는 생성 모델. 

 

 

Utilizing ChatGPT Generated Data to Retrieve Depression Symptoms from Social Media

 

In this work, we present the contribution of the BLUE team in the eRisk Lab task on searching for symptoms of depression. The task consists of retrieving and ranking Reddit social media sentences that convey symptoms of depression from the BDI-II questionnaire. Given that synthetic data provided by LLMs have been proven to be a reliable method for augmenting data and fine-tuning downstream models, we chose to generate synthetic data using ChatGPT for each of the symptoms of the BDI-II questionnaire. We designed a prompt such that the generated data contains more richness and semantic diversity than the BDI-II responses for each question and, at the same time, contains emotional and anecdotal experiences that are specific to the more intimate way of sharing experiences on Reddit. We perform semantic search and rank the sentences' relevance to the BDI-II symptoms by cosine similarity. We used two state-of-the-art transformer-based models for embedding the social media posts, the original and generated responses of the BDI-II, MentalRoBERTa and a variant of MPNet. Our results show that an approach using for sentence embeddings a model that is designed for semantic search outperforms the model pre-trained on mental health data. Furthermore, the generated synthetic data were proved too specific for this task, the approach simply relying on the BDI-II responses had the best performance.

 

이 작업에서, 우리는 eRisk Lab에서 BLUE 팀의 기여를 제시한다 우울증 증상을 찾는 작업. 작업은 검색으로 구성됩니다 그리고 우울증의 증상을 전달하는 레딧 소셜 미디어 문장의 순위를 매긴다 BDI-II 설문지에서. LLM이 제공하는 합성 데이터가 다음과 같은 경우 신뢰할 수 있는 데이터 확대 및 미세 조정 방법으로 입증됨 다운스트림 모델, 우리는 각각의 ChatGPT을 사용하여 합성 데이터를 생성하기로 선택했다 BDI-II 설문지의 증상에 대한. 우리는 다음과 같은 프롬프트를 설계했다 생성된 데이터는 BDI-II보다 더 풍부하고 의미적인 다양성을 포함한다 각 질문에 대한 응답과 동시에 감정적인 내용과 더 친밀한 공유 방법에 특정한 일화적인 경험들 레딧에 대한 경험. 우리는 의미 검색을 수행하고 문장의 순위를 매긴다 코사인 유사성에 의한 BDI-II 증상과의 관련성. 두 개를 썼어요 소셜 미디어 게시물을 포함하기 위한 최첨단 변압기 기반 모델, BDI-II, MentalRoberta 및 변종의 원래 및 생성된 반응 MPNet의. 우리의 결과는 문장 임베딩에 사용하는 접근법이 시맨틱 검색을 위해 설계된 모델은 사전 훈련된 모델보다 성능이 우수합니다 정신 건강 데이터. 게다가, 생성된 합성 데이터 또한 증명되었다 이 작업을 위해, 단순히 BDI-II 응답에 의존하는 접근법은 다음과 같다 최고의 공연.