[2023-09-06] 오늘의 자연어처리

NeuroSurgeon: A Toolkit for Subnetwork Analysis

 

Despite recent advances in the field of explainability, much remains unknown about the algorithms that neural networks learn to represent. Recent work has attempted to understand trained models by decomposing them into functional circuits (Csordás et al., 2020; Lepori et al., 2023). To advance this research, we developed NeuroSurgeon, a python library that can be used to discover and manipulate subnetworks within models in the Huggingface Transformers library (Wolf et al., 2019). NeuroSurgeon is freely available at this https URL.

 

최근 설명 가능성 분야의 진보에도 불구하고 아직 알려지지 않은 것이 많다 뉴럴 네트워크가 표현하는 것을 배우는 알고리즘에 대해. 최근 작업은 훈련된 모델을 기능적으로 분해하여 이해하려고 시도했다 회로(Csordás et al., 2020; Lepori et al., 2023). 이것을 발전시키기 위해서 연구, 우리는 사용할 수 있는 파이썬 라이브러리인 NeuroSurgeon을 개발했다 허깅페이스에서 모델 내 서브네트워크 검색 및 조작 트랜스포머 라이브러리 (Wolf et al., 2019). Neuro Surgeon은 다음 사이트에서 무료로 이용할 수 있습니다 이 https URL. 

 

 

Long-Term Memorability On Advertisements

 

Marketers spend billions of dollars on advertisements but to what end? At the purchase time, if customers cannot recognize a brand for which they saw an ad, the money spent on the ad is essentially wasted. Despite its importance in marketing, until now, there has been no study on the memorability of ads in the ML literature. Most studies have been conducted on short-term recall (<5 mins) on specific content types like object and action videos. On the other hand, the advertising industry only cares about long-term memorability (a few hours or longer), and advertisements are almost always highly multimodal, depicting a story through its different modalities (text, images, and videos). With this motivation, we conduct the first large scale memorability study consisting of 1203 participants and 2205 ads covering 276 brands. Running statistical tests over different participant subpopulations and ad-types, we find many interesting insights into what makes an ad memorable - both content and human factors. For example, we find that brands which use commercials with fast moving scenes are more memorable than those with slower scenes (p=8e-10) and that people who use ad-blockers remember lower number of ads than those who don't (p=5e-3). Further, with the motivation of simulating the memorability of marketing materials for a particular audience, ultimately helping create one, we present a novel model, Sharingan, trained to leverage real-world knowledge of LLMs and visual knowledge of visual encoders to predict the memorability of a content. We test our model on all the prominent memorability datasets in literature (both images and videos) and achieve state of the art across all of them. We conduct extensive ablation studies across memory types, modality, brand, and architectural choices to find insights into what drives memory.

 

마케팅 담당자들은 광고에 수십억 달러를 쓰지만 무엇을 목적으로 하는가? 에서 구매시간, 만약 고객들이 광고를 본 브랜드를 알아볼 수 없다면, 광고에 쓴 돈은 본질적으로 낭비된다. 에 있어서의 중요성에도 불구하고 마케팅, 지금까지 광고의 기억력에 관한 연구는 없었다 ML 문학. 대부분의 연구는 단기 리콜(<5분)에 대해 수행되었습니다 객체 및 액션 비디오와 같은 특정 콘텐츠 유형에 대해 설명합니다. 반면에 광고 산업은 단지 장기적인 기억력에만 신경을 쓴다 더 길게), 그리고 광고는 거의 항상 매우 멀티모달이며, a를 묘사한다 다양한 양식(텍스트, 이미지, 비디오)을 통한 이야기. 이와 함께. 동기부여, 우리는 첫번째 대규모 기억력 연구를 한다 참가자 1203명, 276개 브랜드 2205개 광고. 통계 검정 실행 중 다양한 참가자 하위 모집단과 광고 유형을 통해 우리는 많은 것을 발견한다 무엇이 광고를 기억에 남게 만드는지에 대한 흥미로운 통찰력 - 내용과 인간 모두 요인들. 예를 들어, 우리는 광고를 빨리 사용하는 브랜드를 발견한다 움직이는 장면은 느린 장면보다 더 기억에 남습니다(p=8e-10) 광고 차단기를 사용하는 사람들은 광고를 사용하는 사람들보다 더 적은 수의 광고를 기억한다 하지 마십시오(p=5e-3). 게다가, 기억력을 시뮬레이션하려는 동기로 특정 청중을 위한 마케팅 자료, 궁극적으로 하나를 만드는 데 도움을 주는, 우리는 실제 지식을 활용하도록 훈련된 새로운 모델인 Sharingan을 제시한다 기억력을 예측하기 위한 시각 인코더의 시각적 지식과 LLM의 만족할 만한 것. 우리는 우리의 모델을 모든 저명한 기억력 데이터 세트에서 테스트한다 문학(이미지와 비디오 모두)과 모든 분야에 걸쳐 최첨단 기술을 달성합니다 그들. 우리는 광범위한 절제 연구를 메모리 타입, 모달리티, 무엇이 메모리를 구동하는지에 대한 통찰력을 찾기 위한 브랜드 및 아키텍처 선택. 

 

 

Comparative Topic Modeling for Determinants of Divergent Report Results Applied to Macular Degeneration Studies

 

Topic modeling and text mining are subsets of Natural Language Processing with relevance for conducting meta-analysis (MA) and systematic review (SR). For evidence synthesis, the above NLP methods are conventionally used for topic-specific literature searches or extracting values from reports to automate essential phases of SR and MA. Instead, this work proposes a comparative topic modeling approach to analyze reports of contradictory results on the same general research question. Specifically, the objective is to find topics exhibiting distinct associations with significant results for an outcome of interest by ranking them according to their proportional occurrence and consistency of distribution across reports of significant results. The proposed method was tested on broad-scope studies addressing whether supplemental nutritional compounds significantly benefit macular degeneration (MD). Eight compounds were identified as having a particular association with reports of significant results for benefitting MD. Six of these were further supported in terms of effectiveness upon conducting a follow-up literature search for validation (omega-3 fatty acids, copper, zeaxanthin, lutein, zinc, and nitrates). The two not supported by the follow-up literature search (niacin and molybdenum) also had the lowest scores under the proposed methods ranking system, suggesting that the proposed method's score for a given topic is a viable proxy for its degree of association with the outcome of interest. These results underpin the proposed methods potential to add specificity in understanding effects from broad-scope reports, elucidate topics of interest for future research, and guide evidence synthesis in a systematic and scalable way.

 

토픽 모델링과 텍스트 마이닝은 자연어 처리의 하위 집합이다 메타분석(MA) 및 체계적 검토(SR)를 수행하기 위한 관련성을 가지고 있다. 증거 합성을 위해, 상기 NLP 방법들은 통상적으로 에 사용된다 항목별 문헌 검색 또는 보고서에서 값 추출 SR과 MA의 필수적인 단계들을 자동화한다. 대신에, 이 작업은 제안한다 상반된 결과의 보고서를 분석하는 비교 토픽 모델링 접근법 동일한 일반적인 연구 문제에 관하여. 구체적으로, 목적은 다음을 찾는 것이다 결과에 대한 유의미한 결과와의 뚜렷한 연관성을 나타내는 주제 그들의 비례적인 발생에 따라 순위를 매김으로써 관심의 대상이 된다 중요한 결과에 대한 보고서에 대한 분포의 일관성. 프러포즈 방법은 보완 여부를 다루는 광범위한 연구에서 테스트되었다 영양 화합물은 황반변성(MD)에 상당한 이득을 준다. 8 화합물들은 보고서들과 특정한 연관성을 갖는 것으로 확인되었다 MD에게 이익이 되는 의미 있는 결과. 이 중 6개는 추가로 지원되었다 c에 대한 유효성 조건에 대한 후속 문헌 검색을 실시한다 검증(오메가-3 지방산, 구리, 제아잔틴, 루테인, 아연 및 질산염). 이 둘은 후속 문헌 검색(niacin 및 niacin)에 의해 지원되지 않는다 몰리브덴) 또한 제안된 방법 순위에서 가장 낮은 점수를 받았다 시스템은 제안된 방법의 점수가 주어진 주제에 대해 다음과 같은 것을 제안한다 관심 결과와의 연관성에 대한 실행 가능한 대리인입니다. 이것들 결과는 제안된 방법을 뒷받침합니다. 에 특정성을 추가할 수 있는 잠재력이 있습니다 광범위한 보고서의 효과 이해, 관심 주제 설명 미래의 연구를 위해 그리고 체계적이고 확장 가능한 증거 종합을 안내한다 길.