Low-rank Multimodal Fusion Algorithm Based on Context Modeling,ERICDATA高等教育知識庫
高等教育出版
熱門: 謝傳崇  羅文君  葉俊廷  紀金山  SDGs  簡淑芸  
高等教育出版
首頁 臺灣期刊   學校系所   學協會   民間出版   大陸/海外期刊   政府機關   學校系所   學協會   民間出版   DOI註冊服務
閱讀全文
篇名
Low-rank Multimodal Fusion Algorithm Based on Context Modeling
並列篇名
Low-rank Multimodal Fusion Algorithm Based on Context Modeling
作者 Zongwen BaiXiaohuan ChenMeili ZhouTingting YiWei-Che Chien
英文摘要
As an important part of human daily life, video contains rich emotion information. Therefore, it is a current research trend to find efficient approaches to conducting emotional analysis on videos. Based on tensor fusion, we propose a low-rank multimodal fusion context modeling. At the beginning, modality information is preprocessed by GRU (Gate Recurrent Unit) in Recurrent Neural Network. We construct semantic dependencies to convey contextual information in the context of the video. The proposed model improves performance of applied emotion classification. Additionally, LMF (Low-rank Tensor Multimodal Fusion) with the advantage of end-toend learning is implemented as a fusion mechanism to improve classification efficiency. We implemented the experiments on CMU-MOSI, POM, and IEMOCAP of multi-modal sentiment analysis, speaker traits and emotion recognition. And results show that our method improved the performance by a margin of 2.9%, 1.3%, and 12.2% respectively contrast with TFN (Tensor Fusion Network).
起訖頁 913-921
關鍵詞 Neural architecture searchSequence regression modelsPerformance predictionNetwork structure feature
刊名 網際網路技術學刊  
期數 202107 (22:4期)
出版單位 台灣學術網路管理委員會
DOI 10.53106/160792642021072204018  複製DOI
QR Code
該期刊
上一篇
Cluster-based Deep One-Class Classification Model for Anomaly Detection
該期刊
下一篇
Hash Forest Structure Assisted Bi-auditing Protocol with Multiuser Modification in E-health Systems

高等教育知識庫  閱讀計畫  教育研究月刊  新書優惠  

教師服務
合作出版
期刊徵稿
聯絡高教
高教FB
讀者服務
圖書目錄
教育期刊
訂購服務
活動訊息
數位服務
高等教育知識庫
國際資料庫收錄
投審稿系統
DOI註冊
線上購買
高點網路書店 
元照網路書店
博客來網路書店
教育資源
教育網站
國際教育網站
關於高教
高教簡介
出版授權
合作單位
知識達 知識達 知識達 知識達 知識達 知識達
版權所有‧轉載必究 Copyright2011 高等教育文化事業有限公司  All Rights Reserved
服務信箱:edubook@edubook.com.tw 台北市館前路 26 號 6 樓 Tel:+886-2-23885899 Fax:+886-2-23892500