Improved Gradient Descent Optimizer with Adaptive Parameter Setting and Swarm Intelligence,ERICDATA高等教育知識庫
高等教育出版
熱門: 朱丽彬  黃光男  王美玲  王善边  曾瓊瑤  崔雪娟  
高等教育出版
首頁 臺灣期刊   學校系所   學協會   民間出版   大陸/海外期刊   政府機關   學校系所   學協會   民間出版   DOI註冊服務
篇名
Improved Gradient Descent Optimizer with Adaptive Parameter Setting and Swarm Intelligence
並列篇名
Improved Gradient Descent Optimizer with Adaptive Parameter Setting and Swarm Intelligence
作者 Xiang-Yu DengYou-Min Fan
英文摘要

The gradient descent method suffers from the defects that the parameters must be set manually and easily fall into local minima in neural network training. This paper proposes an improved gradient descent method with adaptive parameter setting and global search capability. The proposed adaptive algorithm does not require any prior knowledge to obtain suitable parameters. Parameters such as learning rate are modified according to different training stages without human intervention. The structure of the gradient descent method is improved by using evolutionary computation, and the idea of lightweight populations is introduced into the method for global search and fast convergence. In addition, we introduce the meta-heuristic idea to make the swarm more intelligent and achieve better robustness. Experimental analysis shows that the proposed adaptive algorithm performs excellently with outstanding global search and generalization capabilities.

 

起訖頁 107-127
關鍵詞 gradient descentself-adaptive mechanismglobal search optimizerpopulation-based methodmodified metaheuristic
刊名 電腦學刊  
期數 202406 (35:3期)
DOI 10.53106/199115992024063503009   複製DOI
QR Code
該期刊
上一篇
Finite Element Method Application in Computer-Aided Design for Bio-mimetic Chair Research
該期刊
下一篇
The Application of Automotive Marketing Strategies in Digital Automotive Marketing Systems

高等教育知識庫  新書優惠  教育研究月刊  全球重要資料庫收錄  

教師服務
合作出版
期刊徵稿
聯絡高教
高教FB
讀者服務
圖書目錄
教育期刊
訂購服務
活動訊息
數位服務
高等教育知識庫
國際資料庫收錄
投審稿系統
DOI註冊
線上購買
高點網路書店 
元照網路書店
博客來網路書店
教育資源
教育網站
國際教育網站
關於高教
高教簡介
出版授權
合作單位
知識達 知識達 知識達 知識達 知識達 知識達
版權所有‧轉載必究 Copyright2011 高等教育文化事業股份有限公司  All Rights Reserved
服務信箱:edubook@edubook.com.tw 台北市館前路 26 號 6 樓 Tel:+886-2-23885899 Fax:+886-2-23892500