A Memory-Aware Spark Cache Replacement Strategy,ERICDATA高等教育知識庫
高等教育出版
熱門: 崔雪娟  王美玲  李明昆  王善边  黃昱倫  黃乃熒  
高等教育出版
首頁 臺灣期刊   學校系所   學協會   民間出版   大陸/海外期刊   政府機關   學校系所   學協會   民間出版   DOI註冊服務
篇名
A Memory-Aware Spark Cache Replacement Strategy
並列篇名
A Memory-Aware Spark Cache Replacement Strategy
作者 Jingyu ZhangRuihan ZhangOsama AlfarrajAmr TolbaGwang-Jun Kim
英文摘要

Spark is currently the most widely used distributed computing framework, and its key data abstraction concept, Resilient Distributed Dataset (RDD), brings significant performance improvements in big data computing. In application scenarios, Spark jobs often need to replace RDDs due to insufficient memory. Spark uses the Least Recently Used (LRU) algorithm by default as the cache replacement strategy. This algorithm only considers the most recent use time of RDDs as the replacement basis. This characteristic may cause the RDDs that need to be reused to be evicted when performing cache replacement, resulting in a decrease in Spark performance. In response to the above problems, this paper proposes a memory-aware Spark cache replacement strategy, which comprehensively considers the cluster memory usage, RDD size, RDD dependencies, usage times and other information when performing cache replacement and selects the RDDs to be evicted. Furthermore, this paper designs extensive corresponding experiments to test and analyze the performance of the memory-aware Spark cache replacement strategy. The experimental data show that the proposed strategy can improve the performance by up to 13% compared with the LRU algorithm in different scenarios.

 

起訖頁 1185-1190
關鍵詞 Big dataSparkCache replacementMemory resource utilization
刊名 網際網路技術學刊  
期數 202211 (23:6期)
出版單位 台灣學術網路管理委員會
DOI 10.53106/160792642022112306002   複製DOI
QR Code
該期刊
上一篇
Promoting Students’ Math Learning Performance and Engagement: A Help-seeking Mech+C3:C18anism-based Mobile Gaming Approach
該期刊
下一篇
SV-PBFT: An Efficient and Stable Blockchain PBFT Improved Consensus Algorithm for Vehicle-to-Vehicle Energy Transactions

高等教育知識庫  閱讀計畫  教育研究月刊  新書優惠  

教師服務
合作出版
期刊徵稿
聯絡高教
高教FB
讀者服務
圖書目錄
教育期刊
訂購服務
活動訊息
數位服務
高等教育知識庫
國際資料庫收錄
投審稿系統
DOI註冊
線上購買
高點網路書店 
元照網路書店
博客來網路書店
教育資源
教育網站
國際教育網站
關於高教
高教簡介
出版授權
合作單位
知識達 知識達 知識達 知識達 知識達 知識達
版權所有‧轉載必究 Copyright2011 高等教育文化事業股份有限公司  All Rights Reserved
服務信箱:edubook@edubook.com.tw 台北市館前路 26 號 6 樓 Tel:+886-2-23885899 Fax:+886-2-23892500