資料介紹
關(guān)于Spark性能的研究目前正在成為熱點(diǎn),但調(diào)優(yōu)策略多位于應(yīng)用層,而不是系統(tǒng)層。操作系統(tǒng)作為硬件之上的第一層軟件,對(duì)硬件性能發(fā)揮起著根本作用。Linux內(nèi)核提供了豐富的參數(shù)作為優(yōu)化性能的接口,但實(shí)際中,這些參數(shù)的作用并沒(méi)有得到充分發(fā)揮。人們更多是采用系統(tǒng)默認(rèn)值,而不是根據(jù)具體環(huán)境進(jìn)行調(diào)整。然而本文實(shí)驗(yàn)發(fā)現(xiàn),系統(tǒng)默認(rèn)值并不一定是最好的選擇,有時(shí)甚至是最壞的。定義了“影響比”這一概念,并基于此概念提出了一種通過(guò)分析內(nèi)核函數(shù)的執(zhí)行情況來(lái)認(rèn)識(shí)參數(shù)對(duì)Spark應(yīng)用影響的方法。針對(duì)Spark內(nèi)存計(jì)算的特點(diǎn),從大頁(yè)、NUMA這兩個(gè)與使用內(nèi)存緊密相關(guān)的方面分析了相關(guān)內(nèi)核參數(shù)對(duì)幾種典型Spark負(fù)載的性能影響,并由此得出一些結(jié)論。希望本文的分析和結(jié)論可以為Spark平臺(tái)合理設(shè)置內(nèi)核參數(shù)提供一些參考。
- 基于Spark的學(xué)術(shù)論文熱點(diǎn)數(shù)據(jù)挖掘方法 4次下載
- Spark機(jī)器學(xué)習(xí)教材 5次下載
- 參數(shù)域邊界平直化的模型表面參數(shù)化方法 7次下載
- 基于Spark平臺(tái)的并行化關(guān)聯(lián)規(guī)則挖掘方法 0次下載
- 基于樹(shù)狀結(jié)構(gòu)Parzen估計(jì)方法的超參數(shù)優(yōu)化方法 23次下載
- 小型電動(dòng)無(wú)人機(jī)的總體參數(shù)設(shè)計(jì)方法研究說(shuō)明 19次下載
- 如何使用Spark Streaming進(jìn)行快速視頻轉(zhuǎn)碼方法說(shuō)明 7次下載
- 如何在Spark環(huán)境下進(jìn)行犯罪人員時(shí)空關(guān)聯(lián)規(guī)則挖掘 8次下載
- 如何使用Spark計(jì)算框架進(jìn)行分布式文本分類(lèi)方法的研究 3次下載
- Bright Spark 1.10版電子設(shè)計(jì)仿真軟件免費(fèi)下載 0次下載
- Bright Spark電路教學(xué)仿真演示軟件及其應(yīng)用.pdf 41次下載
- 電路模擬軟件_Bright Spark 1.10綠色版 0次下載
- 一種Spark高光譜遙感圖像稀疏表分類(lèi)并行化方法 6次下載
- 最全SPARK內(nèi)存管理機(jī)制 5次下載
- 基于Spark的電力設(shè)備在線(xiàn)監(jiān)測(cè)數(shù)據(jù)可視化方法 3次下載
- Mahony濾波算法參數(shù)自動(dòng)調(diào)節(jié)方法介紹 1189次閱讀
- Blaze: 用Rust重寫(xiě)Spark執(zhí)行層,平均提升30%算力 1150次閱讀
- 數(shù)控系統(tǒng)參數(shù)丟失的處理方法 1674次閱讀
- Classes -方法參數(shù) 420次閱讀
- 新規(guī)劃PCI核查工具的使用方法和應(yīng)用事例 3142次閱讀
- FANUC機(jī)器人建立part carrier和跟蹤參數(shù)的方法 3986次閱讀
- 如何實(shí)現(xiàn)電平轉(zhuǎn)換,多種方法 1.2w次閱讀
- 單片機(jī)系統(tǒng)參數(shù)儲(chǔ)存與讀取的處理方法 3727次閱讀
- 機(jī)器學(xué)習(xí)實(shí)例:Spark與Python結(jié)合設(shè)計(jì) 2781次閱讀
- 一文讀懂 Spark 內(nèi)存管理 974次閱讀
- 構(gòu)建機(jī)器學(xué)習(xí)管道和使用Apache Spark時(shí)的一些經(jīng)驗(yàn) 5290次閱讀
- 瓷片電容參數(shù)如何識(shí)別_瓷片電容的讀數(shù)方法介紹 10.8w次閱讀
- spark和hadoop的區(qū)別 1.5w次閱讀
- AD靜態(tài)參數(shù)和動(dòng)態(tài)參數(shù)的測(cè)試方法介紹 1.5w次閱讀
- 詳述光纖參數(shù)及多種測(cè)試方法的主要內(nèi)容 1w次閱讀
下載排行
本周
- 1DC電源插座圖紙
- 0.67 MB | 2次下載 | 免費(fèi)
- 2AN158 GD32VW553 Wi-Fi開(kāi)發(fā)指南
- 1.51MB | 2次下載 | 免費(fèi)
- 3AN148 GD32VW553射頻硬件開(kāi)發(fā)指南
- 2.07MB | 1次下載 | 免費(fèi)
- 4AN111-LTC3219用戶(hù)指南
- 84.32KB | 次下載 | 免費(fèi)
- 5AN153-用于電源系統(tǒng)管理的Linduino
- 1.38MB | 次下載 | 免費(fèi)
- 6AN-283: Σ-Δ型ADC和DAC[中文版]
- 677.86KB | 次下載 | 免費(fèi)
- 7SM2018E 支持可控硅調(diào)光線(xiàn)性恒流控制芯片
- 402.24 KB | 次下載 | 免費(fèi)
- 8AN-1308: 電流檢測(cè)放大器共模階躍響應(yīng)
- 545.42KB | 次下載 | 免費(fèi)
本月
- 1ADI高性能電源管理解決方案
- 2.43 MB | 450次下載 | 免費(fèi)
- 2免費(fèi)開(kāi)源CC3D飛控資料(電路圖&PCB源文件、BOM、
- 5.67 MB | 138次下載 | 1 積分
- 3基于STM32單片機(jī)智能手環(huán)心率計(jì)步器體溫顯示設(shè)計(jì)
- 0.10 MB | 130次下載 | 免費(fèi)
- 4使用單片機(jī)實(shí)現(xiàn)七人表決器的程序和仿真資料免費(fèi)下載
- 2.96 MB | 44次下載 | 免費(fèi)
- 53314A函數(shù)發(fā)生器維修手冊(cè)
- 16.30 MB | 31次下載 | 免費(fèi)
- 6美的電磁爐維修手冊(cè)大全
- 1.56 MB | 24次下載 | 5 積分
- 7如何正確測(cè)試電源的紋波
- 0.36 MB | 17次下載 | 免費(fèi)
- 8感應(yīng)筆電路圖
- 0.06 MB | 10次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935121次下載 | 10 積分
- 2開(kāi)源硬件-PMP21529.1-4 開(kāi)關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計(jì)
- 1.48MB | 420062次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233088次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191367次下載 | 10 積分
- 5十天學(xué)會(huì)AVR單片機(jī)與C語(yǔ)言視頻教程 下載
- 158M | 183335次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81581次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73810次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65988次下載 | 10 積分
評(píng)論