關(guān)聯(lián)性驅(qū)動(dòng)的大數(shù)據(jù)處理任務(wù)調(diào)度方案
推薦 + 挑錯(cuò) + 收藏(0) + 用戶(hù)評(píng)論（0）
目前大數(shù)據(jù)處理過(guò)程較少關(guān)注任務(wù)所處理數(shù)據(jù)間的依賴(lài)關(guān)系，在任務(wù)執(zhí)行過(guò)程中可能產(chǎn)生大量數(shù)據(jù)遷移，影響數(shù)據(jù)處理效率．為減少數(shù)據(jù)遷移，提升任務(wù)執(zhí)行性能，從數(shù)據(jù)關(guān)聯(lián)性及數(shù)據(jù)本地性?xún)蓚€(gè)角度出發(fā)，提出了一種數(shù)據(jù)關(guān)聯(lián)性驅(qū)動(dòng)的大數(shù)據(jù)處理任務(wù)優(yōu)化調(diào)度方案：D3S2（data_dependency_driven scheduling scheme）.D3S2由兩部分組成：（1）數(shù)據(jù)關(guān)聯(lián)性感知的數(shù)據(jù)優(yōu)化放置機(jī)制（dependency-aware placement mechanism，簡(jiǎn)稱(chēng)DAPM），根據(jù)日志信息挖掘數(shù)據(jù)關(guān)聯(lián)性，進(jìn)而將強(qiáng)關(guān)聯(lián)的數(shù)據(jù)聚合并放置于相同機(jī)架上，減少了跨機(jī)架的數(shù)據(jù)遷移；（2）數(shù)據(jù)遷移代價(jià)感知的任務(wù)優(yōu)化調(diào)度機(jī)制（transfer-aware scheduling mechanism，簡(jiǎn)稱(chēng)TASM），完成數(shù)據(jù)放置后，以數(shù)據(jù)本地性為約束，對(duì)任務(wù)進(jìn)行統(tǒng)一調(diào)度，最小化任務(wù)執(zhí)行過(guò)程中的數(shù)據(jù)遷移代價(jià).DAPM和TASM互相提供決策依據(jù)，以任務(wù)執(zhí)行代價(jià)最小化為目標(biāo)不斷迭代調(diào)整調(diào)度方案，直至最優(yōu)任務(wù)調(diào)度方案．在Hadoop平臺(tái)上進(jìn)行的實(shí)驗(yàn)結(jié)果表明：較之原生Hadoop，在不增加作業(yè)完成時(shí)間的基礎(chǔ)上，D3S2減少了作業(yè)執(zhí)行過(guò)程中的數(shù)據(jù)遷移量。
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
下載地址
關(guān)聯(lián)性驅(qū)動(dòng)的大數(shù)據(jù)處理任務(wù)調(diào)度方案下載
相關(guān)電子資料下載
- 數(shù)據(jù)分析工具有哪幾種模式 83
- 中交興路入選2024北京“數(shù)據(jù)要素×”典型案例集 886
- 中國(guó)鐵塔與海康威視達(dá)成戰(zhàn)略合作 217
- spark運(yùn)行的基本流程 91
- 季豐電子與孤波科技攜手合作為車(chē)規(guī)量產(chǎn)提供大數(shù)據(jù)支持 740
- 智慧園區(qū)綜合安防系統(tǒng)解決方案 83
- 大數(shù)據(jù)采集系統(tǒng)分為幾類(lèi) 269
- 如何在數(shù)字化時(shí)代實(shí)現(xiàn)精益生產(chǎn)的創(chuàng)新發(fā)展？ 117
- 智慧水文監(jiān)測(cè)系統(tǒng) 87
- 大數(shù)據(jù)分析平臺(tái)網(wǎng)站 96