華為大數(shù)據(jù)存儲(chǔ)與計(jì)算分離方案可直接對(duì)接現(xiàn)網(wǎng)Hadoop平臺(tái),通過分布式存儲(chǔ)資源池替代Hadoop計(jì)算節(jié)點(diǎn)上的本地盤存儲(chǔ),實(shí)現(xiàn)計(jì)算與存儲(chǔ)解耦,精準(zhǔn)擴(kuò)容,使能大數(shù)據(jù)系統(tǒng)云化,降本增效。該存算分離方案使用了華為OceanStor分布式存儲(chǔ)底座,繼承其企業(yè)級(jí)規(guī)模商用特性,結(jié)合自研鯤鵬處理器,實(shí)現(xiàn)創(chuàng)新;利用鯤鵬處理器多核優(yōu)勢(shì),內(nèi)置EC算法,具備高速并發(fā)處理能力,可提供與副本相當(dāng)?shù)男阅;提供HDFS原生接口,可不改變上層應(yīng)用和進(jìn)行協(xié)議轉(zhuǎn)換,直接融入Hadoop生態(tài);開發(fā)了原數(shù)據(jù)代理方案,可實(shí)現(xiàn)與現(xiàn)網(wǎng)組件共存,做到數(shù)據(jù)不遷移和硬件利舊。
點(diǎn)評(píng):大數(shù)據(jù)存算分離方案已成為大數(shù)據(jù)發(fā)展的一個(gè)重要趨勢(shì)。華為FusionStorage分布式大數(shù)據(jù)存儲(chǔ)解決方案,充分發(fā)揮了EC算法優(yōu)勢(shì),相對(duì)傳統(tǒng)使用服務(wù)器多副本方案存儲(chǔ)數(shù)據(jù)的模式,帶來了明顯的TCO節(jié)省。此外,計(jì)算存儲(chǔ)分離也解決了大數(shù)據(jù)系統(tǒng)云化的難題。據(jù)悉,該方案目前已在國(guó)內(nèi)多個(gè)電信運(yùn)營(yíng)商和企業(yè)開始應(yīng)用。值得注意的是,華為大數(shù)據(jù)存算分離方案率先支持鯤鵬生態(tài),能夠?qū)崿F(xiàn)與現(xiàn)網(wǎng)老設(shè)備的共存,部署時(shí)不需要修改現(xiàn)網(wǎng)程序和安裝插件。