在11月6日召開的Techo開發(fā)者大會上,騰訊云副總裁、騰訊數(shù)據(jù)平臺部總經(jīng)理蔣杰博士對外披露騰訊大數(shù)據(jù)平臺在長達(dá)十年的時間中已經(jīng)經(jīng)歷了四代演進。經(jīng)過十年的積累,騰訊大數(shù)據(jù)平臺的算力資源池目前已有超過20萬臺的規(guī)模,每天實時數(shù)據(jù)計算量超過30萬億條,騰訊已經(jīng)成為中國實時數(shù)據(jù)計算量最大的公司。隨著資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase正式對外開源,騰訊正在成為大數(shù)據(jù)領(lǐng)域開源最全面的公司。
作為全球最大的互聯(lián)網(wǎng)公司之一,騰訊的數(shù)據(jù)量在短短五六年時間增長了幾千倍,目前每天產(chǎn)生的數(shù)據(jù)量超過幾十萬億條。為了應(yīng)對這種爆炸式增長,騰訊走出了一條技術(shù)引進+改造+自研的道路。針對最新的大數(shù)據(jù)和人工智能技術(shù)發(fā)展趨勢,騰訊正在下一代計算平臺中,探索批流融合、ABC融合以及數(shù)據(jù)湖和聯(lián)邦學(xué)習(xí)等前沿技術(shù)。 騰訊內(nèi)部目前有超過100萬臺服務(wù)器,騰訊云聯(lián)合所有業(yè)務(wù)部門,利用業(yè)務(wù)空閑資源打造一套算力共享平臺,該算力彈性資源池有20萬的規(guī)模,大數(shù)據(jù)平臺每天有1500萬的分析任務(wù)、30萬億次的實時計算量,并且每天數(shù)據(jù)接入條數(shù)達(dá)35萬億。此外,騰訊云的分布式機器學(xué)習(xí)平臺,能支撐1萬億維度的數(shù)據(jù)訓(xùn)練。目前,騰訊已經(jīng)把網(wǎng)絡(luò)、存儲、數(shù)據(jù)庫等IaaS能力,大數(shù)據(jù)、機器學(xué)習(xí)等PaaS的能力,以及上層的圖像、語音、NLP、BI等SaaS能力,通過騰訊云對外開放。 對于大眾關(guān)心的保證數(shù)據(jù)安全的問題,蔣杰博士表示,騰訊在整個體系內(nèi)部進行強管控的訪問管理,內(nèi)部數(shù)據(jù)存儲都做了整體加密。騰訊各部門之間或者跟其他企業(yè)之間需要數(shù)據(jù)共享時,都是通過聯(lián)邦學(xué)習(xí)的方式來解決,分享的都是訓(xùn)練后的、已經(jīng)脫敏的數(shù)據(jù)。