前海中泰咨詢

【文章來源：騰訊科技】在11月6日召開的Techo開發(fā)者大會上，騰訊云副總裁、騰訊數(shù)據(jù)平臺部總經(jīng)理蔣杰博士正式對外披露騰訊大數(shù)據(jù)平臺10年技術(shù)演進(jìn)歷程。經(jīng)過10年的積累，騰訊大數(shù)據(jù)平臺的算力資源池目前已有超過20萬臺的規(guī)模，每天實時數(shù)據(jù)計算量超過30萬億條，騰訊已經(jīng)成為中國實時數(shù)據(jù)計算量最大的公司。并且，隨著資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase正式對外開源，騰訊正在成為大數(shù)據(jù)領(lǐng)域開源最全面的公司。

騰訊云副總裁、騰訊數(shù)據(jù)平臺部總經(jīng)理蔣杰

作為全球最大的互聯(lián)網(wǎng)公司之一，騰訊的數(shù)據(jù)量在短短5、6年時間增長了幾千倍，目前每天產(chǎn)生的數(shù)據(jù)量超過幾十萬億條數(shù)據(jù)在產(chǎn)生。為了應(yīng)對這種爆炸式增長，騰訊走出了一條技術(shù)引進(jìn)+改造+自研的道路。經(jīng)過長達(dá)十年的不斷升級和完善，騰訊大數(shù)據(jù)平臺已經(jīng)經(jīng)歷了四代演進(jìn)。針對最新的大數(shù)據(jù)和人工智能技術(shù)發(fā)展趨勢，騰訊正在下一代計算平臺中，探索批流融合、ABC融合以及數(shù)據(jù)湖和聯(lián)邦學(xué)習(xí)等前沿技術(shù)。

十年四次升級 建立“大數(shù)據(jù)+AI”雙引擎技術(shù)架構(gòu)

騰訊內(nèi)部目前有超過100萬臺服務(wù)器，騰訊云聯(lián)合所有業(yè)務(wù)部門，利用業(yè)務(wù)空閑資源打造一套算力共享平臺，該算力彈性資源池有20萬的規(guī)模，大數(shù)據(jù)平臺每天有1500萬的分析任務(wù)、30萬億次的實時計算量，并且每天數(shù)據(jù)接入條數(shù)達(dá)35萬億條數(shù)據(jù)。此外，騰訊云的分布式機(jī)器學(xué)習(xí)平臺，能支撐1萬億維度的數(shù)據(jù)訓(xùn)練。

能支撐如此大規(guī)模數(shù)據(jù)的接入和運算，是騰訊在大數(shù)據(jù)技術(shù)領(lǐng)域超過10年的積累，其核心的大數(shù)據(jù)平臺已經(jīng)完成了三次迭代。從以Hadoop為核心的離線計算時代到以Spark、Storm、Flink為核心的實時計算時代，再到如今的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)時代，騰訊從無到有研發(fā)了分布式的機(jī)器學(xué)習(xí)引擎Angel，以及一站式AI開發(fā)平臺智能鈦TI，用來解決數(shù)據(jù)訓(xùn)練和算法的問題。目前，騰訊正在研究以批流融合、ABC融合、以及數(shù)據(jù)湖和聯(lián)邦學(xué)習(xí)為方向的下一代大數(shù)據(jù)平臺的研究,該平臺將具備混合部署、跨域數(shù)據(jù)共享和邊緣計算等能力。

據(jù)了解，為支撐海量業(yè)務(wù)發(fā)展，騰訊已經(jīng)建立了“大數(shù)據(jù)+AI”的雙引擎技術(shù)架構(gòu)，其中，最底層為分布式存儲層，存儲結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)，第二層是資源調(diào)度層，做CPU、GPU和FPGA的管理，第三層是計算層、分析層、數(shù)據(jù)采集層，而頂層則是業(yè)務(wù)應(yīng)用層。通過四層完整的技術(shù)架構(gòu)，自下而上為騰訊的整個應(yīng)用生態(tài)保駕護(hù)航，保障億萬用戶能安全順暢地享受到騰訊的優(yōu)質(zhì)服務(wù)。

從局部優(yōu)化到自主研發(fā) 在實踐中不斷創(chuàng)新

從開始的技術(shù)引進(jìn)、局部優(yōu)化到如今的自主創(chuàng)新，騰訊的大數(shù)據(jù)技術(shù)在實踐中不斷完善、不斷創(chuàng)新。十年前，騰訊管理幾百個節(jié)點都很困難，調(diào)度性能差，規(guī)模上不去。為了有效解決計算能力和大規(guī)模集群問題，騰訊自研調(diào)度器，相對原生調(diào)度器性能提升150倍，大大提升了集群可擴(kuò)展性。2016年，騰訊打破Sort Benchmark四項世界紀(jì)錄，標(biāo)志著算力已經(jīng)達(dá)到世界領(lǐng)先水平。

由于騰訊20萬臺彈性資源池的機(jī)器分布在多個數(shù)據(jù)中心，不同地區(qū)甚至是不同國家，為了降低數(shù)據(jù)使用壁壘，去年自研了漂移計算引擎SuperSQL，作為統(tǒng)一的數(shù)據(jù)分析入口，通過智能CBO優(yōu)化器，將計算下推到分布在各地的異構(gòu)數(shù)據(jù)源，數(shù)據(jù)分析性能提高很多倍，并且數(shù)據(jù)量越大優(yōu)勢越明顯。

數(shù)據(jù)應(yīng)用越來越深入，騰訊對數(shù)據(jù)挖掘的需求也越來越多。隨著模型的增大，最初用來做數(shù)據(jù)訓(xùn)練的MR、Spark已經(jīng)不能滿足上億的模型維度的需求。2015年初，騰訊開始自研高性能的分布式機(jī)器學(xué)習(xí)平臺Angel，采用PS架構(gòu)，能支持10億維度。目前Angel發(fā)展到3.0版本，能支持萬億維度，也可以兼容Spark、PyTorch、TensorFlow等生態(tài)，進(jìn)一步降低了使用門檻。此外，Angel今年還新增了對深度學(xué)習(xí)、圖計算等的支持。

騰訊正成為大數(shù)據(jù)領(lǐng)域開源最全面廠商

技術(shù)迭代不斷加速，企業(yè)建設(shè)大數(shù)據(jù)平臺和機(jī)器學(xué)習(xí)平臺，不僅成本高昂，而且缺乏相應(yīng)的專業(yè)人才，面臨種種問題。

云時代，這些問題得到有效解決。目前，騰訊已經(jīng)把網(wǎng)絡(luò)、存儲、數(shù)據(jù)庫等IaaS能力，大數(shù)據(jù)、機(jī)器學(xué)習(xí)等PaaS的能力，以及上層的圖像、語音、NLP、BI等SaaS能力，通過騰訊云對外開放。在大數(shù)據(jù)和AI兩個領(lǐng)域，騰訊推出了以TBDS和智能鈦TI為首的雙引擎。讓每個企業(yè)，不需要專業(yè)的大數(shù)據(jù)和AI團(tuán)隊，也能便捷用上領(lǐng)先的大數(shù)據(jù)和AI的能力。

另外，騰訊也通過開源和廣大開發(fā)者共享技術(shù)成果。從2014開始，將第一代平臺的核心，騰訊版的Hive進(jìn)行了開源，2017年，更是把第三代平臺的核心Angel開源。今年，騰訊加快了開源的腳步，在內(nèi)部推開源協(xié)同的戰(zhàn)略推動下，騰訊所有的技術(shù)棧，后續(xù)會越來越開放。

2個月前，騰訊在ApacheCon 2019上，面向全球開發(fā)者正式宣布開源自身核心平臺——實時數(shù)據(jù)采集平臺TubeMQ，并捐獻(xiàn)給Apache社區(qū)。此次在Techo大會現(xiàn)場，再次重磅宣布正式開源資源管理平臺核心TKE和分布式數(shù)據(jù)庫TBase，隨著在大數(shù)據(jù)開源領(lǐng)域的開源逐步加速，騰訊正在成為中國大數(shù)據(jù)領(lǐng)域開源最全面的廠商。

“目前，已經(jīng)有數(shù)百萬的開發(fā)者在騰訊云上構(gòu)建應(yīng)用，相信后面會有越來越多開發(fā)者加入，我們將和所有開發(fā)者一起，共建云上的應(yīng)用生態(tài)”，蔣杰表示。

來源：騰訊科技