揭秘騰訊大數據十年發展歷程:從關系型數據庫到分布式機器學習

?

[TechWeb] 10月18日消息,近日,騰訊大數據團隊詳細披露了騰訊大數據的十年發展歷史,并在大型模型數據培訓中充分展示了騰訊第三代全棧機器學習平臺Angel。深度學習,圖形計算等方面的技術技能

根據騰訊大數據負責人劉偉宏的說法,騰訊大數據自2009年以來經歷了離線計算,實時計算和機器學習三個階段。2009年之前,騰訊主要使用傳統的關系數據庫。從2009年開始,就系統可擴展性和成本性能而言,傳統獨立數據庫提供的服務不再適用于騰訊服務的爆炸性增長。面對這一變化,騰訊的大數據轉向基于分布式Hadoop系統的分布式,構建了騰訊的第一代大數據平臺,并構建了一個主要是規模化的離線計算平臺。騰訊大數據進入第一階段。在過去三年中,騰訊已經實現了從關系數據庫到自建大數據平臺的全面遷移。到2012年,騰訊的大數據單一集群規模超過4,400個單位。

2012年,移動互聯網應運而生,以響應對業務數據統計的及時性和快速性的需求。騰訊大數據從Hadoop遷移到Spark和Storm系統,并在吸收開源技術的基礎上結合騰訊自身的要求進行了重寫。在探索流計算和二級采集系統的構建,以及構建企業級實時數據分析系統的過程中,騰訊的大數據開發進入了第二階段。

從2015年至今,騰訊大數據已進入第三階段。隨著數據挖掘和數據應用的不斷深入,騰訊大數據再次自我陶醉。 2016年,它推出了自主開發的機器學習平臺Angel,該平臺專門研究復雜的計算場景,并且可以進行大規模數據培訓,支持內容推薦,廣告推薦等應用場景。它是由騰訊和北京大學聯合開發的,同時考慮到該行業的高可用性和學術界的創新。

根據騰訊天使開發負責人肖品的說法,騰訊天使是騰訊大規模業務場景中的一個大型樣本和超高維機器學習平臺。如今,Angel已在QQ,微信支付,騰訊廣告,騰訊視頻等騰訊產品中得到廣泛使用,并向渭中銀行等行業合作伙伴全面開放。它通常適用于圖計算業務場景,例如智能推薦和財務風險評估。

2017年,騰訊天使正式開源。 2018年8月,騰訊將Angel捐贈給了專注于人工智能的Linux LF AI Foundation。結合基金會的成熟運營,全面升級的Angel與國際開源社區有著深入的互動,并致力于使機器學習技術更易于學習。應用。

9996.我市新型農民技能等級培訓抓“四早”

湖北赖子麻将下载