騰訊第三代高性能計算平台Ange1.0已經發布了,騰訊Ange是基於參數服務器(Parameter Server)理念開發的高性能分布式機器學習平台采用參數服務器架構,解決了上一代框架的擴展性問題,支持數據並行及模型並行的計算模式,能支持十億級別維度的模型訓練。
Angel 是一個基於參數服務器(Parameter Server)理念開發的高性能分布式機器學習平台,它基於騰訊內部的海量數據進行了反複的調優,並具有廣泛的適用性和穩定性,模型維度越高,優勢越明顯。 Angel 由騰訊和北京大學聯合開發,兼顧了工業界的高可用性和學術界的創新性。
Angel 的核心設計理念圍繞模型。它將高維度的大模型合理切分到多個參數服務器節點,並通過高效的模型更新接口和運算函數,以及靈活的同步協議,輕鬆實現各種高效的機器學習算法。
Angel 基於 Java 和 Scala 開發,能在社區的 Yarn 上直接調度運行,並基於 PS Service ,支持 Spark on Angel ,未來將會支持圖計算和深度學習框架集成。
1.功能
基於 Matrix/Vector 的模型自動切分和管理,兼顧稀疏和稠密兩種格式
支持對 Model 進行 Push 和 Pull 操作,可以自定義複雜的 psFunc
提供多種同步控製機製(BSP/SSP/ASP)
2. 開發運行
語言支持:係統基於 Scala 和 Java 開發,用戶也可以自由選擇
部署方便:可以直接在 Yarn 社區版本中運行,也支持本地調試模式
數據切分: 自動切分讀取訓練數據,默認兼容了 Hadoop FS 接口
增量訓練:訓練過程中會自動 Checkpoint,而且支持加載模型後,增量訓練
3.PS Service
隻啟動 PSServer 和 PSAngent,為其他分布式計算平台提供 PS 服務
基於 PS-Service,不需要修改 Spark 核心代碼,直接開發 Spark-on-Angel 算法,該模式無縫支持 Breeze 數值運算庫
4. 算法庫
集成 Logistic Regression,SVM,KMeans,LDA,MF,GBDT 等機器學習算法
多種優化方法,包括 ADMM,OWLQN,LBFGS 和 GD
支持多種損失函數、評估指標,包含 L1、L2 正則項
5. 算法優化
LDA 采用了 F+LDA 算法用於加速采樣的速度,同時利用流式參數獲取的方法減少網絡參數獲取的延遲
GBDT 使用兩階段樹分裂算法,將部分計算轉移到 PS,減少網絡傳輸,提升速度
76.4M / 03-25
立即下載55M / 06-05
立即下載237.9M / 04-13
立即下載140.5M / 03-06
立即下載900.9M / 03-02
立即下載96.2M / 07-06
立即下載311.2M / 07-06
立即下載335M / 07-06
立即下載200M / 07-06
立即下載413.8M / 07-06
立即下載353.9M / 06-05
立即下載131.8M / 04-13
立即下載230.8M / 03-03
立即下載195.6M / 03-03
立即下載165.4M / 03-03
立即下載45.6M / 09-08
立即下載665.2M / 07-06
立即下載2.84G / 07-06
立即下載93M / 07-06
立即下載338.3M / 07-06
立即下載1.38G / 07-26
立即下載488.3M / 07-16
立即下載109.8M / 06-03
立即下載142M / 01-08
立即下載1.2M / 11-23
立即下載548.8M / 04-13
立即下載1.6M / 04-13
立即下載1.48G / 03-18
立即下載646.6M / 03-03
立即下載133.7M / 03-03
立即下載325.8M / 06-07
立即下載60M / 04-29
立即下載254M / 04-25
立即下載659M / 04-23
立即下載1M / 12-26
立即下載253.4M / 12-08
立即下載253M / 12-08
立即下載1.19G / 11-16
立即下載110.5M / 04-23
立即下載26.7M / 03-16
立即下載488.3M / 07-16
立即下載248.9M / 12-08
立即下載248.9M / 12-08
立即下載201.2M / 04-13
立即下載100.6M / 03-06
立即下載148.9M / 03-06
立即下載1.12G / 07-06
立即下載1.25G / 07-06
立即下載9.48G / 07-06
立即下載50KB / 07-06
立即下載116.2M / 04-10
立即下載1.92G / 04-17
立即下載201.5M / 04-13
立即下載7.31G / 07-01
立即下載94.3M / 07-06
立即下載2.48G / 07-06
立即下載7.63G / 07-06
立即下載1M / 07-06
立即下載778.1M / 07-06
立即下載509.7M / 07-06
立即下載561.8M / 07-11
立即下載1.32G / 01-19
立即下載72M / 07-06
立即下載548.7M / 07-06
立即下載1.00G / 07-06
立即下載9.13G / 07-06
立即下載126.2M / 07-06
立即下載72M / 07-06
立即下載105.1M / 07-06
立即下載132M / 07-06
立即下載