一、主流框架:
1、SparkMLlib
2、Parameter Server
3、All-Reduce框架(TensorFlow)
二、分布式机器学习系统:
1、模型并行
2、数据并行
参考:
[1] 分布式机器学习初探
[2] 分布式机器学习之—Spark MLlib并行训练原理
[3] 一文读懂「Parameter Server」的分布式机器学习训练原理
[4] ParameterServer入门和理解
[5] MPI 教程介绍
一、主流框架:
1、SparkMLlib
2、Parameter Server
3、All-Reduce框架(TensorFlow)
二、分布式机器学习系统:
1、模型并行
2、数据并行
参考:
[1] 分布式机器学习初探
[2] 分布式机器学习之—Spark MLlib并行训练原理
[3] 一文读懂「Parameter Server」的分布式机器学习训练原理
[4] ParameterServer入门和理解
[5] MPI 教程介绍