分布式机器学习笔记

刘铁岩老师出的新书《分布式机器学习:算法、理论与实践》中摘录了一些笔记,总体来说这本书偏向综述,给出了大量的参考文献,可供后续进一步学习

数据与模型并行

通信机制

分布式机器学习算法

收敛速度衡量:$E|| w_T - w^*||^2 \leq \epsilon(T)$

学术界针对随机梯度优化算法的改进方向:

分布式机器学习算法 每个worker优化 划分 通信 聚合
同步SGD SGD 数据样本划分 同步通信 全部模型梯度加和
模型平均(MA) 不限 数据样本划分 同步通信 全部模型加和
BMUF SGD 数据样本划分 同步通信 全部模型加和
ADMM 不限 数据样本划分 同步通信 全部模型加和
弹性平均SGD(EASGD) SGD 数据样本划分 同步/异步通信 全部模型加和
异步SGD(ASGD) SGD 数据样本划分 异步通信 部分模型加和
Hogwild! SGD 数据样本划分 异步无锁通信 部分模型加和
AdaDelay SGD 数据样本划分 异步通信 部分模型加和
。。。        

一些研究表明:

reference

《分布式机器学习:算法、理论与实践》

联系我: