课程概要

过去十年是大数据系统爆炸的十年， 大规模数据处理与存储框架接连出现，包括MapReduce, HDFS, Spark。这些系统使得PB规模的机器学习得以实现。在LinkedIn，机器学习无处不在，People You May Know，Job Recommendation，News Feed。过去大多数的模型都是建立在传统机器学习框架之上，但是传统学习框架很难捕捉更复杂，更深层次的关系，比如对语音，图片与视频的学习和传统模型的更深层次的embeddings。而这些这恰恰是深度学习的优势所在。
深度学习在工业界的使用并不太久，而对大规模深度学习的基础设施的支持更加不够成熟。同时，深度学习不可能独立于之前的机器学习流水线，这使得我们必须以渐进的方式在原有机器学习设施基础之上改进和支持新的深度学习训练。
LinkedIn现有离线系统围绕在以Hadoop为核心的集群基础之上，而当前最为普遍的TensorFlow并没有一个很有效的原生执行在Hadoop集群上的框架。Kubernetes对大规模批量式作业仍然不是特别成熟，而且将集群一分为二不利于集群资源的有效使用，这使得我们必须在Hadoop基础之上原生开发一个分布式TensorFlow的执行框架。TonY就是因为这个目标而诞生的项目，它使得我们可以在Hadoop集群之上有效简单的执行分布式深度学习训练。和很多公司一样，LinkedIn主集群仍然运行在Hadoop 2.x版本 (2.7 & 2.10)，TonY兼容Hadoop 2.x 与 3.x，在2.7 – 2.9环境中，可以使用TonY进行CPU训练，在2.10或者3.x环境中，可以使用TonY进行有效的GPU训练。

听众收益

深度学习规模化的挑战
如何在Hadoop集群(2.x, 3x)原生执行分布式深度学习框架。
Hadoop上机器学习的生态