如何利用K8S为AI应用提供大规模GPU算力

Cloud-native

2019-05-19 13:30--14:30

背景介绍：
华为云CCI服务管理数百个GPU卡，为华为云EI服务及外部客户提供AI计算平台，在该过程中积累了大量面向AI计算的优化经验。

解决思路/成功要点：
AI计算加速的关键是GPU管理，K8S资源调度优化，面向AI计算框架和模型的Job/Task调度。通过这些优化手段可以使得128块GPU卡的线性加速比达到0.8+。

成果：
在本次议题中，我会介绍如何通过 K8S + Kata容器搭建AI计算平台，最大化GPU及AI芯片算力的使用效率，并给出测试结果。最后我们也会对未来的技术改进做出展望。