毛宝龙 |
京东 分布式存储负责人
毛宝龙，京东HDFS负责人，主导构建京东万台规模大数据分布式文件存储。 热爱开源，并积极投入开源社区。Alluxio开原社区PMC。Hadoop社区contributor
课程概要
背景介绍：
数据作为公司战略资产之一，随着京东业务持续增长，开辟不同维度经营方向，业务集市年增长率达到133%,预估2019年年中总体存储将突破EB级别。温冷数据 (一周以上没有访问记录的数据) 最为适用使用降存方案,与此同时温冷数据占总存储比例的80%以上。
解决思路/成功要点：
将EC技术融于JDHDFS中，并实现基于TTL的离线EC转换、校验、降副本功能。最终实现降低50%的存储。社区版本存储着诸多功能问题、性能问题、兼容性问题，发现并解决后，得以在生产环境上线。
成果：
开启EC的NS存储降低50%。
未开启EC的NS性能也显著提高。
听众收益
听众收益：
1. 理解EC原理
2. 理解EC在HDFS中的实现原理及应用
3, 掌握JD 移植HDFS关于EC的社区代码过程
4. 掌握JD 自主研发的离线EC转换
5. 了解JDHDFS应用集群上线EC过程
毛宝龙 |
京东 分布式存储负责人
毛宝龙，京东HDFS负责人，主导构建京东万台规模大数据分布式文件存储。 热爱开源，并积极投入开源社区。Alluxio开原社区PMC。Hadoop社区contributor
课程概要
背景介绍：
数据作为公司战略资产之一，随着京东业务持续增长，开辟不同维度经营方向，业务集市年增长率达到133%,预估2019年年中总体存储将突破EB级别。温冷数据 (一周以上没有访问记录的数据) 最为适用使用降存方案,与此同时温冷数据占总存储比例的80%以上。
解决思路/成功要点：
将EC技术融于JDHDFS中，并实现基于TTL的离线EC转换、校验、降副本功能。最终实现降低50%的存储。社区版本存储着诸多功能问题、性能问题、兼容性问题，发现并解决后，得以在生产环境上线。
成果：
开启EC的NS存储降低50%。
未开启EC的NS性能也显著提高。
听众收益
听众收益：
1. 理解EC原理
2. 理解EC在HDFS中的实现原理及应用
3, 掌握JD 移植HDFS关于EC的社区代码过程
4. 掌握JD 自主研发的离线EC转换
5. 了解JDHDFS应用集群上线EC过程
