EC及EC转换融入在京东HDFS中的落地实践

大数据平台架构

2019-05-19 09:00--10:00

背景介绍：
数据作为公司战略资产之一，随着京东业务持续增长，开辟不同维度经营方向，业务集市年增长率达到133%,预估2019年年中总体存储将突破EB级别。温冷数据 (一周以上没有访问记录的数据) 最为适用使用降存方案,与此同时温冷数据占总存储比例的80%以上。

解决思路/成功要点：
将EC技术融于JDHDFS中，并实现基于TTL的离线EC转换、校验、降副本功能。最终实现降低50%的存储。社区版本存储着诸多功能问题、性能问题、兼容性问题，发现并解决后，得以在生产环境上线。

成果：
开启EC的NS存储降低50%。
未开启EC的NS性能也显著提高。