蘑菇街算法在线推理服务的架构变迁

架构演进

2019-05-18 14:30--15:30

背景介绍：
蘑菇街对算法的应用自电商转型伊始就已开始，并在15年集团技术架构升级启动的同时，伴随着算法团队的成长开始迅速扩张并逐渐覆盖到了搜索、推荐、广告、直播、社会化、快抢、团购等核心业务。如何为不断变化的多元化业务提供通用、高性能、稳定的在线服务，如何高效支持算法升级、试错、快速迭代，成为算法工程团队需要核心解决的问题。

解决思路/成功要点：
引入面向算法侧的实验及打点、实时数据流、离线及实时特征、模型训练等系统及平台打通多层实验、数据追踪、特征模型产出及数据分析与评估的闭环。引入大规模特征存储、内存压缩及模型优化相关技术优化算法在线服务推理性能。引入动态发布、异常容灾、数据监控与报警、服务评测与压测提高在线服务易用性、稳定性。
以通用平台化的视角，在公司不同的成长阶段，平衡业务规模、技术、硬件成本及时调整并给出适合的架构解决方案。

成果：
目前算法在线服务在业务侧已覆盖到蘑菇街算法业务700+场景中，日承载着全站亿级实时算法推理请求，并同时为集团搜索、推荐、广告、图像、风控等算法团队提供高效的工程保障，助力了算法从基础模型LR、XGBT到复杂模型WLR、Wide&Deep的成功转型。