反欺诈模型在电商领域的实践与应用

智能数据分析

2019-05-18 14:30--15:30

某电商自从2010 年启用第三方卖家平台后，该业务迅速壮大，至今已占该电商40%销量。但是大批的卖家质量参差不齐。其中侵权和欺诈的货品对客户伤害最大。商品存在多种欺诈行为：
a.侵权 （版权和商标）
b.欺诈 （拿单就撤）
c.刷单
我们团队运用云计算平台和大数据架构，通过spark的建模方式来给第三方卖家平台的大部分商品进行建模。我们团队主要解决2个难题：
1.如何处理千万级的数据量
2.如何自动更新模型
通过AWS s3的大数据存储为基层构造数据管道。 模型特征的数据自动化和依赖管理令到模型自动化的可能。通过spark的scala建模， 我们构建了多种nlp和XGBoost 的数据模型。在aws 上通过大型emr clusters 来对上千万级的数据进行打分。